Perl的多进程框架(watcher-worker)

攻城狮俊轶技术 2022年11月15日

0 收藏 603 点赞 3,346 浏览 1081 个字

　　关于perl的多进程,大家可能马上会想到Parallel::ForkManager这个模块。但是今天我们试着自己动手写一个类似的框架:)

　　该多进程开发模型从开源服务器框架Lighttpd发展而来,核心思路是父进程监控子进程的状态并负责回收,子进程负责任务的执行。当前预先可以设置子进程并发数目的上限值。如需要涉及到进程间的通信，可以通过建立管道pipe的方式,让子进程在结束前将数据通过共享管道写入,待父进程适时读取即可。

　本人在工作中进程遇到这样的场景,如从DB取若干任务,收包等等(不停的取/收),为了保证效率，一般都采取并发执行；使用脚本主要为了轻量级，易部署。这种场景下很适合用这种watcher-worker模式。perl代码如下:

 #!/usr/bin/perl -w #author:pandaychen
 #date:2015-04-01
 #info:实现一个简单的多进程框架 use strict;
 use warnings;
 use POSIX ":sys_wait_h"; my $max_process = ;
 my $cur_process =; my @pid_array; print "perl fork watcher-worker:\n"; #main start here
 CreateWorker($max_process);     #child start here
 do_workers(); sub CreateWorker{
     my $workers=shift(@_);
     print $workers,"\n";         my $sign = ;         while($sign){
             if($workers >){
                 my $pid = fork();
                 if($pid >){
                     #watcher
                     $sign = ;
                     --$workers;
                 }
                 elsif($pid == ){
                     #workers
                     $sign = ;
                     print "create worker ",$$," success!\n" ;
                     do_workers();
                 }
                 else
                 {
                     print "fork error: %s\n";
                     return -;
                 }
             }
             else{
                 #full workers
                 my $nStatus;
                 while ((my $collect = waitpid(-, WNOHANG)) > )
                 {
                     print $collect," child process\n";
                     $workers++;
                 }
             }
         }
     return ;
 } sub do_workers{
     #模拟子进程工作
     my $rand=int(rand());
     sleep($rand);
     print "child process sleep ",$rand," seconds.\n";
     exit();
 }