Python爬虫进阶教程(一)：进程

进程介绍

python开发中，进程与线程是非常重要的，打造分布式爬虫，提高工作效率都离不开进程与线程。 进程

进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。

多进程

python实现多进程的方式有2种，一种为os模块中的fork方法，另一种为multiprocessing模块，两种方式 的区别是fork方法只支持Unix/Linux系统，不支持Windows，而后一种方法是跨平台的。

fork方式实现多进程

fork方法比较特殊，普通方法调用一次，返回一次，但fork方法调用一次，返回两次，因为操作系统将当前父进程复制出一个子进程，这两个进程几乎完全相同，于是fork方法分别在父进程和子进程中返回，子进程中永远返回0，父进程中返回的是子进程的id，os模块的getpid用于获取子进程id，getppid用于获取父进程id，见下面示例：

import os
'''
更多Python学习资料以及源码教程资料，可以在群1136201545免费获取
'''
if __name__ == '__main__':
    print 'current Process %s start ...' % (os.getpid())
    pid = os.fork()
    print pid
    if pid