在使用多进程的进程池对我的爬蟲程序进行处理时, 采用方式如下:

当运行代码时, 抛出如下异常:

出现这个问题是因为我在参数传递中传递了我自定义的数据库存储类mymongo, 造成进程池内部处理封装过程无法对其进行处理. 

解决办法, 在参数传递中, 去掉自定义的类mymongo, 而是将自定义类放到处理函数中去.

最近在处理机器学习模型時遇到了类似问题也是因为pickle模块不支持自定义的类而异常。