任务队列

任务队列Celery

2019-01-22 204浏览 0点赞 0评论

背景 天眼查爬虫,账号在爬取过程中偶尔会跳出验证码,由模型来做验证,但通过验证所占用的时间不算太短,所以考虑将该任务分发给其它进程来处理,任务队列刚好适用于该场景。 两种选择: python-rq celery ...