Python

concurrent.futures源码解读

33浏览 0喜欢 0评论

昨天抽空读了concurrent.futures的源码,代码不算长,但觉得还是有必要整理记录下,毕竟读源码是最好的学习方式之一。 相信用concurrent.futures处理并发任务的小伙伴们经常会写出类似下面这样的代码: executor = T...

Python

任务队列Celery

66浏览 0喜欢 0评论

背景 天眼查爬虫,账号在爬取过程中偶尔会跳出验证码,由模型来做验证,但通过验证所占用的时间不算太短,所以考虑将该任务分发给其它进程来处理,任务队列刚好适用于该场景。 两种选择: python-rq celery ...

Python

mitmproxy教程

417浏览 1喜欢 2评论

mitmproxy是一款类似于wireshark,fiddler的功能强大的抓包工具,它包括以下三个功能: mitmproxy HTTP和HTTPS的交互式中间人代理,带有控制台界面(windows不支持mitmproxy的控制台界面) mitm...