Python

Asyncio源码解读

2019-06-03 125浏览 0点赞 0评论

这两天简单读了下Asyncio的源码。Asyncio是Python的标准库,用于实现异步编程,我所读的是Python3.6版本下的Asyncio源码,如果有错误的理解希望有人能够指出。 Asyncio虽然被官方标榜为异步IO(Asynchronous I/O),但实际上是IO...

Python

concurrent.futures源码解读

2019-03-14 214浏览 1点赞 0评论

昨天抽空读了concurrent.futures的源码,代码不算长,但觉得还是有必要整理记录下,毕竟读源码是最好的学习方式之一。 相信用concurrent.futures处理并发任务的小伙伴们经常会写出类似下面这样的代码: executor = T...

Python

任务队列Celery

2019-01-22 204浏览 0点赞 0评论

背景 天眼查爬虫,账号在爬取过程中偶尔会跳出验证码,由模型来做验证,但通过验证所占用的时间不算太短,所以考虑将该任务分发给其它进程来处理,任务队列刚好适用于该场景。 两种选择: python-rq celery ...

Python

mitmproxy教程

2018-08-14 670浏览 1点赞 2评论

mitmproxy是一款类似于wireshark,fiddler的功能强大的抓包工具,它包括以下三个功能: mitmproxy HTTP和HTTPS的交互式中间人代理,带有控制台界面(windows不支持mitmproxy的控制台界面) mitm...