爬虫

appium学习笔记

2018-12-11 108浏览 0点赞 0评论

安装环境 JAVA环境 略过 Android SDK 下载链接:http://www.androiddevtools.cn/,找到SDK Tools,下载。 或者下载Android Studio或I...

爬虫

网易云音乐爬虫(三)

2018-11-26 178浏览 0点赞 0评论

在处理反爬虫的问题上,有几个比较常见而且又不怎么好处理的反爬虫措施: IP封禁 账号封禁 验证码 本章针对这三点谈谈我的看法。 IP封禁 要解决IP封禁的问题,代理IP必不可少,但目前免费的...

爬虫

网易云音乐爬虫(二)

2018-11-23 223浏览 0点赞 0评论

这章主要讲Scrapy+Redis分布式的写法和源码分析,有大量干货哦。 调度器Scheduler scrapy_redis的调度器基于redis队列,首先是settings配置: SCHEDULER = 'scrapy_redis.scheduler.Sc...

爬虫

网易云音乐爬虫(一)

2018-11-15 249浏览 0点赞 0评论

通常要爬一个网站,第一步是确定要爬的字段,然后抓包分析各个接口。我需要的数据在这几处: https://music.163.com/weapi/song/enhance/player/url https://music.163.com/weapi/...

爬虫

网易云音乐爬虫(前言)

2018-11-13 213浏览 0点赞 0评论

近期在工作之余花时间折腾了个网易云音乐爬虫项目,目前已经部署在服务器上跑,每天单机器单爬虫大概有100万首以上的歌曲爬取量。 项目Github地址:https://github.com/supervipcard/music-163-spider 主要涉及以下几点...

爬虫

混淆JS破解-极验滑动验证

2018-08-30 656浏览 0点赞 3评论

极验滑动验证主要可分为两步: 点击按钮进行验证 拖动滑块完成拼图 这两步分别由一个纯混淆的js文件实现(fullpage.8.5.3.js和slide.7.3.7.js),极验的混淆js版本更新极快,但加密逻辑基本不变,只是改改函数...

爬虫

爬取自定义字体数据

2018-08-02 418浏览 0点赞 0评论

用自定义字体做反爬的网站,像实习僧,58同城,天眼查,会出现像下图的情况,审查元素有些数据无法正常显示,或者是显示的与实际的不一样。本文以实习僧为例大致讲解破解流程。 遇到这种情况,打开页面源码,会发现这些数据都是&#x写法的NCR字符,属于HTML中...