这里是实时更新的知乎数据用户分析地址:百万知乎用户数据分析
用户数据分析源码在这里:ZhihuAnalyse
爬虫项目源码放在我的github上:ZhihuSpider
爬虫代码分析可以看我的上一篇文章
喜欢的话帮忙点个star呗:-D
说个题外话:
今天下午的时候爬虫还在继续跑,知乎用户个人首页还用的是旧版
到了晚上7点发现爬虫居然爬不动了,十分疑惑,知乎个人中心竟然改版了,个人首页的url也改了,原来的爬虫用不了,
(不知道是不是知乎为了防止我爬数据做的措施,哈哈哈)
十分悲催,新版爬虫只能之后抽空出来再改一下了
效果图
简介
主要利用SQL进行统计,并且利用redis进行数据缓存,ttl是6个小时,提高加载速度