【运行截图请往下看】编程语言:Android、iOS、C#、Asp/Asp.net、Java、Vb、Php、Jsp、C++等
【专业优势】18年功力源码技术大神,坐阵亲临指导,远程协助包100%成功运行!
开发环境: Pycharm + Python3.6 + Django2.0 + mysql数据库,redis数据库
毕业设计-中国知网(cnki)爬虫及数据可视化,采用Django和Celery将爬虫内置在网站内,展示实时爬取的数据,数据结果通过Highcharts图表展示!其中数据的爬取是通过python调用selenium驱动Chrome浏览器实现网页内容的抓取!
启动爬虫celery进程:python manage.py celery worker
注意:celery框架里面有个方法和python3.7的关键字冲突,所以用python3.6吧!
还需要执行pip install lxml==4.5.2 解决html文档结构分析依赖的包


照片名称:1中国知网爬虫数据及可视化网站首页

照片名称:2爬虫异步工作celery进程启动等待执行

照片名称:3网站端输入关键字准备开启爬虫

照片名称:4python通过selenium控制谷歌浏览器

照片名称:5python通过selenium控制浏览器访问网站

照片名称:6python通过selenium控制浏览器获取网站数据

照片名称:7celery异步抓取数据进程状态展示

照片名称:8celery异步抓取数据进程状态展示2

照片名称:9网站显示抓取知网论文文章数据进度

照片名称:10知网论文数量年度走势图

照片名称:11高产量作者排名图

照片名称:12高产量机构排名图

照片名称:13基金占比统计图

照片名称:14python项目源码目录

照片名称:15mysql数据库表




- 1070基于Scrapy框架中国银杏网爬虫数据展示网站设计2019-12-10 16:46:48
- 1060大神Python基于Django家庭财务管理系统2019-09-20 16:45:43
- 1058大神Python基于Django学生考勤成绩管理系统2019-09-20 00:20:43
- 1056基于Python城市PM2.5空气质量统计分析2019-08-19 19:43:36
- 1350基于Flask+Echarts京东商品销售数据分析可视化设计带文档2022-09-07 17:20:53
- 1345基于Python+Django+Mysql校园二手交易跳蚤市场网站设计2022-08-30 21:24:31
- 1333Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计2022-02-03 22:08:16
- 984Python基于Django购物网站HTML5响应式设计2019-02-01 14:21:16

