1.2.1完善了多方面的功能,易用,稳定。
注意:1.2 版本的数据收集器不能兼容以前版本的配置脚本。
具有很强的灵活性,胜任各种不同结构的网站的处理。 有任何使用中的问题请联系: 讨论群: 601169305 QQ: 2146651351 微信: AIChangeLife
使用方法:
1.先分析网站的网页结构,来配置抓取策略(有全面的流程说明,如不懂参考视频教程)。
2.运行脚本,执行数据处理工作。
3. Scrapy开发辅助支持,包括生成Scrapy代码段,将Scrapy Xpath路径直接输入Scrapy脚本。
4.HTTP请求日志 数据输出的方式包括:
1. 通过CSV文件输出 EXCEL等编辑软件 大部分数据库软件支持从CSV文件导入
2. 通过程序内置数据库(SQLITE)输出 SQLITEBrowser支持SQLITE数据库SQL语句查询: http://sqlitebrowser.org/ https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe 支持广泛,有很多选择
3.通过MYSQL数据库输出(通过官方的MYSQL安装包下载后,直接安装就可以),数据使用 UTF-8的方式来保存。