本文目录一览：

• 1、尖叫青蛙网络爬虫软件
• 2、4种Python爬虫（4. 手机APP，如，乐刻运动）
• 3、有哪些好用的爬虫软件?

尖叫青蛙网络爬虫软件

Screaming Frog SEO Spider for Mac是一款专门用于抓取网址进行分析的网络爬虫开发工具，你可以通过这款软件来快速抓取网站中可能出现的损坏链接和服务器错误，或是识别网站中临时、永久重定向的链接循坏，同时还能检查出网址、网页标题、说明以及内容等信息中心可能出现的重复问题。喜欢这款软件吗？

Screaming Frog SEO Spider for Mac是一个网站爬虫，允许你抓取网站的网址，并获取关键要素，分析和审计技术和现场搜索引擎优化。

1、找到断开的链接

立即抓取网站并找到损坏的链接（404s）和服务器错误。批量导出错误和源URL以进行修复，或发送给开发人员。

2、审核重定向

查找临时和永久重定向，识别重定向链和循环，或上传URL列表以在站点迁移中进行审核。

3、分析页面标题和元数据

在抓取过程中分析页面标题和元描述，并识别网站中过长，短缺，缺失或重复的内容。

4、发现重复内容

使用md5算法检查发现完全重复的URL，部分重复的元素（如页面标题，描述或标题）以及查找低内容页面。

5、使用XPath提取数据

使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标记，其他标题，价格，SKU或更多！

6、审查机器人和指令

查看被robots.txt，元机器人或X-Robots-Tag指令阻止的网址，例如'noindex'或'nofollow'，以及规范和rel =“next”和rel =“prev”。

7、生成XML站点地图

快速创建XML站点地图和图像XML站点地图，通过URL进行高级配置，包括上次修改，优先级和更改频率。

8、与Google Analytics集成

连接到Google AnalyticsAPI并针对抓取功能获取用户数据，例如会话或跳出率和转化次数，目标，交易和针对目标网页的收入。

9、抓取JavaScript网站

使用集成的Chromium WRS渲染网页，以抓取动态的，富含JavaScript的网站和框架，例如Angular，React和Vue.js.

10、可视化站点架构

使用交互式爬网和目录强制导向图和树形图站点可视化评估内部链接和URL结构。

快速摘要

错误 - 客户端错误，例如链接断开和服务器错误（无响应，4XX，5XX）。

重定向 - 永久，临时重定向（3XX响应）和JS重定向。

阻止的网址 - robots.txt协议不允许查看和审核网址。

阻止的资源 - 在呈现模式下查看和审核被阻止的资源。

外部链接 - 所有外部链接及其状态代码。

协议 - URL是安全的（HTTPS）还是不安全的（HTTP）。

URI问题 - 非ASCII字符，下划线，大写字符，参数或长URL。

重复页面 - 哈希值/ MD5checksums算法检查完全重复的页面。

页面标题 - 缺失，重复，超过65个字符，短，像素宽度截断，与h1相同或多个。

元描述 - 缺失，重复，超过156个字符，短，像素宽度截断或多个。

元关键字 - 主要供参考，因为它们不被谷歌，必应或雅虎使用。

文件大小 - 网址和图片的大小。

响应时间。

最后修改的标题。

页面（抓取）深度。

字数。

H1 - 缺失，重复，超过70个字符，多个。

H2 - 缺失，重复，超过70个字符，多个。

元机器人 - 索引，无索引，跟随，nofollow，noarchive，nosnippet，noodp，noydir等。

元刷新 - 包括目标页面和时间延迟。

规范链接元素和规范HTTP标头。

X-Robots-Tag中。

分页 - rel =“next”和rel =“prev”。

关注＆Nofollow - 在页面和链接级别（真/假）。

重定向链 - 发现重定向链和循环。

hreflang属性 - 审核缺少的确认链接，不一致和不正确的语言代码，非规范的hreflang等。

AJAX - 选择遵守Google现已弃用的AJAX抓取方案。

渲染 - 通过在JavaScript执行后抓取渲染的HTML来抓取像AngularJS和React这样的JavaScript框架。

Inlinks - 链接到URI的所有页面。

Outlinks - URI链接到的所有页面。

锚文本 - 所有链接文本。从带有链接的图像中替换文本。

图像 - 具有图像链接的所有URI和来自给定页面的所有图像。图像超过100kb，缺少替代文字，替代文字超过100个字符。

用户代理切换器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，移动用户代理或您自己的自定义UA。

自定义HTTP标头 - 在请求中提供任何标头值，从Accept-Language到cookie。

自定义源代码搜索 - 在网站的源代码中找到您想要的任何内容！无论是谷歌分析代码，特定文本还是代码等。

自定义提取 - 使用XPath，CSS路径选择器或正则表达式从URL的HTML中删除任何数据。

Google Analytics集成 - 连接到Google AnalyticsAPI并在抓取过程中直接提取用户和转化数据。

Google Search Console集成 - 连接到Google Search Analytics API并针对网址收集展示次数，点击次数和平均排名数据。

外部链接度量标准 - 将Majestic，Ahrefs和Moz API中的外部链接指标拖入爬行以执行内容审核或配置文件链接。

XML站点地图生成 - 使用SEO蜘蛛创建XML站点地图和图像站点地图。

自定义robots.txt - 使用新的自定义robots.txt下载，编辑和测试网站的robots.txt。

渲染的屏幕截图 - 获取，查看和分析已爬网的渲染页面。

存储和查看HTML和呈现的HTML - 分析DOM的必要条件。

AMP抓取和验证 - 使用官方集成的AMP Validator抓取AMP网址并对其进行验证。

XML站点地图分析 - 单独爬网XML站点地图或爬行的一部分，以查找丢失的，不可索引的和孤立的页面。

可视化 - 使用爬网和目录树强制导向图和树图分析网站的内部链接和URL结构。

结构化数据和验证 - 根据Schema.org规范和Google搜索功能提取和验证结构化数据。

Screaming Frog SEO Spider for Mac可以帮助您从不同的网页上选择需要抓取的内容，软件具有网页蜘蛛功能，您可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能。

4种Python爬虫（4. 手机APP，如，乐刻运动）

目录:

1. PC网页爬虫

2. H5网页爬虫

3. 微信小程序爬虫

4. 手机APP爬虫

爬取乐刻运动手机APP的课表数据。Android和iOS都可以。

要制定具体方案，还是要从抓包分析开始。

如果你在前一章《三、微信小程序爬虫》中已经搭建好了Charles+iPhone的抓包环境，可以直接启动“乐刻APP”再来抓一波。

LefitAppium.py

LefitMitmAddon.py

接下来就是见证奇迹的时刻了！

可以看到左侧的手机已经自动跑起来了！

所有流过的数据都尽在掌握！

这个方案的适应能力非常强，不怕各种反爬虫机制。

但是如果要去爬取淘宝、携程等海量数据时，肯定也是力不从心。

有哪些好用的爬虫软件?

推荐如下：

1、神箭手云爬虫。

神箭手云是一个大数据应用开发平台，为开发者提供成套的数据采集、数据分析和机器学习开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。功能强大，涉及云爬虫、API、机器学习、数据清洗、数据出售、数据订制和私有化部署等。

2、八爪鱼

八爪鱼数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。

3、集搜客GooSeeker

GooSeeker的优点显而易见，就是其通用性，对于简单网站，其定义好规则，获取xslt文件后，爬虫代码几乎不需要修改，可结合scrapy使用，提高爬取速度。

简介：

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。