常见的分布式网络爬虫架构有什么？

Question

如题所述

Answer 1

常见的分布式网络爬虫架构有以下几种：1. 基于Master-Slave架构：其中Master节点负责任务调度和管理，Slave节点负责具体的数据采集任务。Master节点将任务分发给各个Slave节点，并收集和整合采集结果。2. 基于分布式队列的架构：将待采集的URL放入一个分布式队列中，多个采集节点从队列中获取URL进行采集。采集完成后，将采集结果存储到数据库或其他存储介质中。3. 基于分布式存储的架构：将采集到的数据存储在分布式存储系统中，如Hadoop、Elasticsearch等。采集节点通过分布式存储系统进行数据的读写操作。4. 基于P2P网络的架构：采集节点之间通过P2P网络进行通信和数据共享，每个节点既是数据的提供者，也是数据的消费者。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情

Answer 2

Python很适合做爬虫，丰富的第三方库十分强大，几行代码便可实现你想要的功能，常用的架构有以下几个：
1、Scrapy
提取结构性数据而编写的应用框架Scrapy。 主要应用在数据挖掘，信息处理、存储历史数据等程序。
2、Beautiful Soup（bs4）
可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档。
3、selenium
自动化测试工具Selenium，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流浏览器。
4、Portia
可视化爬虫工具Portia，基于scrapy内核，可视化爬取内容。
5、cola
分布式的爬虫框架cola，任务会自动分配到多台机器上。
6、PySpider
纯国产框架PySpider