如何用pyspider部署生产级分布式爬虫集群：MySQL + RabbitMQ + Supervisor完全指南

如何用pyspider部署生产级分布式爬虫集群MySQL RabbitMQ Supervisor完全指南【免费下载链接】pyspiderA Powerful Spider(Web Crawler) System in Python.项目地址: https://gitcode.com/gh_mirrors/py/pyspiderpyspider 是一个功能强大的 Python 爬虫spider/web crawler系统。本文将以单机数据库为例带你完整走一遍用MySQL RabbitMQ Supervisor部署生产级分布式爬虫集群的流程组件安装、config.json 配置、进程托管与 WebUI 验证新手也可以照着一步步做。一、为什么生产环境要用分布式爬虫集群pyspider 的架构把爬虫拆分为多个独立组件组件之间通过消息队列通信各自独立成进程运行。任何组件都可以横向扩容加机器、加实例这正是分布式爬虫集群的核心组件职责生产实例数建议Scheduler任务调度、去重、限流令牌桶算法⚠️只允许 1 个实例Fetcher发送 HTTP 请求、获取网页1~2 个每个支持 100 并发Processor运行爬虫脚本、解析数据≈ CPU 核数 1~2Result Worker把爬取结果写入结果库1~2 个WebUI网页管理台编辑器/调试/监控按团队人数配置两个关键基础服务MySQL存放任务、项目、结果三类数据taskdb / projectdb / resultdb驱动实现位于 pyspider/database/mysql/taskdb.pyRabbitMQ连接各组件的消息队列连接实现位于 pyspider/message_queue/kombu_queue.py。组件的完整数据流说明可参考 docs/Architecture.md各组件的子命令入口在 pyspider/run.py。二、三步部署从零跑通一个爬虫集群第 1 步安装并启动 MySQL 与 RabbitMQ安装并启动 MySQL为 pyspider 创建专用数据库和账号安装并启动 RabbitMQ 服务端创建访问用的用户名与密码安装 pyspider 全量依赖确保 requirements.txt 中 mysql-connector、pika 等包已就位pip install --allow-all-external pyspider[all]第 2 步用 config.json 一次配置好 MySQL 与 RabbitMQpyspider 推荐用一份 JSON 配置文件管理所有组件的连接参数仓库自带示例 config_example.json连接串格式见 docs/Deployment.md{ taskdb: mysqltaskdb://user:passwordhost:3306/pyspider, projectdb: mysqlprojectdb://user:passwordhost:3306/pyspider, resultdb: mysqlresultdb://user:passwordhost:3306/pyspider, message_queue: amqp://user:passwordhost:5672/%2F, webui: { username: admin, password: changeme, need-auth: true } }message_queue也支持 Redis把值改成redis://host:6379/0即可切换。第 3 步用 Supervisor 托管所有爬虫组件官方推荐用 Linux 上常用的进程管理器 Supervisor 代替 nohup 托管组件见 docs/Deployment.md。每个组件一行 command示例配置[program:pyspider-scheduler] commandpyspider -c /path/to/config.json scheduler [program:pyspider-fetcher] commandpyspider -c /path/to/config.json fetcher [program:pyspider-processor] commandpyspider -c /path/to/config.json processor [program:pyspider-result-worker] commandpyspider -c /path/to/config.json result_worker [program:pyspider-webui] commandpyspider -c /c /path/to/config.json webui需要扩容时复制同一块配置并修改程序名即可多开实例如 processor-2、processor-3Scheduler 永远只保留 1 个。三、验证爬虫集群进入 WebUI 管理台启动 webui 后访问http://服务器IP:5000默认端口 5000用 config.json 中的账号登录。pyspider 的 WebUI 是最有吸引力的部分爬虫脚本的编写、调试、启动/停止都在浏览器里完成。实时监控任务队列与爬取结果进入任意项目后可以看到任务状态排队/运行/失败、请求列表与结果数据页面下方的 web / html 标签展示最近一次请求的渲染结果方便核对爬虫是否抓到了正确页面WebUI 还支持通过--max-rate、--max-burst参数限制每个项目的最大速度与突发量实现见 pyspider/webui/app.py保护目标站点、避免被封 IP。四、生产环境调优的 5 个实战建议Processor 是性能瓶颈它是 CPU 密集型组件实例数建议 ≈ CPU 核数 1~2核数超过 20 时按核数的 10%~15% 配置Scheduler 必须唯一它负责周期性任务、失败重试与流量控制多开会导致任务重复实现位于 pyspider/scheduler/scheduler.pyFetcher 少而精基于异步 IO单实例支持 100 并发连接队列不堵塞时 1 个就够用实现位于 pyspider/fetcher/tornado_fetcher.pyScheduler 与数据库同机部署调度过程伴随大量数据库查询放在 MySQL 附近可显著降低延迟上线前跑一次 benchpyspider bench可快速压测整条链路与消息队列吞吐提前发现瓶颈。五、常见问题 FAQ消息队列可以用 Redis 替代 RabbitMQ 吗可以。message_queue支持amqp://RabbitMQ、redis://Redis含集群模式等多种连接串完整规格见 docs/Command-Line.md。数据库一定用 MySQL 吗不一定。pyspider 还支持 MongoDB、PostgreSQL经 SQLAlchemy、CouchDB、Elasticsearch 等各驱动位于 pyspider/database/连接串写法见 docs/Deployment.md。必须用裸机 Supervisor 吗不是。仓库还提供了 docker-compose.yaml 与 docs/Running-pyspider-with-Docker.md可以一键拉起同架构的分布式爬虫集群官方演示站 demo.pyspider.org 就是 3 台机器 Docker 私有网络部署的参考 docs/Deployment-demo.pyspider.org.md。【免费下载链接】pyspiderA Powerful Spider(Web Crawler) System in Python.项目地址: https://gitcode.com/gh_mirrors/py/pyspider创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考