分布式爬虫架构并不是一开始就出现的。而是一个逐步演化的过程。
最开始入手写爬虫的时候,我们一般在个人计算机上完成爬虫的入门和开发,而在真实的生产环境,就不能用个人计算机来运行爬虫程序了,而是将爬虫程序部署在服务器上。利用服务器不关机的特性,爬虫可以不间断的24小时运行。单机爬虫的结构如下图。
然而,由于爬虫在爬取数据时,爬取频次并不能太快,即使是爬虫在服务器上不间断运行,效率可能也无法满足实际需求。这时候,就需要在多机上部署爬虫程序,用分布式爬虫架构,进行数据爬取。分布式爬虫的架构一般如下所示。
采用分布式爬虫架构后,带来了如下几个好处。
- 1,爬虫效率提高。这一点显而易见,之前是单机运行,现在是多机分布式运行,效率显著提高。
- 2,爬虫可靠性可用性提高。之前部署在一台服务器上,当服务器出现故障或爬虫程序出现故障时,爬虫便不可用了。采用分布式爬虫架构后,爬虫任务生产者,任务队列,爬虫任务消费者都采用分布式架构部署,其中的某些机器出现故障,不影响整体的可用性,系统可靠性大大增强。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年05月20日
2024年05月20日
- 张琍敏1986-群星会29[台湾版][WAV+CUE]
- 张宇《雨一直下》台首版[WAV整轨]
- 叶蕴仪1990-原宿[日本版][WAV+CUE]
- 看《庆余年2》腾讯SVIP被指VIP套娃 客服:所有用户都有广告的
- 刘畊宏脚踝受伤坐轮椅:暂时不能带大家跳操了
- 《燕云十六声》优美舞蹈幕后揭秘 国家级大师助力呈现
- 群星《2005香港高级视听展纪念大碟 SACD 》[DFF][1.9G]
- 王杰《同名精选辑》引进首版 首创[WAV+CUE][826M]
- 群星《爱情101情歌101延续篇 牵动心灵的情歌》6CD[WAV+CUE][4.2G]
- 【原神】璃月特产“人间美味”绝云椒椒的收集(58)
- 无相之草BOSS怎么打?无相草打法攻略
- 须弥沙漠地灵龛在哪?地灵龛位置详细介绍
- 群星.2024-生活在别处的我电视原声带【环球】【FLAC分轨】
- 陈雷.1996-最佳男主角【金圆唱片】【WAV+CUE】
- 苏妙玲.2019-WAN【天娱传媒】【FLAC分轨】