Python 开发轻量级爬虫03

Python 开发轻量级爬虫 (imooc总结03--简单的爬虫架构) 现在来看一下一个简单的爬虫架构。 要实现一个简单的爬虫，有哪些方面需要考虑呢？ 首先需要一个爬虫调度端，来启动爬虫、停止爬虫、监视爬虫的运行情况。 在爬虫程序中有三个模块。首先url管理器来对将要爬取的url和已经爬取过的url
posted @ 2016-09-05 07:51  billyz  阅读(255)  评论(0)  编辑  收藏  举报