戴老师的博客 - 如何构建一个通用的垂直爬虫平台？ 的评论
之前做爬虫时，在公司设计开发了一个通用的垂直爬虫平台，后来在公司做了内部的技术分享。这篇文章把整个爬虫平台的设计思路整理了一下，分享给大家。写一个爬虫很简单，写一个可持续稳定运行的爬虫也不难，但...