设计网络爬虫 - Google 如何索引互联网

公开课程预览

设计一个分布式网络爬虫，涵盖 URL 边界管理、礼貌策略、SimHash 的内容重复数据删除以及使用一致哈希的分布式爬行。

学习目标

完成本课后，你将理解:

• ✓步骤 1 - 需求收集
• ✓步骤 2 - 高级架构
• ✓步骤 3 - 爬行循环
• ✓步骤 4 - 礼貌和 Robots.txt
• ✓步骤 5 - 重复数据删除

课程大纲

1. 步骤 1 - 需求收集
2. 功能要求
3. 非功能性需求
4. 步骤 2 - 高级架构
5. 步骤 3 - 爬行循环
6. BFS 与 DFS 爬行
7. URL前沿设计
8. 步骤 4 - 礼貌和 Robots.txt
9. 尊重机器人.txt
10. 抓取速率限制
11. 步骤 5 - 重复数据删除
12. URL 重复数据删除（布隆过滤器）
13. 内容重复数据删除 (SimHash)
14. 步骤 6 - 分布式爬取
15. 水平缩放
16. DNS解析缓存
17. 蜘蛛陷阱检测
18. 步骤 7 - 瓶颈和优化
19. 📚 进一步阅读