تصميم زاحف الويب - كيف يقوم Google بفهرسة الإنترنت

معاينة عامة للدرس

صمم زاحف ويب موزعًا يغطي إدارة حدود URL، وسياسات الأدب، وإلغاء البيانات المكررة للمحتوى باستخدام SimHash، والزحف الموزع باستخدام التجزئة المتسقة.

أهداف التعلم

بنهاية هذا الدرس ستفهم:

• ✓الخطوة 1 - جمع المتطلبات
• ✓الخطوة الثانية - هندسة رفيعة المستوى
• ✓الخطوة 3 - حلقة الزحف
• ✓الخطوة 4 - المداراة وملف robots.txt
• ✓الخطوة 5 - إلغاء البيانات المكررة

مخطط الدرس

1. الخطوة 1 - جمع المتطلبات
2. المتطلبات الوظيفية
3. المتطلبات غير الوظيفية
4. الخطوة الثانية - هندسة رفيعة المستوى
5. الخطوة 3 - حلقة الزحف
6. زحف BFS مقابل DFS
7. تصميم حدود URL
8. الخطوة 4 - المداراة وملف robots.txt
9. احترام ملف robots.txt
10. تحديد معدل الزحف
11. الخطوة 5 - إلغاء البيانات المكررة
12. إلغاء تكرار عنوان URL (فلتر بلوم)
13. إلغاء البيانات المكررة للمحتوى (SimHash)
14. الخطوة 6 - الزحف الموزع
15. التحجيم أفقيا
16. التخزين المؤقت لقرار DNS
17. كشف مصيدة العنكبوت
18. الخطوة 7 - الاختناقات والتحسينات
19. 📚 مزيد من القراءة