Skip to main content
AI EducademyAIEducademy
🌳

Fundamentos de IA

🌱
AI Seeds

Alfabetização em IA para o mundo real

🌿
AI Sprouts

As bases por trás dos sistemas inteligentes

🌳
AI Branches

Desenvolva com os recursos atuais de IA

🏕️
AI Canopy

Projete sistemas GenAI confiáveis

🌲
AI Forest

Envie produtos de IA com responsabilidade

🔨

Mestria em IA

✏️
AI Sketch

Fundações de engenharia para construtores de IA

🪨
AI Chisel

Padrões para resolver problemas mais difíceis

⚒️
AI Craft

Projete sistemas que dimensionem a IA

💎
AI Polish

Comunique-se e lidere na era da IA

🏆
AI Masterpiece

Seu ponto culminante de IA de produção

🚀

Preparação para Carreira

🚀
Plataforma de Lançamento de Entrevistas

Navegue no mercado de trabalho de engenharia de IA

🌟
Domínio Comportamental

Conte a história de como você cria impacto

💻
Entrevistas Técnicas

Resolva, projete e comunique-se sob pressão

🤖
Entrevistas de IA e ML

Prepare-se para entrevistas modernas com ML e GenAI

🏆
Oferta e Além

Dê o próximo passo confiante e informado

Ver Todos os Programas→

Laboratório

7 experimentos carregados
🧠Playground de Rede Neural🤖IA ou Humano?💬Laboratório de Prompts🎨Gerador de Imagens😊Analisador de Sentimento💡Construtor de Chatbots⚖️Simulador de Ética
🎯Entrevista simuladaEntrar no Laboratório→
JornadaBlogue
🎯
Sobre

Tornar a educação em IA acessível para todos, em todo lugar

❓
Perguntas frequentes

Perguntas frequentes respondidas

🧰
Ferramentas de IA

Ferramentas selecionadas que usamos e recomendamos

✉️
Contato

Entre em contacto connosco

⭐
Codigo aberto

Construído de forma aberta no GitHub

Preços
Começar
AI EducademyAIEducademy

© 2026 AI Educademy. Todos os direitos reservados.

Aprender

  • Programas
  • Aulas
  • Laboratório
  • Kit inicial de IA
  • Preços

Comunidade

  • GitHub
  • Contribuir
  • Código de Conduta
  • Sobre
  • Perguntas Frequentes

Suporte

  • Me Pague um Café ☕
  • Termos de Serviço
  • Política de Privacidade
  • Contato
  • Sitemap
Programas de IA e Engenharia›⚒️ AI Craft›Aulas›Projete um rastreador da Web - como o Google indexa a Internet
🕷️
AI Craft • Avançado⏱️ 22 min de leitura

Projete um rastreador da Web - como o Google indexa a Internet

Prévia pública da lição

Projete um rastreador da web distribuído que cubra gerenciamento de fronteira de URL, políticas de polidez, desduplicação de conteúdo com SimHash e rastreamento distribuído com hashing consistente.

Programa
AI Craft
Nível
Avançado
Tempo de leitura
22 min de leitura

Objetivos de aprendizagem

Ao final desta lição, você vai entender:

  • ✓Passo 1 – Levantamento de Requisitos
  • ✓Etapa 2 - Arquitetura de alto nível
  • ✓Etapa 3 - O ciclo de rastreamento
  • ✓Etapa 4 - Polidez e Robots.txt
  • ✓Etapa 5 - Desduplicação

Resumo da lição

  1. Passo 1 – Levantamento de Requisitos
  2. Requisitos Funcionais
  3. Requisitos Não Funcionais
  4. Etapa 2 - Arquitetura de alto nível
  5. Etapa 3 - O ciclo de rastreamento
  6. Rastreamento BFS vs DFS
  7. Design de fronteira de URL
  8. Etapa 4 - Polidez e Robots.txt
  9. Respeitando Robots.txt
  10. Limitação de taxa de rastreamento
  11. Etapa 5 - Desduplicação
  12. Desduplicação de URL (filtro Bloom)
  13. Desduplicação de conteúdo (SimHash)
  14. Etapa 6 - Rastreamento distribuído
  15. Dimensionando horizontalmente
  16. Cache de resolução DNS
  17. Detecção de armadilha de aranha
  18. Etapa 7 - Gargalos e otimizações
  19. 📚 Leitura adicional

Prévia introdutória

Um rastreador da web navega sistematicamente na Internet para baixar e indexar páginas da web. É a base de todo mecanismo de pesquisa, e projetar um ensina sobre sistemas distribuídos, travessia de gráficos e como lidar com a confusão da web real.

Continue Projete um rastreador da Web - como o Google indexa a Internet com Pro

Projete um rastreador da Web - como o Google indexa a Internet faz parte de AI Craft

Projete um rastreador da Web - como o Google indexa a Internet faz parte de AI Craft. Faça upgrade para desbloquear a lição completa, os questionários, o acompanhamento de progresso e todas as academias.

Todos os programas e trilhas
Sincronizacao de progresso
Certificados
Experimente o Pro grátis por 7 diasEntre primeiro

Grátis por 7 dias. Cancele quando quiser, sem perguntas.