Métricas de avaliação – sua IA é realmente boa?

Prévia pública da lição

Saiba por que a precisão por si só é enganosa e domine as métricas (precisão, recall, F1, ROC-AUC, BLEU e perplexidade) que realmente medem o desempenho da IA.

Objetivos de aprendizagem

Ao final desta lição, você vai entender:

• ✓A armadilha da precisão
• ✓A Matriz de Confusão
• ✓Precisão - "De tudo que sinalizei, quanto estava correto?"
• ✓Recall - "De tudo que foi positivo, quanto eu encontrei?"
• ✓A compensação entre precisão e recall

Resumo da lição

1. A armadilha da precisão
2. A Matriz de Confusão
3. Precisão - "De tudo que sinalizei, quanto estava correto?"
4. Recall - "De tudo que foi positivo, quanto eu encontrei?"
5. A compensação entre precisão e recall
6. Pontuação F1 - A Média Harmônica
7. Curvas ROC e AUC
8. Métricas para geração de texto
9. Pontuação BLEU
10. Perplexidade
11. Teste A/B em produção
12. Quando usar qual métrica
13. Principais conclusões
14. 📚 Leitura adicional