Wanneer precisie het belangrijkst is: Wanneer false positives kostbaar zijn. Een spamfilter dat belangrijke klant-e-mails naar de prullenbak stuurt, is een serieus probleem.

Recall - "Van Alles Wat Positief Was, Hoeveel Heb Ik Gevonden?"

Recall = TP ÷ (TP + FN) = 80 ÷ (80 + 20) = 80%

Het model ving 80 van de 100 werkelijke spam-e-mails op - het herinnerde 80% ervan. De overige 20 glitten erdoor als false negatives.

Wanneer recall het belangrijkst is: Wanneer het missen van een positief geval gevaarlijk is. Bij kankerscreening kan het niet detecteren van een tumor (false negative) een leven kosten.

De Precisie-Recall Afweging

Precisie en recall trekken in tegengestelde richtingen. Het aanscherpen van de spamdrempel vangt minder legitieme e-mails op (precisie stijgt), maar laat meer spam door (recall daalt). Het versoepelen ervan vangt meer spam (recall stijgt), maar onderschept meer goede e-mails (precisie daalt).

Er is geen gratis lunch - je moet beslissen welke fouten kostbaarder zijn voor jouw specifieke toepassing.

F1-Score - Het Harmonisch Gemiddelde

Wanneer je één getal nodig hebt dat precisie en recall in balans brengt, gebruik dan de F1-score:

F1 = 2 × (Precisie × Recall) ÷ (Precisie + Recall)

Voor ons spamfilter: F1 = 2 × (0,727 × 0,80) ÷ (0,727 + 0,80) = 0,762 - ongeveer 76,2%.

Het harmonisch gemiddelde bestraft extreme onbalansen. Als precisie of recall zeer laag is, daalt de F1 scherp.

ROC-Curves en AUC

De ROC-curve (Receiver Operating Characteristic) plot de True Positive Rate tegen de False Positive Rate bij elke mogelijke classificatiedrempel. Het toont hoe goed een model klassen scheidt over alle drempels, niet slechts één.

AUC (Area Under the Curve) vat dit samen in één getal:

• AUC = 1,0 - perfecte scheiding.
• AUC = 0,5 - niet beter dan willekeurig raden (de diagonale lijn).
• AUC < 0,5 - slechter dan willekeurig (je labels zijn mogelijk omgedraaid!).

AUC is drempelonafhankelijk, waardoor het uitstekend is voor het vergelijken van modellen voordat je een specifiek werkpunt hebt gekozen.

Metrieken voor Tekstgeneratie

Classificatiemetrieken zijn niet van toepassing op taalmodellen die tekst genereren. Verschillende taken vereisen verschillende maatstaven.

BLEU-Score

BLEU (Bilingual Evaluation Understudy) meet hoeveel een gegenereerde vertaling overlapt met referentievertalingen, door overeenkomende n-grammen (woordreeksen) te tellen. Scores variëren van 0 tot 1.

BLEU wordt veel gebruikt bij machinevertaling, maar heeft aanzienlijke beperkingen: het beloont woordoverlap, niet betekenis. "De kat zat op de mat" en "Een katachtige rustte op het tapijt" scoren slecht ten opzichte van elkaar, ondanks vergelijkbare betekenis.

Perplexiteit

Perplexiteit meet hoe verrast een taalmodel is door nieuwe tekst. Lager is beter - een perplexiteit van 20 betekent dat het model gemiddeld kiest uit 20 even waarschijnlijke volgende woorden. Een goed model heeft lage perplexiteit omdat het tekst goed voorspelt.

GPT-4 behaalt opmerkelijk lage perplexiteit op Engelse tekst, wat zijn sterke taalbegrip weerspiegelt.

A/B-Testen in Productie

Offline metrieken zijn noodzakelijk maar niet voldoende. De ultieme test is A/B-testen: implementeer twee modelversies bij verschillende gebruikersgroepen en meet echte resultaten.

• Verhoogt het nieuwe aanbevelingsmodel de doorklikratio?
• Vermindert de verbeterde chatbot het aantal geëscaleerde supporttickets?
• Ontvangt het bijgewerkte spamfilter minder "geen spam"-correcties?

Productiemetrieken wijken vaak af van offline metrieken omdat gebruikers zich onvoorspelbaar gedragen.

Wanneer Welke Metriek Gebruiken

| Scenario | Primaire metriek | |----------|-----------------| | Gebalanceerde classificatie | Nauwkeurigheid, F1 | | Ongebalanceerde klassen | Precisie, Recall, AUC | | Medische screening | Recall (sensitiviteit) | | Spamfiltering | Precisie + Recall balans | | Machinevertaling | BLEU, METEOR | | Taalmodelkwaliteit | Perplexiteit | | Productie-impact | A/B-testresultaten |

Belangrijkste Punten

• Nauwkeurigheid is misleidend bij ongebalanceerde data - controleer altijd de verwarringsmatrix.
• Precisie meet de correctheid van positieve voorspellingen; recall meet de volledigheid.
• F1 brengt beide in balans; AUC evalueert over alle drempels.
• Tekstgeneratie gebruikt BLEU en perplexiteit in plaats van classificatiemetrieken.
• A/B-testen is de gouden standaard voor het meten van de impact van modellen in de echte wereld.

📚 Verder Lezen

• Google ML Crash Course - Classification Metrics - Interactieve uitleg van precisie, recall en ROC-curves
• Towards Data Science - Beyond Accuracy - Praktische gids met voorbeelden uit de praktijk over het kiezen van metrieken