Was ein Translation Score misst und was nicht

Eine Zahl aus Befunden, die schon da sind

Der Score löst keinen eigenen Modellaufruf aus. Er ist eine Aggregation der Befunde, die der Judge je Feld bereits erzeugt hat: Kategorie, Schweregrad, Begründung, aufbewahrt über 90 Tage. Die Berechnung kostet nichts.

Für jede Prüfmenge, einen Auftrag, eine Sprache, einen ganzen Shop oder einen Zeitraum, gilt Score = 100 × (1 − Σ gᵢ / n). Dabei ist n die Anzahl geprüfter Felder und gᵢ das Gewicht des schwersten Befunds im Feld i. Ein Feld ohne Befund hat gᵢ = 0. Mehrere Befunde im selben Feld zählen einmal mit dem höchsten Gewicht, damit ein einzelnes kaputtes Feld den Score nicht dominiert.

Die Gewichte

Vier der fünf schwersten Befundarten stammen aus deterministischen Prüfungen, die nichts kosten. Eine Schnellprüfung ohne Modellaufruf ist deshalb schon ein belastbarer Unterbau für den Score. Der Judge verfeinert ihn.

Die Gewichte sind versioniert. Ein Score sagt immer, mit welcher Version er entstand. Eine Änderung der Gewichte erzeugt eine neue Version, alte Scores werden nicht neu berechnet.

Was der Score dir nicht sagen kann

Er sagt dir nicht, ob eine Übersetzung verkauft. Ton und Stil tragen ein Gewicht von 0,15, weil sie Geschmacksfrage sind, kein Fehler. Er ersetzt bei Rechtstexten keine Person mit Sprachkenntnis. Und er ist nur so gut wie die Stichprobe, aus der er berechnet wurde.

Die Stichprobe gehört zur Zahl

Ein Score aus 12 Feldern ist nicht dasselbe wie einer aus 12.000. Unter 30 Feldern zeigt Glotari den Score in Grau, als vorläufig markiert, ohne Band. Zwischen 30 und 199 Feldern erscheint das Band zusammen mit der Stichprobengröße. Ab 200 Feldern entfällt der Zusatz. Kein Konfidenzintervall, die Stichprobengröße reicht.