L'estimation de qualité : trier ce qui doit être relu

Le problème que ça résout

Face à un volume de traduction automatique, une organisation n’a longtemps eu que deux options. Tout faire relire, ce qui annule une partie du gain. Ou ne rien faire relire, ce qui expose.

L’estimation de qualité ouvre une troisième voie : attribuer à chaque segment un indice de confiance, laisser passer ceux qui dépassent un seuil, envoyer les autres à un humain.

La formulation exacte compte : elle ne remplace pas le contrôle, elle décide où le contrôle a lieu. C’est une allocation de ressource rare, pas une garantie de qualité.

Comment ça fonctionne, sans référence

La difficulté technique tient à l’absence de traduction idéale à laquelle comparer. En production, personne n’a la bonne réponse — c’est justement pourquoi on traduit.

Les systèmes d’estimation apprennent donc à prédire un jugement humain à partir du couple source / cible seul. Ils sont entraînés sur des corpus où des professionnels ont noté des traductions, et apprennent à reconnaître les configurations qui accompagnent une erreur : incohérence sémantique entre source et cible, rapport de longueur anormal, terminologie inattendue, structure syntaxique incompatible.

Ce qu’ils produisent est une probabilité, pas un verdict. Un indice élevé signifie qu’une erreur est peu probable, pas qu’il n’y en a pas.

Les deux erreurs à distinguer

Tout dispositif de tri en commet deux, et elles n’ont pas le même coût.

Le faux négatif : un segment correct est signalé comme douteux. Coût : du temps humain dépensé pour rien. Désagréable, borné.

Le faux positif : un segment fautif passe le seuil et est publié sans relecture. Coût : la conséquence de l’erreur, potentiellement sans plafond.

Ces deux erreurs varient en sens inverse. Relever le seuil réduit les faux positifs et multiplie les faux négatifs — donc le coût de relecture. L’abaisser fait l’inverse.

Le réglage du seuil est donc une décision de risque, pas un paramètre technique. Elle appartient à ceux qui portent la conséquence de l’erreur, pas à l’équipe qui exploite l’outil.

Le calibrage : là où tout se joue

C’est l’étape que les projets bâclent, et c’est celle qui détermine si le dispositif fonctionne.

Constituez un échantillon représentatif de votre contenu réel — pas un corpus de test générique, pas les textes faciles. Plusieurs centaines de segments couvrant vos combinaisons, vos domaines et vos formats habituels.

Faites-le évaluer par des professionnels, avec une typologie d’erreurs pondérée plutôt qu’une appréciation globale. Une grille MQM simplifiée suffit : exactitude, terminologie, fluidité, conventions.

Croisez les jugements humains avec les indices produits par le système. Vous obtenez une courbe : à quel niveau d’indice les erreurs commencent-elles à apparaître, et de quelle gravité.

Fixez le seuil selon la gravité que vous acceptez, type de contenu par type de contenu. Le seuil d’une fiche produit et celui d’une notice réglementaire n’ont aucune raison d’être identiques.

Comptez plusieurs semaines. Un seuil repris d’une documentation fournisseur ou d’un article de blog n’a aucune valeur prédictive sur votre contenu — c’est le point le plus important de cet article.

L’échantillonnage permanent

Un seuil calibré n’est pas un seuil valide pour toujours.

Trois choses le périment : le moteur change de comportement sans préavis, votre contenu dérive vers d’autres sujets, la combinaison linguistique ou le domaine évoluent.

D’où la nécessité d’un échantillonnage des segments acceptés automatiquement : un prélèvement régulier, relu par un humain, avec un suivi du taux d’erreur constaté. Si ce taux monte, le seuil ne tient plus.

C’est l’économie la plus tentante du dispositif et la plus dangereuse. Sans elle, vous avez une assurance dont personne ne vérifie qu’elle couvre encore.

Ce que l’estimation de qualité ne fait pas

Elle ne détecte pas fiablement les erreurs qui n’ont aucune trace statistique visible. Une date plausible mais fausse, un nom propre cohérent mais erroné, une omission dans un segment par ailleurs bien construit peuvent obtenir un indice élevé.

C’est pourquoi elle se combine avec des contrôles déterministes et ne les remplace pas : intégrité des nombres, entités nommées, rapport de longueur, conformité terminologique. Les deux dispositifs attrapent des choses différentes, et les contrôles déterministes coûtent presque rien.

Ce qu’il faut mettre en place, dans l’ordre

Quatre étapes, sur deux à trois mois.

1. Les contrôles déterministes d’abord. Peu coûteux, effet immédiat, aucun calibrage nécessaire.
2. La mesure ensuite. Constituez l’échantillon, faites-le évaluer, tracez la courbe.
3. Le seuil par type de contenu, décidé avec les fonctions qui portent le risque, écrit et daté.
4. L’échantillonnage permanent, avec un seuil d’alerte au-delà duquel on suspend l’automatisation.

Sauter l’étape 2 pour arriver plus vite à l’étape 3 est la manière la plus courante de rater ce projet.