Google critiqué pour l'évaluation de son IA Gemini par des novices

Google fait face à des critiques après des révélations sur ses pratiques d'évaluation de l'intelligence artificielle Gemini. Selon un rapport de TechCrunch, basé sur des directives internes, Google aurait demandé à des prestataires de ne pas ignorer les tâches, même si elles dépassent leur domaine d'expertise. Une approche qui suscite des inquiétudes quant à la précision des évaluations.

Gemini, une IA développée par Google, a été récemment mise à jour en version 2.0 et présentée au public. Cependant, les conditions d'évaluation de ses performances ont attiré l'attention. GlobalLogic, une entreprise sous-traitante qui travaille pour Google, aurait reçu l'ordre de ne pas permettre à ses évaluateurs de sauter des tâches nécessitant des connaissances spécialisées. Auparavant, ces évaluateurs pouvaient éviter les sujets qu'ils ne maîtrisaient pas, comme demander à un médecin de commenter des questions légales.

Désormais, les directives auraient changé : les évaluateurs doivent "évaluer les parties des questions qu'ils comprennent" et préciser si le sujet dépasse leurs compétences. Les seules exceptions autorisées concernent des cas où l'information est largement manquante ou lorsque des contenus sensibles sont impliqués, nécessitant une autorisation spécifique.

Un évaluateur a exprimé son mécontentement face à ces changements en déclarant : "L'idée de sauter des tâches était d'améliorer la précision en les confiant à quelqu'un de plus qualifié."

En réponse aux critiques, Google a affirmé que les évaluateurs fournissent des retours sur divers aspects, comme le style et le format des réponses, et que leurs notes, bien que collectées en masse, ne modifient pas directement les algorithmes. L'entreprise a également mis en avant un nouvel outil, FACTS Grounding, qui vérifie l'exactitude et le niveau de détail des réponses générées par son IA.

Ce débat soulève des questions sur la responsabilité des grandes entreprises technologiques dans le développement et la validation de systèmes d’intelligence artificielle. Les décisions de Google concernant Gemini pourraient avoir des conséquences sur la perception de la fiabilité de ses produits.