Un rapport de l’UNESCO et de l’University College London a évalué jusqu’à 33 modèles de langage à partir de neuf jeux de données sur le climat et l’environnement, dans 13 langues. Face à des questions neutres sur des faits climatiques, les systèmes ont répondu juste environ 90 % du temps. Leurs limites sont apparues lorsqu’ils devaient interpréter de nouvelles informations : même les modèles les plus performants n’ont obtenu qu’une moyenne de 75 % dans ces exercices. Pour évaluer deux politiques climatiques combinées, la précision est tombée à 33,8 %, tout près des 33,3 % attendus d’un choix au hasard parmi trois réponses.
Les chercheurs ont aussi étudié la réaction des modèles quand une personne contestait une réponse correcte. Dans ce test mené sur 15 modèles, huit sur dix ont abandonné leur réponse dès la première légère contradiction. Les résultats variaient également selon la langue : la précision moyenne atteignait 88,6 % en anglais, contre 81,4 % en ourdou et 78,3 % en swahili. Ces chiffres décrivent les modèles, les questions et les versions examinés, et ne permettent pas de généraliser à chaque réponse d’un système d’IA.
Pourquoi c’est important
Le rapport distingue le rappel de faits déjà connus de la capacité à analyser de nouvelles preuves ou l’effet combiné de plusieurs mesures. Il montre aussi qu’une réponse initialement exacte peut changer lorsque l’utilisateur insiste. Cela ne signifie pas que toutes les réponses climatiques de l’IA sont fausses, mais les résultats plaident pour une vérification auprès de sources scientifiques et pour des évaluations dans chaque langue, plutôt qu’en anglais seulement.
Sources et lectures complémentaires
Cet article est rédigé avec nos propres mots. Ces liens indiquent les articles et annonces utilisés pour vérifier les informations.




