UNESCOとロンドン大学ユニバーシティ・カレッジは、気候・環境に関する9種類のデータセットを使い、最大33の大規模言語モデルを13言語で評価した。気候科学の基本的な事実を尋ねる中立的な質問では、モデルの正答率は約90%だった。一方、新しい情報を解釈する課題では、最も成績のよいモデルでも平均75%にとどまった。二つの気候政策が組み合わさった効果を評価する設問の正答率は33.8%で、三択を偶然選んだ場合の33.3%に近かった。
研究チームは、正しい回答に利用者が異議を唱えた場合の変化も調べた。15モデルを対象とする実験では、10モデル中8モデルが最初の穏やかな反論を受けて回答を変えた。言語による差もあり、平均正答率は英語で88.6%、ウルドゥー語で81.4%、スワヒリ語で78.3%だった。これらは調査で使われたモデルや質問、バージョンについての結果であり、あらゆるAIの回答を示すものではない。 この研究はCOP31で公表された報告書に基づき、気候政策に関する656の設問もEn-ROADSのシミュレーション結果と照合している。
注目する理由
この調査は、既知の事実を再現する力と、新たな証拠を評価したり複数の政策の相互作用を考えたりする力を区別している。また、会話中に利用者から圧力を受けると、最初は正しかった回答が変わり得ることも示した。すべてのAIによる気候情報が誤りという意味ではないが、重要な主張は科学的な一次資料で確認し、英語以外の各言語でも精度を検証する必要がある。 検証対象には9種類のデータセットと13言語が含まれ、質問の仕方や言語によって結果が変わる。研究は特定時点のモデルを扱っているため、後に更新されたモデルにも同じ数値が当てはまるとは限らない。
情報源・関連情報
この記事は独自の文章で構成しています。以下のリンクは、事実確認に使用した報道や発表です。




