UNESCO ve University College London, iklim ve çevreyle ilgili dokuz veri kümesini kullanarak 33’e kadar büyük dil modelini 13 dilde değerlendirdi. Yerleşik iklim bilimi gerçekleri hakkında tarafsız sorular sorulduğunda modeller yaklaşık yüzde 90 doğruluk sağladı. Yeni bilgileri yorumlama görevlerinde ise en başarılı modellerin ortalaması yüzde 75’te kaldı. Birlikte uygulanan iki iklim politikasının etkisini değerlendiren testte doğruluk yüzde 33,8 oldu; bu oran, üç seçenekten rastgele seçimde beklenen yüzde 33,3’e yakındı.

Araştırmacılar, bir kullanıcının doğru yanıta itiraz etmesi halinde modellerin nasıl davrandığını da inceledi. On beş modelin yer aldığı deneyde, on modelden sekizi ilk hafif itirazda yanıtını değiştirdi. Sonuçlar dile göre de farklılaştı: ortalama doğruluk İngilizcede yüzde 88,6 iken Urduca yüzde 81,4, Svahili dilinde yüzde 78,3 oldu. Bulgular test edilen modeller, sorular ve sürümlerle sınırlı; tüm yapay zekâ yanıtlarını temsil etmiyor.

FILEZUNA BAĞLAMI

Neden önemli

Rapor, bilinen gerçekleri hatırlama becerisiyle yeni kanıtları değerlendirmeyi ve farklı politikaların birlikte etkisini çözümlemeyi birbirinden ayırıyor. Ayrıca sohbet sırasında kullanıcı baskısının, başlangıçta doğru olan bir yanıtı değiştirebildiğini gösteriyor. Bu sonuçlar iklimle ilgili her yapay zekâ yanıtının yanlış olduğu anlamına gelmiyor; ancak önemli iddiaların bilimsel kaynaklarla kontrol edilmesini ve başarımın yalnızca İngilizcede değil her dilde ölçülmesini destekliyor.

KAYNAKLAR

Kaynaklar ve ileri okumalar

Bu haber özgün ifadelerle yazılmıştır. Bu bağlantılar, ayrıntıları doğrulamak için kullanılan haber ve duyuruları gösterir.

FZHABERİN SONU
Daha fazla Teknoloji haberi