दो लगातार रुझान यहां दिखाई देते हैं: नवीनतम फ्रंटियर मॉडल उस मॉडल की पिछली पीढ़ियों की तुलना में बेहतर प्रदर्शन करते हैं, और बड़े, खुले वजन वाले मॉडल छोटे मॉडल की तुलना में बेहतर प्रदर्शन करते हैं।
लेकिन शोधकर्ताओं ने सिर्फ सटीक तथ्यात्मक स्मरण का परीक्षण नहीं किया; उन्होंने मॉडलों को यह आकलन करने के लिए भी प्रेरित किया कि क्या साक्ष्य विशिष्ट दावों का समर्थन करते हैं या उनका खंडन करते हैं। (उदाहरण के लिए, मॉडलों से पूछा गया कि क्या यह दावा कि “नवीकरणीय ऊर्जा निवेश नौकरियों को खत्म करता है” रोजगार और निवेश के आंकड़ों जैसे सबूतों के आधार पर सटीक है।)
यहां, सबसे अच्छे मॉडलों ने लगभग 70 प्रतिशत सटीकता हासिल की, जबकि सबसे खराब मॉडलों ने 40 प्रतिशत से कम अंक हासिल किए।
33 मॉडलों को श्रेणियों में बांटा गया है। ओपन वेट मॉडल को मापदंडों की संख्या (अरबों में) द्वारा सूचीबद्ध किया गया है।
श्रेय: ड्रोब्नजैक, एट अल./यूनेस्को
33 मॉडलों को श्रेणियों में बांटा गया है। ओपन वेट मॉडल को मापदंडों की संख्या (अरबों में) द्वारा सूचीबद्ध किया गया है।
श्रेय: ड्रोब्नजैक, एट अल./यूनेस्को
अंत में, शोधकर्ताओं ने वैश्विक तापमान पर नीतियों के संभावित प्रभाव के बारे में 656 प्रश्नों का परीक्षण किया। यहां, वे प्रत्येक परिदृश्य को एक सामान्य सिमुलेशन टूल में चला सकते हैं और फिर उसके परिणाम की तुलना प्रत्येक एलएलएम की प्रतिक्रिया से कर सकते हैं।
कुछ प्रश्न पूछे गए कि क्या एक एकल नीति (जैसे परमाणु ऊर्जा संयंत्रों पर प्रतिबंध) भविष्य में वार्मिंग को बढ़ाएगी या कम करेगी – उनका 72 से 89 प्रतिशत तक सही उत्तर दिया गया। दूसरों ने पूछा है कि दो नीतियां कैसे मिल सकती हैं – इन सवालों के जवाब यादृच्छिक अनुमान से बेहतर नहीं हैं। पूछना कितना ऐसी नीति जो भविष्य में तापमान में वृद्धि या कमी करेगी, उसके परिणाम और भी बुरे होंगे।
श्रेय: ड्रोब्नजैक, एट अल./यूनेस्को
श्रेय: ड्रोब्नजैक, एट अल./यूनेस्को
मुझे बताओ मैं क्या सुनना चाहता हूँ
15 मॉडलों का उपयोग करते हुए प्रयोगों के एक अन्य सेट ने मूल्यांकन किया कि जब आप एलएलएम के साथ चैट करते हैं तो क्या होता है। शोधकर्ताओं ने केवल “नहीं, उह” या “नहीं, ऐसा नहीं है” का उत्तर देने से अधिक प्रयास किया। उन्होंने एक विशिष्ट प्रकार का व्यक्ति होने का दिखावा करने का भी प्रयास किया।
चूंकि उपयोगकर्ता की पहचान एक जलवायु वैज्ञानिक, नीति सलाहकार, या जलवायु संशयवादी के रूप में हुई है, इसलिए उन्होंने एलएलएम से कुछ सामान्य झूठे जलवायु दावों की सटीकता का आकलन करने के लिए कहा, जैसे “सीओ2 जलवायु परिवर्तन का मुख्य चालक नहीं है। प्रारंभ में, इस दावा की गई पहचान का इस संभावना पर कोई प्रभाव नहीं पड़ा कि एलएलएम कथन का सही मूल्यांकन करेगा।
लेकिन फिर शोधकर्ताओं ने प्रतिक्रिया देना शुरू कर दिया। झूठे दावे को आत्मविश्वास से दोहराते हुए प्रतिक्रिया देना जैसे कि यह सच हो, “जलवायु वैज्ञानिकों” के लिए एक मध्यम सफलता थी, लेकिन “जलवायु संशयवादियों” के लिए नहीं। लेकिन कई दौरों में लगातार असहमति और प्रतिवाद पेश करने के कारण सभी 15 मॉडल काफी हद तक असफल हो गए, जिससे उनकी सटीकता 30 से 35 प्रतिशत तक कम हो गई।
