Gemma ओपन मॉडल

25-शॉट

ARC-C

ARC-c बेंचमार्क, ARC-e डेटासेट का ज़्यादा फ़ोकस वाला सबसेट है. इसमें सिर्फ़ ऐसे सवाल शामिल हैं जिनके जवाब सामान्य (डेटा पाने का आधार और शब्द के साथ आने) वाले एल्गोरिदम का गलत तरीके से दिए गए हैं.

5-शॉट

जीएसएम8के

GSM8K बेंचमार्क, ग्रेड-स्कूल के गणित के सवालों को हल करने में भाषा के मॉडल की क्षमता का परीक्षण करता है, जिसमें अक्सर रीज़निंग के कई चरणों की ज़रूरत होती है.

3-5-शॉट

AGIEval

एजीआईईवल बेंचमार्क में, भाषा के मॉडल के सामान्य इंटेलिजेंस की जांच की जाती है. इसके लिए, असल दुनिया की परीक्षाओं से मिले सवालों का इस्तेमाल किया जाता है, जो लोगों की बौद्धिक क्षमताओं का आकलन करने के लिए डिज़ाइन किए गए हैं.

3-शॉट, CoT

BBH

BBH (बिग-बेंच हार्ड) मानदंड उन कामों पर फ़ोकस करता है जो मौजूदा लैंग्वेज मॉडल की क्षमताओं से बाहर होते हैं. साथ ही, इसमें अलग-अलग रीज़निंग और समझ वाले डोमेन की सीमाओं की जांच की जाती है.

3-शॉट, F1

नीचे झुक जाएं

DROP, पढ़ने और समझने की क्षमता का मानदंड है. इसके लिए पैराग्राफ़ के तौर पर, अलग-अलग तर्क की ज़रूरत होती है.

5-शॉट

Winogrande

विनोग्रांडे बेंचमार्क, बाइनरी विकल्पों की मदद से मुश्किल भरे कामों को पूरा करने में भाषा के मॉडल की क्षमता का परीक्षण करता है, जिसके लिए सामान्य सामान्य सामान्य तर्क की ज़रूरत होती है.

10-शॉट

HellaSwag

HellaSwag बेंचमार्क किसी कहानी के सबसे तार्किक अंत को चुनकर, सामान्य ज्ञान से जुड़े तर्क को समझने और उसे लागू करने की भाषा मॉडल की क्षमता को चुनौती देता है.

4-शॉट

MATH

MATH, गणित के जटिल शब्द सवालों को हल करने में भाषा के मॉडल की क्षमता का आकलन करता है. इसमें तर्क के साथ, कई चरणों में सवाल हल करना, और गणित के सिद्धांतों को समझना ज़रूरी है.

0-शॉट

ARC-e

ARC-e बेंचमार्क की टेक्नोलॉजी, भाषा से जुड़े ऐडवांस लेवल के सवालों के जवाब देने के ऐडवांस कौशल की जांच करती है. इसके लिए, ग्रेड-स्कूल लेवल के कई विकल्प वाले विज्ञान के सवालों का इस्तेमाल किया जाता है.

0-शॉट

PIQA

PIQA बेंचमार्क की मदद से, हर दिन की शारीरिक बातचीत से जुड़े सवालों के जवाब देकर, भाषा के मॉडल की शारीरिक सामान्य जानकारी को समझने और उसे लागू करने की क्षमता को परखा जाता है.

0-शॉट

SIQA

SIQA बेंचमार्क लोगों की कार्रवाइयों और उनके सामाजिक असर के बारे में सवाल पूछकर, किसी भाषा के मॉडल की सामाजिक इंटरैक्शन और सामाजिक आम समझ का आकलन करता है.

0-शॉट

बूल्क

BoolQ बेंचमार्क, स्वाभाविक रूप से हां या नहीं में जवाब देने की भाषा के मॉडल की क्षमता को परखता है. साथ ही, इस मॉडल की मदद से असल दुनिया में प्राकृतिक भाषा का अनुमान लगाने के टास्क कर पाता है.

5-शॉट

TriviaQA

ट्रिवियाQA बेंचमार्क तीन बार सवालों के जवाब के साथ, समझने की क्षमता की जांच करता है.

5-शॉट

NQ

NQ (सामान्य सवाल) मानदंड की मदद से, विकिपीडिया के सभी लेखों में जवाब ढूंढने और समझने की भाषा मॉडल की क्षमता का आकलन किया जाता है. इसमें, असल दुनिया में होने वाले सवालों के जवाब दिए जाते हैं.

पास@1

HumanEval

HumanEval बेंचमार्क, लैंग्वेज मॉडल के कोड जनरेट करने की क्षमताओं की जांच करता है. इसके लिए, यह आकलन किया जाता है कि इसके समाधान, प्रोग्रामिंग से जुड़ी समस्याओं के लिए फ़ंक्शनल यूनिट टेस्ट को पास करते हैं या नहीं.

3-शॉट

MBPP

MBPP मानदंड, Python प्रोग्रामिंग की बुनियादी समस्याओं को हल करने में भाषा मॉडल की क्षमता की जांच करता है. इसमें बुनियादी प्रोग्रामिंग सिद्धांतों और स्टैंडर्ड लाइब्रेरी के इस्तेमाल पर ध्यान दिया जाता है.