Gemini API की मदद से बेहतर बनाना

कम समय में प्रॉम्प्ट दिखाने जैसी प्रॉम्प्ट डिज़ाइन की रणनीति से, यह ज़रूरी नहीं है कि आपको चाहिए. फ़ाइन-ट्यूनिंग एक ऐसी प्रोसेस है जिससे आपके मॉडल प्रदर्शन या मॉडल को विशिष्ट आउटपुट का पालन करने में सहायता करना शर्तें, जब निर्देश काफ़ी न हों और आपके पास उदाहरणों का एक सेट मौजूद हो जो आपकी पसंद के आउटपुट दिखाता है.

इस पेज पर, Gemini API के टेक्स्ट मॉडल को बेहतर बनाने के बारे में जानकारी दी गई है टेक्स्ट सेवा.

शॉर्ट वीडियो को बेहतर बनाने की सुविधा कैसे काम करती है

इन टूल को बेहतर बनाने का मकसद, कोई टास्क चुनें. मॉडल को बेहतर बनाने के लिए, उसे ट्रेनिंग दी जाती है डेटासेट में टास्क के कई उदाहरण शामिल हैं. खास टास्क के लिए, आपको मॉडल को ट्यून करके, उसकी परफ़ॉर्मेंस में अहम सुधार कर सकते हैं के उदाहरण हैं.

आपका ट्रेनिंग डेटा उदाहरण के तौर पर इस तरह से व्यवस्थित होना चाहिए कि इसमें प्रॉम्प्ट इनपुट और अनुमानित रिस्पॉन्स आउटपुट. उदाहरण के तौर पर दिए गए डेटा का इस्तेमाल करके भी मॉडल को ट्यून किया जा सकता है पर भी इस प्रोग्राम को लागू किया जा सकता है. इसका मकसद, मॉडल को मनचाहे व्यवहार की नकल करना सिखाना है या टास्क को उस व्यक्ति के व्यवहार या टास्क के बारे में कई उदाहरण देकर.

जब ट्यूनिंग जॉब चलाया जाता है, तो मॉडल अतिरिक्त पैरामीटर सीख लेता है, जो इसकी मदद करता है आपको जो टास्क चाहिए उसे पूरा करने के लिए, ज़रूरी जानकारी को कोड में बदलें व्यवहार. इसके बाद, अनुमान के समय इन पैरामीटर का इस्तेमाल किया जा सकता है. इसका आउटपुट ट्यूनिंग जॉब एक नया मॉडल है, जो सीखे गए पैरामीटर, और ओरिजनल मॉडल.

अपना डेटासेट तैयार करना

इससे पहले कि आप मॉडल को बेहतर बनाएं, आपको मॉडल को ट्यून करने के लिए एक डेटासेट की ज़रूरत होगी. इसके लिए सबसे अच्छी परफ़ॉर्मेंस, डेटासेट में दिए गए उदाहरण अच्छी क्वालिटी के होने चाहिए, और इसमें असल इनपुट और आउटपुट शामिल हों.

फ़ॉर्मैट

आपके डेटासेट में शामिल उदाहरण, आपके अनुमानित प्रोडक्शन से मेल खाने चाहिए ट्रैफ़िक कम कर सकता है. अगर आपके डेटासेट में खास फ़ॉर्मैटिंग, कीवर्ड, निर्देश, या जानकारी के लिए, प्रोडक्शन डेटा को उसी तरह से फ़ॉर्मैट किया जाना चाहिए और एक जैसे निर्देश हों.

उदाहरण के लिए, अगर आपके डेटासेट के उदाहरणों में "question:" और a "context:", प्रोडक्शन ट्रैफ़िक को भी फ़ॉर्मैट किया जाना चाहिए, ताकि "question:" और "context:", उसी क्रम में हों जैसा डेटासेट में दिखता है उदाहरण. अगर कॉन्टेक्स्ट को हटा दिया जाता है, तो मॉडल, पैटर्न को नहीं पहचान पाएगा, भले ही सटीक सवाल डेटासेट के किसी उदाहरण में दिया गया हो.

अपने डेटासेट में हर उदाहरण के लिए प्रॉम्प्ट या प्रीएंबल जोड़ने से भी मदद मिल सकती है ट्यून किए गए मॉडल की परफ़ॉर्मेंस को बेहतर बनाना. ध्यान दें, अगर प्रॉम्प्ट या प्रीएंबल अपने डेटासेट में शामिल है, तो इसे ट्यून किए जाने वाले अनुमान के हिसाब से मॉडल चुनें.

ट्रेनिंग के लिए डेटा का साइज़

आप कम से कम 20 उदाहरणों के साथ किसी मॉडल को बेहतर बना सकते हैं. अतिरिक्त डेटा आम तौर पर जवाबों की क्वालिटी को बेहतर बनाता है. आपको 100 के बीच लक्षित करना चाहिए और 500 उदाहरण देखें. नीचे दी गई टेबल में अलग-अलग सामान्य कामों के लिए, टेक्स्ट मॉडल को बेहतर बनाने के लिए, डेटासेट साइज़ का सुझाव दिया जाता है:

टास्क डेटासेट में उदाहरणों की संख्या
क्लासिफ़िकेशन 100+
खास जानकारी 100-500+
दस्तावेज़ खोजें 100+

ट्यूनिंग का डेटासेट अपलोड करें

डेटा को एपीआई का इस्तेमाल करके या Google पर अपलोड की गई फ़ाइलों के ज़रिए इनलाइन पास किया जाता है AI Studio.

इंपोर्ट करें बटन पर क्लिक करें और डेटा इंपोर्ट करने के लिए, डायलॉग बॉक्स में दिए गए निर्देशों का पालन करें या ट्यूनिंग के तौर पर इंपोर्ट करने के लिए, उदाहरण के साथ कोई स्ट्रक्चर्ड प्रॉम्प्ट चुनें डेटासेट.

क्लाइंट लाइब्रेरी

क्लाइंट लाइब्रेरी का इस्तेमाल करने के लिए, createTunedModel में डेटा फ़ाइल दें कॉल. फ़ाइल का साइज़ चार एमबी से ज़्यादा नहीं होना चाहिए. फ़ाइन-ट्यूनिंग क्विकस्टार्ट इनके साथ देखें: Python.

cURL

cURL का इस्तेमाल करके REST API को कॉल करने के लिए, JSON फ़ॉर्मैट में ट्रेनिंग के उदाहरण दें: training_data आर्ग्युमेंट. इसके साथ ट्यूनिंग क्विकस्टार्ट देखें cURL का इस्तेमाल करें.

ट्यूनिंग की बेहतर सेटिंग

ट्यूनिंग जॉब बनाते समय, आप नीचे दी गई बेहतर सेटिंग तय कर सकते हैं:

  • Epoch: पूरे ट्रेनिंग सेट के लिए एक पूरा ट्रेनिंग पास, जैसे कि हर एक को उदाहरण को एक बार प्रोसेस कर दिया गया है.
  • बैच साइज़: एक ट्रेनिंग इटरेशन में इस्तेमाल किए जाने वाले उदाहरणों का सेट. कॉन्टेंट बनाने बैच साइज़ से बैच में उदाहरणों की संख्या तय होती है.
  • लर्निंग रेट: एक फ़्लोटिंग-पॉइंट नंबर, जो एल्गोरिदम को यह बताता है कि का इस्तेमाल हर इटरेशन पर मॉडल पैरामीटर को अडजस्ट करने के लिए किया जाता है. उदाहरण के लिए, लर्निंग रेट 0.3 होने पर, वज़न और पक्षपात को तीन गुना ज़्यादा अडजस्ट किया जा सकता है सीखने की दर 0.1 से भी ज़्यादा बेहतर तरीके से काम करती है. सीखने-सिखाने की ज़्यादा और कम दर से उन्हें खास तौर पर बदल दिया जाए और उन्हें आपके इस्तेमाल के उदाहरण के आधार पर अडजस्ट किया जाए.
  • लर्निंग रेट मल्टीप्लायर: रेट मल्टीप्लायर, मॉडल के ओरिजनल लर्निंग रेट. अगर वैल्यू 1 है, तो वैल्यू के तौर पर मॉडल. एक से ज़्यादा वैल्यू देने पर, सीखने की दर और वैल्यू एक के बीच बढ़ जाती है और 0 सीखने की दर कम हो जाती है.

नीचे दी गई टेबल में कॉन्फ़िगरेशन को बेहतर बनाने के लिए सुझाए गए कॉन्फ़िगरेशन दिए गए हैं फ़ाउंडेशन मॉडल:

हाइपर पैरामीटर डिफ़ॉल्ट वैल्यू सुझाए गए बदलाव
Epoch 5

अगर 5 epoch से पहले इसकी वैल्यू में गिरावट शुरू होती है, तो कम वैल्यू का इस्तेमाल करें.

अगर नुकसान की वैल्यू एक जैसी है और अनुमानित नहीं है, तो ज़्यादा वैल्यू इस्तेमाल करें.

बैच का साइज़ 4
सीखने की दर 0.001 छोटे डेटासेट के लिए कम वैल्यू का इस्तेमाल करें.

लॉस कर्व दिखाता है कि मॉडल का अनुमान, आदर्श से कितना भटका सुझाव दिए गए हैं. आम तौर पर, आपको रोकना है इसके ठीक पहले, कर्व के सबसे निचले पॉइंट पर ट्रेनिंग करें. उदाहरण के लिए, नीचे दिए गए ग्राफ़ में epoch 4-6 का लॉस कर्व प्लेटिंग दिखाया गया है जिसका मतलब है Epoch पैरामीटर को 4 पर सेट करके भी, पहले जैसा ही परफ़ॉर्म किया जा सकता है.

मॉडल के लॉस कर्व को दिखाने वाला लाइन चार्ट. इसके बीच में आने वाली रेखाएं
पहला और दूसरा युग, फिर तेज़ी से गिरकर करीब 0 तक पहुंच जाता है और लेवल बाहर हो जाता है
तीन युगों के बाद.

ट्यूनिंग जॉब की स्थिति देखें

Google AI Studio में, ट्यूनिंग की नौकरी की स्थिति देखने के लिए मेरी लाइब्रेरी टैब या इसके साथ ट्यून किए गए मॉडल की metadata प्रॉपर्टी का इस्तेमाल करना Gemini API.

गड़बड़ियां ठीक करना

इस सेक्शन में, समस्याओं को ठीक करने के बारे में सलाह दी गई है. जिससे आपका ट्यून किया गया मॉडल बन जाएगा.

पुष्टि करना

एपीआई और क्लाइंट लाइब्रेरी का इस्तेमाल करके ट्यून करने के लिए, उपयोगकर्ता की पुष्टि करना ज़रूरी है. एपीआई पासकोड अकेले नहीं करना काफ़ी नहीं है. अगर आपको 'PermissionDenied: 403 Request had insufficient authentication scopes' गड़बड़ी दिखती है, तो आपको उपयोगकर्ता खाता सेट अप करना होगा पुष्टि करने के लिए.

Python के लिए OAuth क्रेडेंशियल कॉन्फ़िगर करने के लिए, OAuth सेटअप देखें ट्यूटोरियल देखें.

रद्द किए गए मॉडल

बेहतर परफ़ॉर्म करने वाले काम को पूरा करने से पहले, इसे किसी भी समय रद्द किया जा सकता है. हालांकि, रद्द किए गए मॉडल की परफ़ॉर्मेंस का अनुमान नहीं लगाया जा सकता, खास तौर पर तब ट्यूनिंग का काम ट्रेनिंग के दौरान जल्दी रद्द कर दिया जाता है. अगर आपने अगर आपको किसी खास समय पर ट्रेनिंग नहीं देनी है, तो आपको नई ट्यूनिंग बनानी चाहिए जॉब सेट करें और epoch को कम वैल्यू पर सेट करें.

आगे क्या करना है