การปรับแต่งด้วย Gemini API

กลยุทธ์การออกแบบพรอมต์ เช่น พรอมต์ แบบน้อยๆ อาจไม่สร้าง ผลลัพธ์ที่คุณต้องการ การปรับแต่งเป็นกระบวนการที่สามารถปรับปรุงโมเดลของคุณ ประสิทธิภาพในงานที่เฉพาะเจาะจงหรือช่วยให้โมเดลปฏิบัติตามเอาต์พุตที่เฉพาะเจาะจง ในกรณีที่วิธีการไม่เพียงพอ และคุณมีตัวอย่าง ที่แสดงเอาต์พุตที่คุณต้องการ

หน้านี้มีคำแนะนำเกี่ยวกับการปรับแต่งโมเดลข้อความเบื้องหลัง Gemini API บริการข้อความ

วิธีการทำงานของการปรับแต่ง

เป้าหมายของการปรับแต่งก็คือการปรับปรุงประสิทธิภาพของโมเดลสำหรับ เฉพาะที่แตกต่างกันไป ปรับแต่งงานโดยมอบการฝึกให้กับโมเดล ที่มีตัวอย่างของงานจำนวนมาก สำหรับงานเฉพาะกลุ่ม คุณจะได้รับ ปรับปรุงประสิทธิภาพของโมเดลได้อย่างมากด้วยการปรับแต่งโมเดลจาก จำนวนตัวอย่าง

ข้อมูลการฝึกควรมีโครงสร้างเป็นตัวอย่างที่มีอินพุตและพรอมต์ เอาต์พุตคำตอบที่คาดหวัง คุณสามารถปรับแต่งโมเดลโดยใช้ข้อมูลตัวอย่างโดยตรง ใน Google AI Studio เป้าหมายคือการสอนโมเดลให้เลียนแบบพฤติกรรมที่อยากได้ หรืองานหนึ่งๆ ได้โดยยกตัวอย่างมากมายที่แสดงให้เห็นพฤติกรรมหรืองานนั้น

เมื่อคุณเรียกใช้งานการปรับแต่ง โมเดลจะเรียนรู้พารามิเตอร์เพิ่มเติมที่ช่วยได้ เข้ารหัสข้อมูลที่จำเป็นเพื่อทำงานที่ต้องการ หรือเรียนรู้ พฤติกรรมของคุณ จากนั้นจะใช้พารามิเตอร์เหล่านี้ได้เมื่ออนุมาน เอาต์พุตของ งานการปรับแต่งเป็นโมเดลใหม่ ซึ่งเป็นการผสมผสานระหว่าง พารามิเตอร์ที่เรียนรู้ และรูปแบบดั้งเดิม

เตรียมชุดข้อมูล

ก่อนเริ่มการปรับแต่ง คุณต้องมีชุดข้อมูลสำหรับปรับแต่งโมเดล สำหรับ ประสิทธิภาพดีที่สุด ตัวอย่างในชุดข้อมูลควรมีคุณภาพสูง มีความหลากหลาย และแสดงถึงอินพุตและเอาต์พุตจริง

รูปแบบ

ตัวอย่างที่รวมอยู่ในชุดข้อมูลควรตรงกับเวอร์ชันที่ใช้งานจริงที่คาดไว้ การเข้าชม หากชุดข้อมูลมีการจัดรูปแบบ คีย์เวิร์ด วิธีการ หรือข้อมูลที่ใช้งานจริง ควรจัดรูปแบบในลักษณะเดียวกันและ มีวิธีเดียวกัน

เช่น หากตัวอย่างในชุดข้อมูลมี "question:" และ "context:" การรับส่งข้อมูลที่ใช้งานจริงควรจัดรูปแบบให้รวม "question:" และ "context:" ในลำดับเดียวกับที่ปรากฏในชุดข้อมูล ตัวอย่าง ถ้าคุณยกเว้นบริบท โมเดลจะไม่สามารถจดจำรูปแบบ แม้ว่าคำถามนั้นจะอยู่ในตัวอย่างในชุดข้อมูลก็ตาม

การเพิ่มพรอมต์หรือคำนำให้กับแต่ละตัวอย่างในชุดข้อมูลก็ช่วยได้เช่นกัน ปรับปรุงประสิทธิภาพของโมเดลที่ปรับแต่ง โปรดทราบว่าหากข้อความแจ้งหรือคำนำคือ ในชุดข้อมูลของคุณ นอกจากนี้ยังควรรวมอยู่ในพรอมต์เพื่อปรับแต่ง โมเดลในเวลาที่อนุมาน

ขนาดข้อมูลการฝึก

คุณสามารถปรับแต่งโมเดลได้ด้วยตัวอย่างเพียง 20 รายการ ข้อมูลเพิ่มเติม โดยทั่วไปจะช่วยปรับปรุงคุณภาพของคำตอบ คุณควรกำหนดเป้าหมายระหว่าง 100 และตัวอย่าง 500 รายการ ขึ้นอยู่กับแอปพลิเคชันของคุณ ตารางต่อไปนี้แสดง ขนาดชุดข้อมูลที่แนะนำสำหรับการปรับแต่งโมเดลข้อความสำหรับงานทั่วไปต่างๆ ดังนี้

งาน จำนวนตัวอย่างในชุดข้อมูล
การจัดประเภท 100+
การสรุป 100-500+
ค้นหาเอกสาร 100+

อัปโหลดชุดข้อมูลการปรับแต่ง

ส่งข้อมูลแบบในหน้าโดยใช้ API หรือผ่านไฟล์ที่อัปโหลดใน Google AI Studio

คลิกปุ่มนำเข้าแล้วทำตามคำแนะนำของกล่องโต้ตอบเพื่อนำเข้าข้อมูล จากไฟล์ หรือเลือกพรอมต์แบบมีโครงสร้างพร้อมตัวอย่างเพื่อนำเข้าเป็นการปรับแต่งของคุณ ชุดข้อมูล

ไลบรารีของไคลเอ็นต์

หากต้องการใช้ไลบรารีไคลเอ็นต์ ให้ระบุไฟล์ข้อมูลใน createTunedModel การโทร ไฟล์ต้องมีขนาดไม่เกิน 4 MB โปรดดูการเริ่มต้นใช้งานอย่างรวดเร็วด้วย Python เพื่อเริ่มต้นใช้งาน

cURL

หากต้องการเรียก API ของ REST โดยใช้ cURL ให้ระบุตัวอย่างการฝึกในรูปแบบ JSON เพื่อ อาร์กิวเมนต์ training_data ดูการเริ่มต้นปรับแต่งอย่างรวดเร็วด้วย cURL เพื่อเริ่มต้นใช้งาน

การตั้งค่าการปรับแต่งขั้นสูง

เมื่อสร้างงานการปรับแต่ง คุณสามารถระบุการตั้งค่าขั้นสูงต่อไปนี้

  • Epoch: การฝึกอบรมเต็มรูปแบบจะผ่านชุดการฝึกทั้งหมด ซึ่งแต่ละชุด ได้รับการประมวลผลแล้ว 1 ครั้ง
  • ขนาดกลุ่ม: ชุดตัวอย่างที่ใช้ในการปรับปรุงการฝึก 1 รายการ ขนาดกลุ่มจะกำหนดจำนวนตัวอย่างในกลุ่ม
  • อัตราการเรียนรู้: จำนวนทศนิยมที่บอกให้อัลกอริทึมทราบว่า อย่างยิ่งเพื่อปรับพารามิเตอร์โมเดลในการทำซ้ำแต่ละครั้ง ตัวอย่างเช่น อัตราการเรียนรู้ที่ 0.3 จะปรับน้ำหนักและความเอนเอียงได้ถึง 3 เท่า ได้อย่างมีประสิทธิภาพมากกว่าแค่อัตราการเรียนรู้แค่ 0.1 อัตราการเรียนรู้สูงและต่ำ ข้อดีข้อเสียเฉพาะตัวของมันเอง และควรปรับให้เข้ากับกรณีการใช้งานของคุณ
  • ตัวคูณอัตราการเรียนรู้: ตัวคูณอัตราจะแก้ไขรูปแบบของโมเดล อัตราการเรียนรู้เดิม ค่า 1 ใช้อัตราการเรียนรู้เดิมของ โมเดล ค่าที่มากกว่า 1 จะเพิ่มอัตราการเรียนรู้และค่าระหว่าง 1 และลดอัตราการเรียนรู้เป็น 0

ตารางต่อไปนี้จะแสดงการกำหนดค่าที่แนะนำสำหรับการปรับแต่ง โมเดลพื้นฐาน

ไฮเปอร์พารามิเตอร์ ค่าเริ่มต้น การปรับที่แนะนำ
Epoch 5

หากการสูญเสียเริ่มต้นเป็นที่ราบสูงก่อน 5 Epoch ให้ใช้ค่าที่น้อยกว่า

หากความสูญเสียกำลังบรรจบกันและดูเหมือนว่าจะไม่เป็นที่ราบสูง ให้ใช้ค่าที่สูงขึ้น
ขนาดกลุ่ม 4
อัตราการเรียนรู้ 0.001 ใช้ค่าที่น้อยกว่าสำหรับชุดข้อมูลที่เล็กลง

เส้นโค้งการสูญเสียแสดงให้เห็นว่าการคาดการณ์ของโมเดลเบี่ยงเบนไปจากอุดมคติมากน้อยเพียงใด การคาดการณ์ในตัวอย่างการฝึกหลังจากแต่ละ Epoch คุณควรหยุด ในจุดต่ำสุดของเส้นโค้งก่อนถึงที่ราบสูง ตัวอย่างเช่น กราฟด้านล่างแสดงกราฟ Loss Curve ที่ราบสูงที่ประมาณ 4-6 ซึ่งหมายความว่า คุณสามารถตั้งค่าพารามิเตอร์ Epoch เป็น 4 โดยยังคงได้รับประสิทธิภาพเท่าเดิม

แผนภูมิเส้นแสดงเส้นโค้งการสูญเสียสำหรับโมเดล เส้นแบ่งระหว่าง Epoch แรกและ Epoch ที่ 2 แล้วลดลงมากจนเกือบ 0 แล้วเปลี่ยนระดับ หลังจาก 3 Epoch

ตรวจสอบสถานะงานการปรับแต่ง

คุณสามารถตรวจสอบสถานะงานปรับแต่งได้ใน Google AI Studio ในส่วน แท็บคลังของฉัน หรือใช้พร็อพเพอร์ตี้ metadata ของโมเดลที่ปรับแต่งใน Gemini API

แก้ไขข้อผิดพลาด

ส่วนนี้ประกอบด้วยเคล็ดลับเกี่ยวกับวิธีแก้ไขข้อผิดพลาดที่คุณอาจพบ กำลังสร้างโมเดลที่ปรับแต่ง

การตรวจสอบสิทธิ์

การปรับแต่งโดยใช้ API และไลบรารีของไคลเอ็นต์ต้องมีการตรวจสอบสิทธิ์ของผู้ใช้ คีย์ API เพียงอย่างเดียวจึงไม่เพียงพอ หากคุณพบข้อผิดพลาด 'PermissionDenied: 403 Request had insufficient authentication scopes' คุณต้องตั้งค่าผู้ใช้ การตรวจสอบสิทธิ์

หากต้องการกำหนดค่าข้อมูลเข้าสู่ระบบ OAuth สำหรับ Python โปรดดูการตั้งค่า OAuth บทแนะนำ

โมเดลที่ยกเลิก

คุณยกเลิกงานปรับแต่งได้ทุกเมื่อก่อนที่งานจะเสร็จสิ้น อย่างไรก็ตาม ประสิทธิภาพการอนุมานของโมเดลที่ยกเลิกนั้นคาดการณ์ไม่ได้ โดยเฉพาะอย่างยิ่งหาก ระบบจะยกเลิกการปรับแต่งงานในช่วงต้นของการฝึก หากคุณยกเลิกเนื่องจากคุณ ต้องการหยุดการฝึกใน Epoch ก่อนหน้านี้ คุณควรสร้างการปรับแต่งใหม่ แล้วตั้งค่า Epoch ให้มีค่าต่ำลง

ขั้นตอนถัดไป