הטמעות ב-Gemini API

שירות ההטמעה ב-Gemini API יוצר הטמעות מתקדמות את המילים, ביטויים ומשפטים. לאחר מכן אפשר להשתמש בהטמעות שנוצרו משימות של עיבוד שפה טבעית (NLP), כמו חיפוש סמנטי, טקסטים של סיווג וקיבוץ לאשכולות רבים אחרים.

הדף הזה מסביר בקצרה על הטמעות, ומדגיש כמה תרחישים עיקריים לדוגמה כדי לעזור לכם להתחיל.

מהן הטמעות?

הטמעות טקסט הן שיטת עיבוד שפה טבעית (NLP) שממירה את הטקסט לקואורדינטות מספריות (שנקראות וקטורים) שניתן להציג בחלל ה-n-ממדי. הגישה הזו מאפשרת להתייחס לקטעי טקסט כאל קטעי טקסט נתונים יחסיים, שעליהם נוכל לאמן מודלים.

הטמעות משקפות משמעות סמנטית והקשר שהתוצאה שלהן היא טקסט משמעויות דומות עם הטמעות קרובות יותר. לדוגמה, המשפט "לקחתי את את הכלב לווטרינר" ו"לקחתי את החתול שלי לווטרינר" יהיו הטמעות קרובים זה לזה במרחב הווקטורי, כי שניהם מתארים הקשר מסוים.

אפשר להשתמש בהטמעות כדי להשוות בין טקסטים שונים ולהבין איך הם קשורים. לדוגמה, אם הטמעות הטקסט "חתול" ו'כלב' קרובים יחד תוכלו להסיק שהמילים האלה דומות במשמעות או בהקשר, ובשניהם. היכולת הזו מאפשרת מגוון של תרחישים לדוגמה שמתוארים בקטע הבא.

תרחישים לדוגמה

אפשר להשתמש בהטמעות טקסט במגוון תרחישים לדוגמה של NLP, למשל:

• אחזור מידע: אפשר להשתמש בהטמעות כדי לאחזר סמנטי של טקסט דומה בהינתן קטע של טקסט קלט. באפליקציות שונות שנתמכות על ידי מערכת לאחזור מידע, כמו חיפוש סמנטי, מענה על שאלות או סיכום.
  • מדריך: חיפוש מסמכים
• סיווג: אפשר לאמן מודל באמצעות הטמעות כדי לסווג את המסמכים לקטגוריות. לדוגמה, אם רוצים לסווג משתמשים כשליליות או חיוביות, אפשר להשתמש בשירות ההטמעה כדי לקבל ייצוג בווקטור של כל תגובה כדי לאמן את המסווג.
  • מדריך: אימון טקסט סיווג
• אשכולות: השוואת וקטורים של טקסט יכולה להראות עד כמה דומה או שונה הם. אפשר להשתמש בתכונה הזו כדי לאמן מודל קיבוץ לאשכולות שמקבץ טקסט או מסמכים דומים ביחד, ולזהות חריגות בנתונים.
  • מדריכים: אימון של אשכולות מודל, זיהוי נתונים חריגות
• מסד נתונים וקטורי: אפשר לאחסן את ההטמעות שנוצרו בווקטור כדי לשפר את הדיוק והיעילות של בקשת ה-NLP. במדריך הבא תלמדו איך להשתמש במסד נתונים וקטורי כדי לתרגם הנחיות טקסט לווקטורים של מספריים.
  • מדריכים: עבודה עם וקטור hits, אחזור סמנטי

מודלים של הטמעה ב-Gemini

ב-Gemini API יש שני מודלים ליצירת הטמעות טקסט: Text הטמעות וגם הטמעות. הטמעת טקסט היא גרסה מעודכנת של מודל ההטמעה שמציע גדלים של הטמעה אלסטית 768 מאפיינים. הטמעות אלסטיות מייצרות מידות פלט קטנות יותר אפשרות לחסוך בעלויות מחשוב ואחסון עם הפסד קל של ביצועים.

להשתמש בהטמעות טקסט באפליקציות או בפרויקטים חדשים. הבקשה שלך צריכה להשתמש במודל ההטמעה רק אם אין לך אפשרות להעביר אותו לשימוש בהטמעות טקסט.

יצירת הטמעות באמצעות Gemini API

משתמשים בשיטה embedContent כדי ליצור הטמעות טקסט:

result = genai.embed_content(
model="models/text-embedding-004",
content="What is the meaning of life?",
task_type="retrieval_document",
title="Embedding of single string")

# 1 input > 1 vector output
print(str(result['embedding'])[:50], '... TRIMMED]')

ctx := context.Background()
// Access your API key as an environment variable (see our Getting Started tutorial)
client, err := genai.NewClient(ctx, option.WithAPIKey(os.Getenv("API_KEY")))
if err != nil {
log.Fatal(err)
}
defer client.Close()
// For embeddings, use the Text Embeddings model
em := client.EmbeddingModel("text-embedding-004")
res, err := em.EmbedContent(ctx, genai.Text("The quick brown fox jumps over the lazy dog."))

if err != nil {
panic(err)
}
fmt.Println(res.Embedding.Values)

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see our Getting Started tutorial)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
// For embeddings, use the Text Embeddings model
const model = genAI.getGenerativeModel({ model: "text-embedding-004"});

const text = "The quick brown fox jumps over the lazy dog."

const result = await model.embedContent(text);
const embedding = result.embedding;
console.log(embedding.values);
}

run();

final model = GenerativeModel(model: 'text-embedding-004', apiKey: apiKey);
final content = Content.text('The quick brown fox jumps over the lazy dog.');
final result = await model.embedContent(content);
print(result.embedding.values);

curl "https://generativelanguage.googleapis.com/v1beta/models/text-embedding-004:embedContent?key=$GOOGLE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{"model": "models/text-embedding-004",
    "content": {
    "parts":[{
    "text": "Hello world"}]}, }' 2> /dev/null | head

המאמרים הבאים

• למידע נוסף על הטמעות, אפשר לעיין בפוסט של דייל מרקוביץ' בנושא Google Cloud בלוג אפשר לקבל מידע נוסף.
• אם אתם מוכנים להתחיל לפתח, תוכלו למצוא את הקוד המלא שאפשר להריץ בקטע המדריכים למתחילים ב-Python, Go, Node.js ו-Dart (Flutter).