Tutorial: inizia a utilizzare l'API Gemini


Questo tutorial mostra come accedere all'API Gemini per Node.js utilizzando l'SDK JavaScript per l'IA di Google.

In questo tutorial imparerai a:

Inoltre, questo tutorial contiene sezioni sui casi d'uso avanzati (come incorporamenti e token di conteggio) nonché le opzioni per il controllo della generazione di contenuti.

Prerequisiti

Questo tutorial presuppone che tu abbia familiarità con la creazione di applicazioni con in Node.js.

Per completare questo tutorial, assicurati che il tuo ambiente di sviluppo soddisfi i seguenti requisiti:

  • Node.js v18 e versioni successive
  • npm

Configura il progetto

Prima di chiamare l'API Gemini, devi configurare il tuo progetto, che include configurazione della chiave API, installazione del pacchetto SDK e inizializzazione del modello.

Configura la chiave API

Per utilizzare l'API Gemini, hai bisogno di una chiave API. Se non ne hai già uno, creare una chiave in Google AI Studio.

Ottenere una chiave API

Proteggi la chiave API

Ti consigliamo vivamente di non controllare una chiave API per conoscere la tua versione di controllo dei dati. Devi invece utilizzare un archivio di secret per la tua chiave API.

Tutti gli snippet in questo tutorial presuppongono che tu stia accedendo alla chiave API come una variabile di ambiente.

Installa il pacchetto SDK

Per utilizzare l'API Gemini nella tua applicazione, devi installare Pacchetto GoogleGenerativeAI per Node.js:

npm install @google/generative-ai

Inizializzare il modello generativo

Prima di poter effettuare chiamate API, devi importare e inizializzare un modello generativo.

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

// ...

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

// ...

Quando specifichi un modello, tieni presente quanto segue:

  • Utilizza un modello specifico per il tuo caso d'uso (ad esempio gemini-1.5-flash per l'input multimodale). In questa guida, le istruzioni per ogni di implementazione, elencare il modello consigliato per ogni caso d'uso.

Implementare casi d'uso comuni

Ora che il tuo progetto è configurato, puoi esplorare l'utilizzo dell'API Gemini per per implementare diversi casi d'uso:

Nella sezione dei casi d'uso avanzati, puoi trovare informazioni sull'API Gemini e incorporamenti.

Genera testo da input di solo testo

Quando l'input del prompt include solo testo, utilizza un modello Gemini 1.5 con generateContent per generare un output di testo:

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
  // The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

  const prompt = "Write a story about a magic backpack."

  const result = await model.generateContent(prompt);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Genera testo da input di testo e immagine (multimodale)

Gemini 1.5 Flash e 1.5 Pro possono gestire l'input multimodale in modo da poter inserire sia testo e immagini. Assicurati di esaminare requisiti relativi alle immagini per i prompt.

Quando l'input del prompt include sia testo che immagini, utilizza un modello Gemini 1.5 con il metodo generateContent per generare un output di testo:

const { GoogleGenerativeAI } = require("@google/generative-ai");
const fs = require("fs");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

// Converts local file information to a GoogleGenerativeAI.Part object.
function fileToGenerativePart(path, mimeType) {
  return {
    inlineData: {
      data: Buffer.from(fs.readFileSync(path)).toString("base64"),
      mimeType
    },
  };
}

async function run() {
  // The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash" });

  const prompt = "What's different between these pictures?";

  const imageParts = [
    fileToGenerativePart("image1.png", "image/png"),
    fileToGenerativePart("image2.jpeg", "image/jpeg"),
  ];

  const result = await model.generateContent([prompt, ...imageParts]);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Creare conversazioni in più passaggi (chat)

Con Gemini, puoi creare conversazioni in formato libero in più turni. La SDK semplifica il processo gestendo lo stato della conversazione. con generateContent, non è necessario memorizzare la cronologia delle conversazioni per te.

Per creare una conversazione in più passaggi (come la chat), utilizza un modello Gemini 1.5 oppure la Gemini 1.0 Pro e inizializzare la chat chiamando startChat(). Quindi utilizza sendMessage() per inviare un nuovo messaggio per l'utente, a cui verrà aggiunto anche il codice e la risposta alla cronologia chat.

Esistono due possibili opzioni per role associate ai contenuti in un conversazione:

  • user: il ruolo che fornisce i prompt. Questo è il valore predefinito per sendMessage chiamate.

  • model: il ruolo che fornisce le risposte. Questo ruolo può essere utilizzato quando chiamata a startChat() con history esistente.

di Gemini Advanced. 
const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
  // The Gemini 1.5 models are versatile and work with multi-turn conversations (like chat)
  const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash"});

  const chat = model.startChat({
    history: [
      {
        role: "user",
        parts: [{ text: "Hello, I have 2 dogs in my house." }],
      },
      {
        role: "model",
        parts: [{ text: "Great to meet you. What would you like to know?" }],
      },
    ],
    generationConfig: {
      maxOutputTokens: 100,
    },
  });

  const msg = "How many paws are in my house?";

  const result = await chat.sendMessage(msg);
  const response = await result.response;
  const text = response.text();
  console.log(text);
}

run();

Usa la modalità flusso per interazioni più rapide

Per impostazione predefinita, il modello restituisce una risposta dopo aver completato l'intera generazione e il processo di sviluppo. Puoi ottenere interazioni più rapide non aspettando l'intero e usare la modalità flusso per gestire i risultati parziali.

L'esempio seguente mostra come implementare i flussi di dati con Metodo generateContentStream per generare testo da un input di testo e immagine .

//...

const result = await model.generateContentStream([prompt, ...imageParts]);

let text = '';
for await (const chunk of result.stream) {
  const chunkText = chunk.text();
  console.log(chunkText);
  text += chunkText;
}

//...

Puoi utilizzare un approccio simile per casi d'uso di input di solo testo e chat.

// Use streaming with text-only input
const result = await model.generateContentStream(prompt);

Per informazioni su come creare un'istanza, vedi l'esempio di chat riportato sopra un chat.

// Use streaming with multi-turn conversations (like chat)
const result = await chat.sendMessageStream(msg);

Implementare casi d'uso avanzati

I casi d'uso comuni descritti nella sezione precedente di questo tutorial aiutano a utilizzare l'API Gemini. Questa sezione descrive alcuni e i casi d'uso che possono essere considerati più avanzati.

Utilizza gli incorporamenti

L'incorporamento è una tecnica utilizzata per rappresentare le informazioni. sotto forma di elenco di numeri con rappresentazione in virgola mobile in un array. Con Gemini, puoi rappresentare di testo (parole, frasi e blocchi di testo) in forma vettoriale, rendendolo è più facile confrontare e contrapporre gli incorporamenti. Ad esempio, due testi che condividono un argomento o un sentiment simile devono avere incorporamenti simili, che possono essere identificati attraverso tecniche di confronto matematiche come la somiglianza coseno.

Usa il modello embedding-001 con il metodo embedContent (o il batchEmbedContent) per generare incorporamenti. Nell'esempio che segue genera un incorporamento per una singola stringa:

const { GoogleGenerativeAI } = require("@google/generative-ai");

// Access your API key as an environment variable (see "Set up your API key" above)
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

async function run() {
  // For embeddings, use the embedding-001 model
  const model = genAI.getGenerativeModel({ model: "embedding-001"});

  const text = "The quick brown fox jumps over the lazy dog."

  const result = await model.embedContent(text);
  const embedding = result.embedding;
  console.log(embedding.values);
}

run();

Chiamate di funzione

La chiamata di funzione semplifica l'ottenimento di output di dati strutturati da e modelli generativi. Puoi quindi utilizzare questi output per chiamare altre API e restituire i dati di risposta pertinenti al modello. In altre parole, la chiamata di funzione colleghi modelli generativi a sistemi esterni in modo che i contenuti generati includa le informazioni più aggiornate e accurate. Scopri di più nel tutorial sulle chiamate di funzione.

Conta token

Quando utilizzi prompt lunghi, potrebbe essere utile contare i token prima di inviare al modello. I seguenti esempi mostrano come utilizzare countTokens() per vari casi d'uso:

// For text-only input
const { totalTokens } = await model.countTokens(prompt);

// For text-and-image input (multimodal)
const { totalTokens } = await model.countTokens([prompt, ...imageParts]);

// For multi-turn conversations (like chat)
const history = await chat.getHistory();
const msgContent = { role: "user", parts: [{ text: msg }] };
const contents = [...history, msgContent];
const { totalTokens } = await model.countTokens({ contents });

Opzioni per controllare la generazione di contenuti

Puoi controllare la generazione di contenuti configurando i parametri del modello e utilizzando impostazioni di sicurezza.

Tieni presente che passare generationConfig o safetySettings a una richiesta di modello (come generateContent) sostituirà completamente l'oggetto di configurazione con lo stesso nome passato in getGenerativeModel.

Configura i parametri del modello

Ogni richiesta inviata al modello include valori parametro che controllano come il modello genera una risposta. Il modello può generare risultati diversi diversi valori parametro. Scopri di più su Parametri del modello.

const generationConfig = {
  stopSequences: ["red"],
  maxOutputTokens: 200,
  temperature: 0.9,
  topP: 0.1,
  topK: 16,
};

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash",  generationConfig });

Utilizzare le impostazioni di sicurezza

Puoi utilizzare le impostazioni di sicurezza per regolare la probabilità di ricevere risposte che potrebbero essere considerati dannosi. Per impostazione predefinita, le impostazioni di sicurezza bloccano i contenuti con mezzo e/o con probabilità elevata di essere contenuti non sicuri in tutte le dimensioni. Impara scopri di più sulle impostazioni di sicurezza.

Per configurare un'impostazione di sicurezza:

import { HarmBlockThreshold, HarmCategory } from "@google/generative-ai";

// ...

const safetySettings = [
  {
    category: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold: HarmBlockThreshold.BLOCK_ONLY_HIGH,
  },
];

// The Gemini 1.5 models are versatile and work with most use cases
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash", safetySettings });

Puoi anche configurare più di un'impostazione di sicurezza:

const safetySettings = [
  {
    category: HarmCategory.HARM_CATEGORY_HARASSMENT,
    threshold: HarmBlockThreshold.BLOCK_ONLY_HIGH,
  },
  {
    category: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
    threshold: HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
  },
];

Passaggi successivi

  • La progettazione dei prompt è il processo di creazione dei prompt che suscitano l'interesse desiderato la risposta dai modelli linguistici. Scrivere prompt ben strutturati è fondamentale parte della garanzia di risposte accurate e di alta qualità da un modello linguistico. Scopri le best practice per la scrittura di prompt.

  • Gemini offre diverse varianti di modelli per soddisfare le esigenze di usi diversi come la complessità e i tipi di input, le implementazioni per la chat o altri le attività legate al linguaggio delle finestre di dialogo e i vincoli di dimensione. Scopri di più sui modelli Gemini disponibili.

di Gemini Advanced.