Una strategia per scaricare file di grandi dimensioni è il download di oggetti suddivisi.
In un download di questo tipo, le richieste GET
con intervallo vengono effettuate in parallelo, memorizzando i dati
in un file di destinazione temporaneo preallocato. Quando tutte le sezioni hanno ricevuto
completato il download, il file temporaneo viene rinominato nel file di destinazione.
Il download di oggetti suddivisi può essere molto più rapido se rete e disco la velocità non è un fattore limitante; tuttavia, i download di oggetti suddivisi causano in diverse posizioni sul disco, quindi questa strategia di download può peggiora le prestazioni dei dischi con tempi di ricerca lenti, soprattutto in caso di interruzione di un scaricare in un numero elevato di sezioni. Strumenti come Google Cloud CLI hanno valori predefiniti bassi per il numero di sezioni che creano, in modo da ridurre al minimo possibilità di impatti sulle prestazioni.
I download di oggetti suddivisi devono utilizzare sempre un checksum componibile rapido (CRC32C) per verificare l'integrità dei dati delle sezioni. Per eseguire il download di oggetti suddivisi, come gcloud CLI richiedono una versione compilata di crcmod on dalla macchina che esegue il download. Se il crcmod compilato non è disponibile, gcloud CLI esegue invece download di oggetti non suddivisi.
In che modo strumenti e API utilizzano i download di oggetti suddivisi
A seconda di come interagisci con Cloud Storage, l'oggetto segmentato i download potrebbero essere gestiti automaticamente per tuo conto. Questa sezione descrive il comportamento di download degli oggetti suddivisi per strumenti e fornisce informazioni su come modificarne il comportamento.
Console
La console Google Cloud non esegue i download di oggetti suddivisi.
Riga di comando
Per impostazione predefinita, gcloud storage cp
attiva i download di oggetti suddivisi.
Puoi controllare come e quando gcloud CLI esegue la suddivisione in sezioni
l'oggetto viene scaricato modificando le seguenti proprietà:
storage/sliced_object_download_threshold
: il totale minimo del file dimensioni per eseguire il download di un oggetto segmentato. Puoi disattivare tutte di download di oggetti suddivisi impostando questo valore su0
.storage/sliced_object_download_max_components
: la soglia massima il numero di sezioni da utilizzare nel download. Imposta0
per nessun limite, in In questo caso il numero di sezioni è determinato esclusivamentestorage/sliced_object_download_component_size
.storage/sliced_object_download_component_size
: la dimensione di destinazione per ogni sezione di download. Questa proprietà viene ignorata se il totale è talmente grande che il download di sezioni di queste dimensioni richiede più sezioni del consentito, come impostato instorage/sliced_object_download_max_components
.
Puoi modificare queste proprietà creando una configurazione con nome
e applicando la configurazione per ogni comando utilizzando
il flag a livello di progetto --configuration
o per tutte
i comandi gcloud CLI mediante
Comando gcloud config set
.
Non è richiesto spazio aggiuntivo su disco locale quando si utilizza gcloud CLI per eseguire i download di oggetti suddivisi. Se il download non va a buon fine prima del completamento, esegui di nuovo il comando per riprendere sezioni con errori. Sezioni scaricate correttamente prima della errori non vengono scaricati nuovamente quando riprovi, ad eccezione del caso in cui l'oggetto di origine è cambiato tra un tentativo di download e l'altro.
Gli oggetti scaricati temporanei vengono visualizzati nella directory di destinazione con
il suffisso _.gstmp
nel nome.
Librerie client
Java
Per ulteriori informazioni, consulta API Cloud Storage Java documentazione di riferimento.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Puoi eseguire i download di oggetti suddivisi impostando AllowDivideAndConquer
su true
.
Ad esempio:
Node.js
Per ulteriori informazioni, consulta API Cloud Storage Node.js documentazione di riferimento.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Puoi eseguire i download di oggetti suddivisi utilizzando
downloadFileInChunks
. Ad esempio:
Python
Per ulteriori informazioni, consulta API Cloud Storage Python documentazione di riferimento.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Puoi eseguire i download di oggetti suddivisi utilizzando
download_chunks_concurrently
. Ad esempio:
API REST
Sia l'API JSON che l'API XML supportano le richieste GET
a intervalli, che
significa che è possibile utilizzare entrambe le API per implementare il download di oggetti segmentati
strategia.
Per evitare il danneggiamento dei dati dovuto all'oggetto di origine cambia durante il download, devi fornire il numero di generazione dell'oggetto di origine in ogni richiesta di download di una sezione dell'oggetto.