Utilisez le transmetteur EMRFS optimisé pour S3 - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisez le transmetteur EMRFS optimisé pour S3

Le committer EMRFS optimisé pour S3 est une OutputCommitterimplémentation alternative optimisée pour écrire des fichiers sur Amazon S3 lors de son utilisation. EMRFS Le validateur EMRFS optimisé pour S3 améliore les performances des applications en évitant les opérations de liste et de renommage effectuées dans Amazon S3 pendant les phases de validation des tâches et des tâches. Le committer est disponible avec Amazon EMR version 5.19.0 et ultérieure, et est activé par défaut avec Amazon EMR 5.20.0 et versions ultérieures. Le committer est utilisé pour les tâches Spark qui utilisent Spark SQL ou Datasets. DataFrames À partir d'Amazon EMR 6.4.0, ce validateur peut être utilisé pour tous les formats courantsORC, y compris le parquet et les formats basés sur le texte (y compris et). CSV JSON Pour les versions antérieures à Amazon EMR 6.4.0, seul le format Parquet est pris en charge. Dans certaines situations, le valideur n'est pas utilisé. Pour de plus amples informations, veuillez consulter Exigences relatives au transmetteur EMRFS optimisé pour S3.

Rubriques