Verwenden Sie den EMRFS S3-optimierten Committer - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie den EMRFS S3-optimierten Committer

Der EMRFS S3-optimierte Committer ist eine alternative OutputCommitterImplementierung, die für das Schreiben von Dateien in Amazon S3 bei Verwendung optimiert ist. EMRFS Der EMRFS S3-optimierte Committer verbessert die Anwendungsleistung, indem er Listen- und Umbenennungsvorgänge vermeidet, die in Amazon S3 während der Job- und Task-Commit-Phasen ausgeführt werden. Der Committer ist mit EMR Amazon-Version 5.19.0 und höher verfügbar und ab Amazon EMR 5.20.0 standardmäßig aktiviert. Der Committer wird für Spark-Jobs verwendet, die Spark oder Datasets verwenden. SQL DataFrames Ab Amazon EMR 6.4.0 kann dieser Committer für alle gängigen Formate verwendet werdenORC, einschließlich Parkett und textbasierte Formate (einschließlich CSV und). JSON Für Versionen vor Amazon EMR 6.4.0 wird nur das Parquet-Format unterstützt. Es gibt Situationen, in denen der Committer nicht verwendet wird. Weitere Informationen finden Sie unter Anforderungen für den S3-optimierten EMRFS Committer.

Themen