StorageGRIDのバケットでMagic committer head要求が失敗する

最後の更新
PDFとして保存

Views:: 3

Visibility:: Public

Votes:: 0

Category:: storagegrid-webscale

Specialty:: sgrid

Last Updated:

環境

NetApp StorageGRID
Sparkアプリケーション
S3Aマジックコミッター

問題

Magic Committerを使用しているアプリケーションバケットの整合性レベルがread-after-new-writeマルチパートアップロードでHEAD要求が失敗する。
アプリケーションログには、次の要求/応答が表示されます。

ファイルのアップロード：
25/01/17 04:58:03 66 FILE UPLOAD COMPLETED; UPLOAD COMMIT WRITTEN TO part-XXXX-c000.snappy.parquet.pending

リクエスト： 25/01/17 04:58:03 66 Executor task launch worker for task146.0 in stage 8.0 (TID 406) DEBUG S3AFileSystem: Recursive list of all entries under FileIngestion/ParquetJob/GDP_SPARK/2025-01-17T04:44:05.630014Z/data/__magic/job-XXX/tasks/attempt_X/__base/

応答:
25/01/17 04:58:04 (part-c000.snappy.parquetXXXX とpart-XXXX-c000.snappy.parquet.pendingはリストの応答で見つかりません)

リクエスト： 25/01/17 04:58:04 66 Executor task launch worker for task146.0 in stage 8.0 (TID 406) DEBUG S3AFileSystem: Recursive list of all entriesunder FileIngestion/ParquetJob/GDP_SPARK/2025-01-17T04:44:05.630014Z/data/__magic/job-/tasks/attempt_X/

応答： 25/01/17 04:58:04 (part-XXXX-c000.snappy.parquetand part-XXXX-c000.snappy.parquet.pending are found is LIST response as expected)

StorageGRID bycast.log bycast.log レコード：

OBDR: Metadata request failed for unknown '<bucketname>/FileIngestion/ParquetJob/GDP_SPARK/2025-01-17T04:44:05.630014Z/data/__magic/job-XXXX/tasks/attempt_X/__base/part-XXXX-c000.snappy.parquet'