クライアントが重複するS3オブジェクトを検出する
環境
- ONTAP 9
- S3オブジェクトストアサーバー
- Elastic Search
- s3cmd
- S3 Browser
問題
s3cmd ls -lは、オブジェクトに重複が存在すると表示します- S3 Browserは、オブジェクトに重複が存在すると表示します
- Elastic Searchは、重複するキーが存在するため、スナップショットキーを削除できません
2025-07-23T04:01:21,235][ERROR][o.e.x.i.IndexLifecycleRunner] [elastic-xxx-xx-control03-0] policy [policy_name] for index [index_name] failed on step [{"phase":"cold","action":"searchable_snapshot","name":"cleanup-snapshot"}]. Moving to ERROR step java.lang.IllegalStateException: Duplicate key 997AqmmNQ0aWrfk7gjc0Pw (attempted merging values class org.elasticsearch.repositories.s3.S3BlobContainer{[indices][997AqmmNQ0aWrfk7gjc0Pw]} and class org.elasticsearch.repositories.s3.S3BlobContainer{[indices][997AqmmNQ0aWrfk7gjc0Pw]})Jul 21, 2025 @ 13:35:23.513Caused by: java.lang.IllegalStateException: Duplicate key 9DZQX4-DQ_addVvz2jVHpg (attempted merging values class org.elasticsearch.repositories.s3.S3BlobContainer{[indices][9DZQX4-DQ_addVvz2jVHpg]} and class org.elasticsearch.repositories.s3.S3BlobContainer{[indices][9DZQX4-DQ_addVvz2jVHpg]})[2025-07-23T16:41:56,710][WARN ][r.suppressed ] [elastic-xxx-xx-frozen05-0] path: /_snapshot/s3_ontap/july1st_bad_index, params: {repository=s3_ontap, snapshot=name_index}, status: 500 org.elasticsearch.transport.RemoteTransportException: [elastic-prd-es-control02-0][x.x.x.x:9300][cluster:admin/snapshot/delete]