StorageGRID CloudMirrorレプリケーションの遅延とチェックポイントの不整合
環境
- NetApp StorageGRID 11.9
- プラットフォーム サービス – CloudMirror レプリケーション
- クロスサイト レプリケーションを使用するマルチサイト StorageGRID デプロイ
問題
お客様は、StorageGRID環境を拡張し、クロスサイトCloudMirrorレプリケーションを有効にした後、次の症状を確認しました:
S3オブジェクトの取り込み操作に大幅な遅延が発生しています。
保留中および処理中のプラットフォームサービスレプリケーション要求が多数存在します。
S3リクエストの処理時間が急増し、アクティブなリクエストキューが大規模化する(最大1,500件以上)。
チェックポイントの不一致により、宛先バケット内のターゲットテーブルにアクセスできなくなりました:
The_last_checkpoint (xxx000) is ahead of the latest checkpoint.parquet (xxxx30) in the target delta_log. This is causing the target table to be inaccessible with the error: LastCheckpoint(xxx000...) mentions a non-existent checkpoint file.StorageGRID ログには次のようなエラーが繰り返し記録されていました:
WARNING: [endpoint.go:zzz] RequestError: send request failedcaused by: Put "https://<endpoint>": unexpected EOFCloudMirrorレプリケーションを無効化することでクライアントのパフォーマンスは安定しましたが、保留中のキューの処理速度は非常に遅い状態が続きました(例:20分あたり約50オブジェクト)。