HTTP 500 エラーと StorageGRID でのオブジェクトの利用不可
環境
- NetApp StorageGRID 11.9.0.12
- オブジェクトベースストレージ(SW-SG-WEBSCALE-SW)
- 強力なサイト整合性を備えたマルチサイトStorageGRID環境
- サイト/ネットワークの分離テストを実行している環境
問題
計画されたサイト分離テスト中に、顧客は特定のS3バケット(例:「s3-prd1」、オブジェクト:「synchronous-client-access-keys」)内のオブジェクトにアクセスした際に、多数のHTTP 500内部サーバーエラーとオブジェクトが利用できないという応答が発生することを確認しました。バケットが強力なサイト一貫性で構成されているにもかかわらず、問題が発生しました。以下のエラーとログエントリが記録されました:
症状とログ出力:
- S3クライアントリクエストが隔離イベント中にHTTP 500(InternalError)およびSF 403エラーで失敗しました。
- bycast.logおよび関連ログには次のように表示されました:
ERROR OBDR: RefreshLocations CassandraUnavailableException(SELECT ... FROM storagegrid.object_by_uuid WHERE uuid=? - CassandraDriverError(Unavailable): 'Cannot achieve consistency level EACH_QUORUM in DC group' DetailedInfo:[consistency:EACH_QUORUM, responses_received:0, responses_required:2])ERROR OBDR: RefreshLocations CassandraUnavailableException(SELECT ... FROM storagegrid.object_by_uuid WHERE uuid=? - CassandraDriverError(Unavailable): 'Cannot achieve consistency level QUORUM' DetailedInfo:[consistency:QUORUM, responses_received:3, responses_required:4])ERROR S3RQ: S3requesterror(afterresponse): connection=..., Resource=..., HTTPStatusCode(notsent)=500, ErrorMsg=InternalError, Details={asyncPusherror:noconsumer}