StorageGRIDノードの利用率が低下し、他のグリッドノードと通信できないとInternalError 500が報告される
環境
StorageGRID 11.7.0
問題
InternalError 500ADCノードとの通信問題が原因で、グリッドおよびレポートでのStorageGRIDノードの利用率が低下しています。
Jul 2 00:32:17 <Nodename> ADE: |12038591 0716178440 S3RQ ^RDY 2024-07-02T00:32:17.354063| NOTICE 0138 3fd527aa22bee2b8 S3RQ: S3 error response: RequestId=1719880277344899, TraceId=3fd527aa22bee2b8, Resource=/<Object_path>, HTTP Method=HEAD, HTTP Status Code=500, X-Forwarded-For: '<>', ErrorMsg=InternalError, ErrorType=Internal, CustomErrorMessage={None}, Details={Failed to query any account server (3 candidates); last error: Failed to connect to Account Server at <ADC_NODE_IP>: Account Server at <ADC_NODE_IP> responded with 0 ().}影響を受けるノードと通信しようとしたときに、残りのノードからのネットワーク分離イベントを確認できます。
/var/local/log/dynip.log
[2024-07-04T03:26:47.152] Dummy-954194 - WARNING -- : heartbeat to <grid_node>/<Grid_IP> failed: <urlopen error timed out>
- ストレージノードがどのグリッドポートでもどのグリッドノードにも接続できず、該当する ノードのIPが
grid_ipsの要素に含まれていません。nft ruleset- 次のコマンドを実行して確認します。
nft list ruleset
- 次のコマンドを実行して確認します。