ストアプール所有者/OpenStateの枯渇によるNFSv4ファイルアクセス障害
環境
- ONTAP 9
- NFSv4.0
問題
- NFSクライアントがNFSv4ファイルを開けない。読み取り/書き込み操作がハングするが、削除操作は成功する。
- NFSクライアントアプリケーションがクラッシュする
- 高いCPU使用率が確認される
- 「
cd」「ls」「touch」などのコマンドがハングする EMS.logはさまざまなNblade.nfsV4PoolThresholdエラーを報告し、Store Pool の枯渇を引き起こした -Nblade.nfsV4PoolExhaust:EMERGENCY:[node-01: kernel: Nblade.nfsV4PoolThreshold:notice]: NFS Store Pool for OpenState is nearing exhaustion (80% of pool currently in use).
[node-01: kernel: ems.engine.suppressed:debug]: Event 'Nblade.nfsV4PoolThreshold' suppressed 3477 times in last 204 seconds.[node-01: kernel: Nblade.nfsV4PoolThreshold:notice]: NFS Store Pool for OpenState is nearing exhaustion (90% of pool currently in use).
[node-01: kernel: ems.engine.suppressed:debug]: Event 'Nblade.nfsV4PoolThreshold' suppressed 99337 times in last 61 seconds[node-01: kernel: Nblade.nfsV4PoolThreshold:notice]: NFS Store Pool for OpenState is nearing exhaustion (99% of pool currently in use).
[node-01: kernel: ems.engine.suppressed:debug]: Event 'Nblade.nfsV4PoolThreshold' suppressed 139821 times in last 61 seconds.[node-01: kernel: Nblade.nfsV4PoolExhaust:EMERGENCY]: NFS Store Pool for OpenState exhausted. Associated object type is CLUSTER_NODE with UUID: 69b7a0c0-8dea-11ed-bcfe-d000eaa1111d.
注記:その他のストアプールリソースも影響を受ける可能性があります:
[node-01: kernel: Nblade.nfsV4PoolExhaust:EMERGENCY]: NFS Store Pool for Open exhausted. Associated object type is CLUSTER_NODE with UUID: 69b7a0c0-8dea-11ed-bcfe-d000eaa1111d.
or
node01 EMERGENCY Nblade.nfsV4PoolExhaust:NFSオーナー向けストアプールを使い果たしました。関連オブジェクトタイプは CLUSTER_NODE で、UUID:39865935-7a8e-11ef-8ccf-d039eaa50000.
- 以下の
nfs4sequesnceInvalidアラートは、クライアントIPアドレスを指しています。
Wed Dec 04 12:16:30 -0800 [node-n1: kernel: nblade.nfs4SequenceInvalid:notice]: NFS client (IP: 172.23.xxx.xvc) sent sequence# 21, but server expected sequence# 20. Server error: BAD_SEQID.
Wed Dec 04 12:19:48 -0800 [node-n1: kernel: nblade.nfs4SequenceInvalid:notice]: NFS client (IP: 172.23.xxx.xvc) sent sequence# 25, but server expected sequence# 24. Server error: BAD_SEQID.
- 主要なコンシューマIPは、イベント
PerClientStorePoolThresholdを確認するか、追加データを収集することで特定されます
::> event log show -event PerClientStorePoolThreshold
- 最上位のコンシューマがマウントしているデータインターフェース(LIF)を特定します。
::> network connections active show-clients -remote-address <Topconsumer>