Storepool Owner / OpenStateの枯渇が原因でNFSv4ファイルアクセスエラーが発生する
環境
- ONTAP 9
- NFSv4.0
- NFSv4.1
問題
- NFSクライアントがNFSv4ファイルを開けない、 読み取り/書き込み処理が停止する、削除処理が成功する
- NFSクライアントアプリケーションのクラッシュ
- 高いCPU利用率が観察される
cd
ls
touch
などのコマンドがハングするEMS.log
異なる報告Nblade.nfsV4PoolThreshold
ストアプールの枯渇につながるエラー -Nblade.nfsV4PoolExhaust:EMERGENCY
:[node-01: kernel: Nblade.nfsV4PoolThreshold:notice]: NFS Store Pool for OpenState is nearing exhaustion (80% of pool currently in use).
[node-01: kernel: ems.engine.suppressed:debug]: Event 'Nblade.nfsV4PoolThreshold' suppressed 3477 times in last 204 seconds.[node-01: kernel: Nblade.nfsV4PoolThreshold:notice]: NFS Store Pool for OpenState is nearing exhaustion (90% of pool currently in use).
[node-01: kernel: ems.engine.suppressed:debug]: Event 'Nblade.nfsV4PoolThreshold' suppressed 99337 times in last 61 seconds[node-01: kernel: Nblade.nfsV4PoolThreshold:notice]: NFS Store Pool for OpenState is nearing exhaustion (99% of pool currently in use).
[node-01: kernel: ems.engine.suppressed:debug]: Event 'Nblade.nfsV4PoolThreshold' suppressed 139821 times in last 61 seconds.[node-01: kernel: Nblade.nfsV4PoolExhaust:EMERGENCY]: NFS Store Pool for OpenState exhausted. Associated object type is CLUSTER_NODE with UUID: 69b7a0c0-8dea-11ed-bcfe-d000eaa1111d.
注:他のストアプールリソースも影響を受ける可能性があります。
[node-01: kernel: Nblade.nfsV4PoolExhaust:EMERGENCY]: NFS Store Pool for Open exhausted. Associated object type is CLUSTER_NODE with UUID: 69b7a0c0-8dea-11ed-bcfe-d000eaa1111d.
or
node01 EMERGENCY Nblade.nfsV4PoolExhaust :所有者のNFS ストア プールが枯渇しました。関連付けられたオブジェクト タイプは CLUSTER_NODE で、UUID は 39865 です。935-
7a8e-11ef-8ccf-d039eaa50000.
nfs4sequesnceInvalid
アラートの下には、クライアントIPを指しているアラートが表示されます。
Wed Dec 04 12:16:30 -0800 [node-n1: kernel: nblade.nfs4SequenceInvalid:notice]: NFS client (IP: 172.23.xxx.xvc) sent sequence# 21, but server expected sequence# 20. Server error: BAD_SEQID.
Wed Dec 04 12:19:48 -0800 [node-n1: kernel: nblade.nfs4SequenceInvalid:notice]: NFS client (IP: 172.23.xxx.xvc) sent sequence# 25, but server expected sequence# 24. Server error: BAD_SEQID.
- イベントをチェックすることで、トップ消費者IPが特定されます
PerClientStorePoolThreshold
または追加データを収集することにより
::> event log show -event PerClientStorePoolThreshold
- 上位のコンシューマにマウントするデータインターフェイス(LIF)を特定する
::> network connections active show-clients -remote-address <Topconsumer>