すべての LIF がダウンしました
規定のコンテンツブロック内にのみテキストを追加してください。ソルブループコンテンツの作成の詳細については、こちらをクリックしてください。
環境
ONTAP 9
問題
- 2ノードクラスタの一部であるノードでホストされているすべてのLIFがダウンしました。
ノードが予期せず再起動しました。
PANIC: Received PANIC packet from partner, receiving message is (Coredump and takeover initiated because Connectivity, Liveliness and Availability Monitor (CLAM) has determined this node is out of quorum.) in SK process mcc_ic_kill_pkt_handler on release 9.16.1P2 (C) on Sat Jan 3 00:07:07 KST 2026
原因
RDB アプリケーションが Quorum から外れたため、 LIF は使用できなくなりました：
EMS log から：Sun May 02 00:27:47 CEST [NODE-01: vifmgr: vifmgr.dbase.checkerror:alert]: VIFMgr experienced an error verifying cluster database consistency. Some LIFs might not be hosted properly as a result. Sun May 02 00:27:47 CEST [NODE-01: vifmgr: vifmgr.startup.failover.err:alert]: VIFMgr encountered errors during startup. Sun May 02 00:27:52 CEST [NODE-01: vifmgr: vifmgr.lifCapacity:notice]: Node NODE-01 is capable of hosting 512 data LIFs.VIFMgr log から：Sun May 02 2021 00:26:40 +02:00 [kern_vifmgr:info:6142] A [src/rdb/quorum/voting_states/NonSelfVS.cc 118 (0x808aa1500)]: transStatus: Secondary going offline siteId: 1001 [last vote sent: 4265081s, returned: 4265071s with site state: 0x202, voter state: VS_M_Supporter] [Yes vote received at: 4265071s] [last rpc failure: 0] [voter capabilities size 0] now+: 4265090s. Sun May 02 2021 00:26:40 +02:00 [kern_vifmgr:info:6142] A [src/rdb/quorum/quorumimpl.cc 1904 (0x808aa1578)]: master_remoteOfflineUpcall: Remote offline upcall remoteId: 1001 Sun May 02 2021 00:26:40 +02:00 [kern_vifmgr:info:6142] ******* Secondary OOQ mtrace dump BEGIN ********* Sun May 02 2021 00:26:40 +02:00 [kern_vifmgr:info:6142] rdb::qm:Sat Mar 13 14:52:10 2021:src/rdb/quorum/qm_states/ooq/InitializingState.cc:42 (thr_id:0x808aa1578) InitializingState::state2: WS_Initializing -> WS_WaitingForStart Sun May 02 2021 00:26:40 +02:00 [kern_vifmgr:info:6142] rdb::qm:Sat Mar 13 14:52:10 2021:src/rdb/quorum/qm_states/qm_state.cc:562 (thr_id:0x808aa1578) QmState::stateTrans: WS_Initializing -> WS_WaitingForStart at: 627s, why: initialized
解決策
NODE-02はリソース不足のため、
(apparent starvation)エラーでNODE-01と通信できませんでした：Sun May 02 2021 00:26:40 +02:00 [kern_vifmgr:info:6142] rdb::qm:Thu Mar 18 00:30:08 2021:src/rdb/quorum/qm_states/qm_state.cc:476 (thr_id:0x808bb1500) QmState::doWorkerWork RDB QM main voter thread slept for 2429 ms (apparent starvation) Sun May 02 2021 00:27:45 +02:00 [kern_vifmgr:info:6142] rdb::qm:Thu Mar 18 00:30:13 2021:src/rdb/quorum/qm_states/qm_state.cc:476 (thr_id:0x808bb1500) QmState::doWorkerWork RDB QM main voter thread slept for 2006 ms (apparent starvation)問題発生時のPerfArchiveの収集により、NODE-02のルートボリュームのディスク使用率が100%で稼働していたことが明らかになりました。
NODE-02のパフォーマンス問題が解決されると、クラスターのどのノードでもエラーは報告されなくなりました。
追加情報