CVOアップグレードが「ノードが『ギブバック待ち状態』ではありません」というエラーで一時停止しました

最後の更新
PDFとして保存

Views:: 33

Visibility:: Public

Votes:: 0

Category:: netapp_console

Specialty:: ds_cvo

Last Updated:

環境

Cloud Volumes ONTAP（CVO）
自動無停止アップグレード（ANDU）

問題

CVOアップグレード中に、引き継いだノードがダウンし、アップグレードが一時停止され、cluster image show-update-progress に以下のエラーが発生しました：

AWSNAS08::> cluster image show-update-progress

Estimated Elapsed Update Phase Status Duration Duration -------------------- ----------------- --------------- --------------- Pre-update checks completed 00:10:00 00:01:07 ONTAP updates paused-on-error 01:32:00 01:03:35

Details:

Node name Status Status Description -------------------- ----------------- -------------------------------------- AWSNAS-01 waiting AWSNAS-02 failed Error: Node "AWSNAS-02" is not in "waiting for giveback" state. Action: Use the "storage failover show" to verify that node "AWSNAS-02" is in one of the following states: "waiting for giveback" or "connected". 7 entries were displayed.

Status: Paused - An error occurred in "ONTAP updates" phase. The update cannot continue until the error has been resolved. Resolve all issues, then use the "cluster image resume-update" command to resume the update.

出力の storage failover show :

AWSNAS08::> storage failover show Takeover Node Partner Possible State Description -------------- -------------- -------- ------------------------------------- AWSNAS-01 AWSNAS-02 false In takeover AWSNAS-02 AWSNAS-01 - Unknown 2 entries were displayed.

出力の node show：

AWSNAS::> node show Node Health Eligibility Uptime Model Owner Location --------- ------ ----------- ------------- ----------- -------- --------------- AWSNAS-01 true true 231 days 22:22 CDvM200 AWSNAS-02 false true - - - -

Warning: Unable to list entries on node AWSNAS-02. RPC: Couldn't make connection [from mgwd on node "AWSNAS-01"(VSID:-1) to mgwd at 10.80.41.145] 2 entries were displayed.

ダウンしたノードのクラウドプロバイダのシリアルコンソールでディスク予約の競合が見つかりました：

Reservation conflict found on this node's disks! Local System ID: xxxxxxxxxx Press Ctrl-C for Maintenance menu to release disks. Boot argument NfsRdmaOk not specified. Default (set) is in effect. Boot argument NfsIpOk not specified. Default (set) is in effect. FWU 2nd trigger point FWU has no post firmware update action registered. sysctl_warn_reuse: can't re-use a leaf (sysvar.DETAIL_mask)! pnso provider init started. Notice : pnso card not detected. hwo: Node is using hardware provider : 1. cryptomod_fips: Executing Crypto FIPS Self Tests. cryptomod_fips: Crypto FIPS self-test: 'CPU COMPATIBILITY' passed. cryptomod_fips: Crypto FIPS self-test: 'AES-128 ECB, AES-256 ECB' passed. cryptomod_fips: Crypto FIPS self-test: 'AES-128 CBC, AES-256 CBC' passed. cryptomod_fips: Crypto FIPS self-test: 'AES-128 GCM, AES-256 GCM' passed. cryptomod_fips: Crypto FIPS self-test: 'AES-128 CCM' passed. cryptomod_fips: Crypto FIPS self-test: 'CTR_DRBG' passed. cryptomod_fips: Crypto FIPS self-test: 'KDF' passed. cryptomod_fips: Crypto FIPS self-test: 'SHA1, SHA256, SHA512' passed. cryptomod_fips: Crypto FIPS self-test: 'HMAC-SHA1, HMAC-SHA256, HMAC-SHA512' passed. cryptomod_fips: Crypto FIPS self-test: 'PBKDF2' passed. cryptomod_fips: Crypto FIPS self-test: 'AES-XTS 128, AES-XTS 256' passed. cryptomod_fips: Crypto FIPS self-test: 'Self-integrity' passed. Waiting for reservations to clear

原因

CVO 自動無停止アップグレード（ANDU）中にHAインターコネクトがダウンし、ノードがシャットダウンしました。

EMSログ：

Thu Jun 29 06:58:06 +0000 [AWSNAS-01: upgrademgr: upgrademgr.update.started:info]: An automated update of the cluster has been started. – Upgrade startedThu Jun 29 07:02:23 +0000 [AWSNAS-01: cf_slowTimeout: cf.fsm.nfo.shtdwnReqIC:debug]: A node sent a shutdown request over interconnect. Thu Jun 29 07:02:48 +0000 [AWSNAS-01: cf_main: cf.fsm.nfo.partnerShutdown:notice]: Negotiated failover: partner has shutdown Thu Jun 29 07:04:28 +0000 [AWSNAS-01: cfdisk_config: cf.diskinventory.sendFailed:debug]: params: {'errorCode': '0', 'reason': 'HA Interconnect down'}

interconnect status show の出力結果：

AWSNAS08::*> interconnect status show (system ha interconnect status show) Node: AWSNAS-01 Link Status: up IC RDMA Connection: down Node: AWSNAS-02 Link Status: up IC RDMA Connection: down 2 entries were displayed.

HAインターコネクトが停止した原因を確認するため、クラウドプロバイダにチケットを発行してください。

解決策

ご不明な点がございましたら、 NetApp Technical Support にお問い合わせいただくか、 NetApp Support Site にログインしてケースを作成してください。詳細については、この記事を参照してください。

パートナーノート

partnerNotes_text

追加情報

内部情報

まず以下の回避策をそれぞれ試して、アップグレードを再開できるかどうかを cluster image resume-update で確認してください：

クラウドプロバイダのコンソールから、停止しているノードを起動および停止して、何らかの変化があるかどうかを確認してください。
インスタンスをシャットダウンして再度電源を入れても「問題」が解決せず、インスタンスが再び Waiting for reservations to clearで停止する場合は、パートナーノードから以下の操作を実行します。

::> node run -node local > priv set advanced *> cf giveback -f *> exit

3.以下のコマンドを使用して、アップノードからICリンクを切り替え、ICの状態を確認してください：

AWSNAS::> run -node AWSNAS-01 Type 'exit' or 'Ctrl-D' to return to the CLI AWSNAS-01> AWSNAS-01> priv set diag Warning: These diagnostic commands are for use by NetApp personnel only. AWSNAS-01*> ic status Link : up IC RDMA connection : down AWSNAS-01*> ic link off 0 Link 0 is now configured down. AWSNAS-01*> ic link on 0 Link 0 is now configured up.

上記の回避策で解決しない場合は、UPNODEを再起動すると「問題」は解決しますが、両方のノードがダウンしている間はデータが配信されません。お客様に、システム停止が可能かどうかを事前に確認してください。

クラウドプロバイダのコンソールからUPNODE を停止および起動でき、ノードが起動すると、アップグレードは自動的に再開されます。完了するまで cluster image show-update-progress でアップグレードの監視を続けることができます。