ONTAPリブート後にXL710 40GbEポートでCRCエラーが発生する
環境
- ONTAP 9
- 10/40ギガビットイーサネットコントローラXL710ネットワークポート
- X91440Aイーサネットモジュール
- X1144AイーサネットNIC(PCIe)
- AFF A700sオンボードイーサネットポート
- Cisco Nexusなどのフロントエンド40Gスイッチ
問題
- ストレージシステムには、10/40ギガビットイーサネットコントローラXL710ネットワークポートがあり、40Gスイッチ(Cisco Nexus 9336C-FX2など)に接続されています。
- ONTAPのリブートまたはアップグレード後、XL710ベースの40ギガビットイーサネットクラスタポートを使用するノードで、 「クラスタネットワークがデグレード状態 」イベントが報告されます。例:
[node1: vifmgr: callhome.clus.net.degraded:alert]: Call home for CLUSTER NETWORK DEGRADED: CRC Errors Detected - High CRC errors detected on port e8a node node1
[node1: vifmgr: vifmgr.cluscheck.hwerrors:alert]: Port e8a on node node1 is reporting a high number (at least 1 per 1000 packets) of observed hardware errors (CRC, length, alignment, dropped).
- 40GbEポート(クラスタまたはフロントエンドのデータに使用)が、
ifstat
コマンドのRECEIVEセクションにCRCエラーを報告しています。例:
::>system node run -node <node_name> -command ifstat e8a
-- interface e8a (0 hours, 5 minutes, 31 seconds) --
RECEIVE
Total frames: 23634 | Frames/second: 71 | Total bytes: 2019k
Bytes/second: 6100 | Total errors: 18292 | Errors/minute: 3316
Total discards: 0 | Discards/minute: 0 | Multi/broadcast: 92
Non-primary u/c: 0 | CRC errors: 16978 | Runt frames: 0
Fragment: 0 | Long frames: 0 | Jabber: 1
Length errors: 0 | No buffer: 0 | Xon: 0
Xoff: 0 | Pause: 0 | Jumbo: 0
Noproto: 0 | Error symbol: 0 | Illegal symbol: 1313
Bus overruns: 0 | Queue drops: 0 | LRO segments: 20456
LRO bytes: 1707k | LRO6 segments: 0 | LRO6 bytes: 0
Bad UDP cksum: 0 | Bad UDP6 cksum: 0 | Bad TCP cksum: 0
Bad TCP6 cksum: 0 | Mcast v6 solicit: 0 | Lagg errors: 0
Lacp errors: 0 | Lacp PDU errors: 0
数時間/数日後
-- interface e8a (4 days, 3 hours, 24 minutes, 3 seconds) --
RECEIVE
Total frames: 19227k | Frames/second: 54 | Total bytes: 2006m
Bytes/second: 5607 | Total errors: 19949k | Errors/minute: 3345
Total discards: 0 | Discards/minute: 0 | Multi/broadcast: 64901
Non-primary u/c: 0 | CRC errors: 18677k | Runt frames: 0
Fragment: 0 | Long frames: 0 | Jabber: 250
Length errors: 0 | No buffer: 0 | Xon: 0
Xoff: 0 | Pause: 0 | Jumbo: 0
Noproto: 0 | Error symbol: 0 | Illegal symbol: 1271k
Bus overruns: 0 | Queue drops: 0 | LRO segments: 17554k
LRO bytes: 1805m | LRO6 segments: 0 | LRO6 bytes: 0
Bad UDP cksum: 0 | Bad UDP6 cksum: 0 | Bad TCP cksum: 0
Bad TCP6 cksum: 0 | Mcast v6 solicit: 0 | Lagg errors: 0
Lacp errors: 0 | Lacp PDU errors: 0
- 40GbEポートリンクがフラッピングしているか、その後停止する可能性があります。