報告された LUN レイテンシが Data ONTAP 7-Mode のボリュームレイテンシよりも高くなるのはなぜですか?
環境
- Data ONTAP 7-Mode
- 論理ユニット(LUN)
- iSCSI
- FCP
- R2T(転送準備完了)
- XFER_RDY(転送準備完了)
回答
- 多くの場合、iSCSI(およびFCP)で測定されるレイテンシは基盤となるボリュームのレイテンシよりも大幅に高く、ボリュームレベルでの処理数は含まれるLUNで測定されるレイテンシよりも高くなります。
- これは、ボリュームレイテンシ(WAFLレイテンシ)はLUNレイテンシの一部にすぎないため、LUNレイテンシよりもボリュームレイテンシが低くなると想定される動作です。
- この記事では、LUNのレイテンシがボリュームのレイテンシよりも大幅に高いシナリオを中心に説明します。
- レイテンシが大きく異なる主な理由は、WAFLとボリュームレイヤで処理サイズが64KBに制限されることです。クライアントが64KBを超えるペイロードを使用して処理を送信する必要がある場合は、そのペイロードを複数のボリューム処理に分割する必要があります。このWAFL側の制限により、iSCSIセッションまたはFCPログインごとに設定がネゴシエートされ、1つのPDU(プロトコルデータユニット)で送信できるデータ量が指定されます。つまり、ボリュームレイテンシは単一の64KB PDUを処理するのにかかる時間を表しているだけですが、LUNレイテンシは複数の64KB PDUの合計処理時間を測定している可能性があります。
- LUNレイテンシ(iSCSI遅延またはFCP遅延)は、コマンドの最初のPDUを完全に受信してから、応答の最後のPDUがONTAPの出力キューに送信されるまで測定されます。
- 7-Mode ONTAPでは、厳密に シリアル化された方法で機能します。
256 KBの処理サイズのiSCSI書き込みの例:
- クライアントは最初の64KB PDUを送信
- ONTAPはPDUを受信し、最初の64KB書き込みを処理した後、R2Tを クライアントに送り返します。
- クライアントはR2Tを受信し、2番目の64KB PDUを送信します。
- ONTAPはPDUを受信し、2番目の64KB書き込みを処理した後、別のR2Tをクライアントに送り返します。
- クライアントはR2Tを受信し、3番目の64KB PDUを送信します。
- ONTAPはPDUを受信し、3番目の64KB書き込みを処理した後、別のR2Tをクライアントに送り返します。
- クライアントはR2Tを受信し、4番目の64KB PDUを送信します。
- ONTAPはPDUを受信し、4つ目の64KB書き込みを処理したあと、iSCSI書き込み応答をクライアントに送信します。このクライアントで、ONTAPはLUNレイテンシの測定を終了します。
ボリュームレイテンシは、手順 2、 4、 6 、 8の所要時間など、64KBのPDUを1つだけ処理した場合にのみ発生します。
各64KB PDU処理の間に費やされた時間は、ネットワークラウンドトリップ時間です。これには、クライアント処理時間、クライアントが次の64KB PDUを送信するのにかかる時間も含まれます。 例えば 2 から 4の間 4 から 6の間 6 から 8の間
LUNレイテンシは、64KB PDU処理(ボリュームレイテンシ)×4、ネットワークラウンドトリップ時間(RTT)×3を含む、256KBのiSCSI書き込み処理全体に対するレイテンシです。
FCPにはiSCSI R2Tと同様の用語があり、XFER_RDYと呼ばれます。
7-Mode ONTAPでは、
LUNのレイテンシがVolume Latency * ROUNDUP(OperationSize / 64KB)よりも大幅に高い場合は、
R2T(FCPの場合はXFER_RDY)がクライアントに到達するまでに長い時間がかかるか、クライアントが次のPDUを送信するまでに長い時間がかかることを意味します。
クライアントとストレージの間のデータパスが低速であることを示しています。
次のような場合があります。- 輻輳
- 低帯域幅
- パケット損失
- など
例:
- 読み取りが256KBのクライアントについて、ボリュームレイヤとLUNレイヤでの処理とレイテンシの比較
- iSCSIプロトコルを例に挙げますが、環境FCPも同じです。
これら2つのシナリオを区別するには:
- ボリューム レイテンシ
System1> stats show volume:myvol volume:myvol:total_ops:132/s volume:myvol:avg_latency:5ms volume:myvol:read_ops:5/s volume:myvol:read_data:1923b/s volume:myvol:read_latency:3ms volume:myvol:write_ops:186/s volume:myvol:write_data:1876b/s volume:myvol:write_latency:6ms volume:myvol:other_ops:0/s volume:myvol:other_latency:0ms
- LUN遅延
system1>lun stats -o -i 1 Read Write Other QFull Read Write Average Queue Partner Lun Ops Ops Ops kB kB Latency Length Ops kB 0 351 0 0 0 44992 11.35 3.00 0 0 /vol/tpcc/myvol 0 233 0 0 0 29888 14.85 2.05 0 0 /vol/tpcc/myvol 0 411 0 0 0 52672 8.93 2.08 0 0 /vol/tpcc/myvol