メインコンテンツまでスキップ

サイズの小さいファイルとサイズの大きいファイルのファイル転送速度が異なる理由

Views:
1,999
Visibility:
Public
Votes:
1
Category:
ontap-9
Specialty:
nas
Last Updated:

に適用されます

  • ONTAP 9
  • clustered Data ONTAP 8
  • Data ONTAP 7-Mode

回答

  • 多数の小さいファイルをある場所にコピーする場合、サイズの大きいファイルをいくつかコピーするよりも時間がかかります。サイズの合計は小さいファイルのサイズと同じになります。これは、ホストベースのファイルシステムのパフォーマンスに関する既知の問題ですが、ほとんど理解されていません。
  • すべての主要なオペレーティングシステムで、大量の小さなファイルの読み取りまたは書き込みを試みると、大量の I/O システムオーバーヘッドが発生します。これは、処理中の各ファイルに対して、検索()、オープン()、クローズ()の各操作を実行する際に、 OS レベルでより多くの時間が費やされるためです。
  • これらの処理は、必ずしも 1 つのファイルに多くの時間を要するわけではありませんが、数百から数千の小さなファイルを処理するときに、迅速にラックアップされます。これらの問題は、バックアップ、リストア、ウイルススキャンなどのアクティビティを実行するときに発生します。 4K などの小さなファイルを使用すると、データの読み取りや書き込みよりも、ファイルの検索、オープン、クローズに多くの時間を費やすことができます。
  • OS がファイルシステム内のファイルを検出し、そのファイルを開くと、ファイルの内容の読み取り / 書き込みとストレージアレイとの通信が行われます。そのため、ストレージアレイのパフォーマンスの観点からは、すべてが問題なく表示されます。
  • アレイは、 OS からの読み取り / 書き込み要求に非常に迅速に応答していますこのようなシナリオでは、 CPU が高速化され、レイテンシの低いディスクを使用することで問題が解決することはありません。SSD または RAM ベースのディスクにすべてのファイルを保存した場合でも、 OS は各ファイルに対してすべてのシステムコールを実行する必要があります。
  • 大きいファイルの場合、上記の [ 開く ] と [ 閉じる ] の操作はまだ実行されていますが、ファイルの数が少ないため、アクセスのこれらの部分を完了するために必要な時間が少なく、実際の読み取り / 書き込みに時間がかかります。

追加情報

Microsoft のナレッジ ベースでは、小さいファイルの書き込みパフォーマンスが低下する

 

NetApp provides no representations or warranties regarding the accuracy or reliability or serviceability of any information or recommendations provided in this publication or with respect to any results that may be obtained by the use of the information or observance of any recommendations provided herein. The information in this document is distributed AS IS and the use of this information or the implementation of any recommendations or techniques herein is a customer's responsibility and depends on the customer's ability to evaluate and integrate them into the customer's operational environment. This document and the information contained herein may be used solely in connection with the NetApp products discussed in this document.
Scan to view the article on your device