サイズの小さいファイルとサイズの大きいファイルのファイル転送速度が異なる理由
に適用されます
- ONTAP 9
- clustered Data ONTAP 8
- Data ONTAP 7-Mode
回答
- 多数の小さいファイルをある場所にコピーする場合、サイズの大きいファイルをいくつかコピーするよりも時間がかかります。サイズの合計は小さいファイルのサイズと同じになります。これは、ホストベースのファイルシステムのパフォーマンスに関する既知の問題ですが、ほとんど理解されていません。
- すべての主要なオペレーティングシステムで、大量の小さなファイルの読み取りまたは書き込みを試みると、大量の I/O システムオーバーヘッドが発生します。これは、処理中の各ファイルに対して、検索（）、オープン（）、クローズ（）の各操作を実行する際に、 OS レベルでより多くの時間が費やされるためです。
- これらの処理は、必ずしも 1 つのファイルに多くの時間を要するわけではありませんが、数百から数千の小さなファイルを処理するときに、迅速にラックアップされます。これらの問題は、バックアップ、リストア、ウイルススキャンなどのアクティビティを実行するときに発生します。 4K などの小さなファイルを使用すると、データの読み取りや書き込みよりも、ファイルの検索、オープン、クローズに多くの時間を費やすことができます。
- OS がファイルシステム内のファイルを検出し、そのファイルを開くと、ファイルの内容の読み取り / 書き込みとストレージアレイとの通信が行われます。そのため、ストレージアレイのパフォーマンスの観点からは、すべてが問題なく表示されます。
- アレイは、 OS からの読み取り / 書き込み要求に非常に迅速に応答していますこのようなシナリオでは、 CPU が高速化され、レイテンシの低いディスクを使用することで問題が解決することはありません。SSD または RAM ベースのディスクにすべてのファイルを保存した場合でも、 OS は各ファイルに対してすべてのシステムコールを実行する必要があります。
- 大きいファイルの場合、上記の [ 開く ] と [ 閉じる ] の操作はまだ実行されていますが、ファイルの数が少ないため、アクセスのこれらの部分を完了するために必要な時間が少なく、実際の読み取り / 書き込みに時間がかかります。
追加情報
Microsoft のナレッジ ベースでは、小さいファイルの書き込みパフォーマンスが低下する