パスワードを忘れた？ アカウント作成
Close
619 story

6つのファイルシステムの競演 12

ストーリー by wakatono
あなたはいくつわかるかな？ 部門より

Test of six linux filesystemsと称して、ext2, ext3, jfs, reiserfs, vfat, xfsの6種類のファイルシステムについての評価が行われた模様。実験は、大きい1つのファイルコピーと小さいたくさんのファイルコピー、そしてそれらのファイルの削除について、その性能を測っている。結論としては、各ファイルシステムに対する考察の後、ext3 について使用検討をする価値がある旨の記述で締めている。今後これらのファイルシステムを使ってみたいという人にとっては良い指針になるだろう。

オレが読んだカンジだが、評価結果もさることながら、各ファイルシステムの導入方法について簡単にまとめてあるというのがありがたい。ファイルシステム初心者は必見といってもいいだろう。悪いことは言わない、そういう人はとりあえずブックマークしとけ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

6つのファイルシステムの競演 More

  • xfsはとにかくデカいファイルのコピーには向いてるが、削除するのは下手、
    おなじみのext*はどちらもソツ無くこなす、vfatは、特にvfat同士だと、他のfilesystemとは比べモノにならないくらいパフォーマンスが悪いみたい、 という感じですね。

    「Windowsパーティションなんかさっさと消してしまえ」って言うのはいかにもアレゲ:)

    # jfsって使ったこと無いです。(xfsもか)

  • 安定性は今回は関係なしね (スコア:2, すばらしい洞察)

    by momokuri (4128) on 2001年07月25日 16時44分 (#9432) ホームページ 日記
    性能だけの比較だから、安定してきたら、ext3がいいかもよ。
    ってことだよね。でも、それぞれが安定した頃に、
    性能だって、変わってるような気がするな。

    それにベンチマークは、所詮ベンチマーク。実運用とは、
    違ったものだってのは、だれもが指摘することだよね。

    web serverのfilesystemに向いているのは、...
    とか、ネットニュースだと...とか、わかりやすくなると、
    それぞれの普及が加速しそうだね。
  • XFSはkernel 2.4.3用のパッチと比較してdeleteのパフォーマンスが大幅に下がっているので、何らかの問題があるはず。これが早急にフィックスされることを期待。

  • vfatがひどい位置付けかもしれないけど、Floppy使うときは無条件にvfat、じゃない、fat使ってます。
    これは、単に、パフォーマンスを気にする必要がほとんどない、異なったプラットフォーム間でやりとりしやすいといったメリットがあるからです。(1番目はメリットじゃないな)

    deleteとかって、実際はiノードテーブルから切り離してるだけで、
    実体はあとから上書きされるって感じなんでしょうか?
    なんかそういうのをどっかで見たような気がします。
    もしかしたら、xfsがディスクをゼロ(またはでたらめな値)でクリアしてたりして。(だったら遅い理由に納得。)

    # じゃあxfsハッキングするか(ぉ)

  • 全体的に見てext3は優等生的な結果を出しているけれども、ext3にも苦手なことはあります。一つのディレクトリ配下に大量にファイルを生成すると、急激にファイルの生成・削除処理が遅くなります。ディレクトリブロック内を線形サーチするためです。

    当然、そういう使い方をするユーザ(含：システム管理者）の方に問題があるのは間違いなく、他のファイルシステムでも性能が落ちます。性能を要求したいなら、一つのディレクトリの下に何千・何万とファイルを置くのはご法度です。

  • 一つのディレクトリ配下に大量にファイルを生成すると、急激にファイルの生成・削除処理が遅くなります。ディレクトリブロック内を線形サーチするためです。

    ext2にてですが、巨大なテキストファイルをcsplitで2万個ほどに分割した後にlsを走らせるとレスポンスがすごく悪くなるみたい、というか負荷が異様に上ったので、
    しょうがなくlsをkillするという、前代未聞(?)な経験をしたことがあります。
    結局複数ディレクトリにファイルを置くことでこの問題は解消しました。

  • 　同一ドライブ内の２つのパーティション間でのコピー、という実験条件の影響が結構ありそうな気がします。

    　Big files test(645MBの単一ファイルのコピー)の結果からコピーの速度を計算すると、最高のXFS-XFS間で6.4MB/s、最低のVFAT-VFAT間で1.0MB/sとなります。
    　もっとCPU性能の低い（K6-2 400）のマシンでも、２つのドライブ間（ともにvfatのパーティション）でのコピーでは、はるかに高い転送速度が出ていた記憶があるので、CPU側での処理が極端に足を引っ張っているとはあまり思えません。
    　また、ドライブの型番は分かりませんが、UDMA66世代のHDDということから、連続転送の速度は20MB/s程度は期待できるかと思われます（コピーの速度は、シークタイムの影響を無視すると、ほぼこの半分が限界）。多少、無駄な情報がついてサイズが増えていても、速度低下の要因にならないような気がします。
    　とすると、残る速度低下の要因は、パーティションをまたがったヘッドのシークの頻発のようにも思われます。
    　確証は全くありませんが。

    　そんなわけで、ドライブをまたがったコピーではどうなるのか、興味があります。

  • ま、参考程度ということで…。 (スコア:2, 参考になる)

    by might (194) on 2001年07月26日 11時02分 (#9585) ホームページ
    HDDはディスク内のどこをアクセスするかによって、それなりの差異が出るので、どのようなディスクレイアウトでベンチしたのか知りたいところ。

    結果を見ると、スコアが大体2つ3つのグループに分かれる傾向があるみたいなので、それでそれぞれの得手・不得手が見えてくるのは面白い。

    ただ、実用上はどのファイルシステムも大差はないのかもというのが実感ですなぁ。ファイルシステムはピーク性能より安定性のほうがはるかに重要ですし。安定性に力点をおいたテストをしてくれると嬉しいかも。

    ちなみに私は4台のディスクをLVMでまとめて、reiserfsでフォーマットして使ってますけど、（小さい）ファイルの削除が早いことは十分体感できます。少なくともext2とは雲泥の差です。

  • ナイスなアドバイス (スコア:1)

    by Anonymous Coward on 2001年07月25日 17時26分 (#9440)
    >「Windowsパーティションなんかさっさと消してしまえ」って言うのはいかにもアレゲ:)

    「キッチンでサンドイッチを作って食べて戻ってきたときにまだコピーが終わってないのを見たいのなら、Windows のパーティションは残しておきなさい。vfat はそんなあなたのためのものです」とも書かれてますな。
  • 去年のUSENIXには、Linuxか(FreeBSDのどちらか)に、WEBサーバ/Proxyサーバのためにチューニングしたfilesystemを載せたら数倍速くなったという論文が出てたかと思います。

    あと箱モノのProxyサーバ系では「専用OSと専用Filesystemで究極のチューニング!」みたいな売り文句を書いてるものがありますよね。

    特定用途向きアプライアンスサーバのベースになりそうなLinuxのようなOSにはそういうのもあってもいいかも知れないですね。

    なお私もちょっと妖しい奴を作成中。内容は秘密:)

    --
    -- Takehiro TOMINAGA // may the source be with you!
  • deleteのオペレーション自体はそれで合っているはずです。ジャーナルファイルシステムにおけるトランザクションの過程で、時間がかかってしまっているのではないかと思っています。

    ビットをゼロクリアしたりはしていないはず。

  • ext4の論文(1997年)がここにあるみたいです。ext5も、名前としてはあるみたいですが、情報は見つけてないです。

typodupeerror

犯人は巨人ファンでA型で眼鏡をかけている -- あるハッカー