パスワードを忘れた? アカウント作成
31679 story
インターネット

kernel.orgミラー管理者曰く「BitTorrentは負荷分散に役立っていない」 32

ストーリー by mhatta
思わぬ弱点 部門より

hide.jikyll 曰く

先週開催されたOttawa Linux Symposium 2008の総括記事(OTP)で、kernel.orgのミラー管理者、John Hawley氏の講演が紹介されています(記事の4ページ目)。Hawley氏によると、ユーザーはBitTorrentで負荷が分散されていると思い込んでいるものの、トラッカーとなるミラーサーバへの負荷が大きいため、実際は負荷分散になっていないそうです。Hawley氏が例として挙げたのはFedora 8リリース後1週間のデータで、kernel.orgのミラーだけをソースとしたBitTorrent経由のダウンロード数が、あらゆるソースを利用したBitTorrent経由のダウンロード数とほぼ同じくらい存在し、Fedora 8全ダウンロードデータの約25%はkernel.orgミラーをソースとするものだったそうです。しかも、BitTorrentを使うとサーバはチャンクごとにディスクをシークするためディスクスラッシングを引き起こしやすく、HTTP経由のダウンロードに比べて400倍もの負荷をディスクにかけるとのこと。P2Pによるディストリビューション配布の必要性は認めるHawley氏ですが、「BitTorrentはその解答ではない」と結論づけています。

このほかにも、Hawley氏は「FedoraやMandrivaは大量のアーカイブをミラーに放置するのをやめろ(超意訳)」とか「リリースタイミングが重ならないようディストリビューター間で調整しろ」とか不満をぶちまけているので興味のある方は元記事をどうぞ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 日本のよいこみんなはふるきよきRing Serverのミラーを使おう!
    ってことでしょうか。
    http://www.t.ring.gr.jp/pub/linux/ ←近いサーバー優先
    http://www.dnsbalance.ring.gr.jp/pub/linux/ ←空いているサーバー優先
    とりあえずFerdoraはあるみたい。
    --
    love && peace && free_software
    t-nissie
    • by Anonymous Coward on 2008年08月03日 9時31分 (#1395759)
      使って欲しかったら適切な短い間隔でフルフィードされてるかどうかくらい監視しろよ
      アップデート先として使われなくなったのには理由があんだよRingServer
      親コメント
    • by Anonymous Coward
      不安定で更にFreeBSDのミラーが停止した時点で使うのをやめてしまった。
    • by Anonymous Coward
      Fedora 7をダウンロードしたら、何度やってもSHA1があわなくて、結局本家から落とすはめになったことがあります。
      • ためしに、いまPPC用のFedora 9を
        http://ring.riken.jp/pub/linux/fedora/linux/releases/9/Fedora/
        からダウンロードしようとしたらなかった。
        Ring Serverはもはやイケてないのだろうか。
        ディスクスペースが足りないのだろうか。
        Ring Serverの管理をやっても世間や研究所内や学内で評価されないのがいけないのだろうか。
        ぼくはGNUのソースをいつもダウンロードしているので助かっている。

        http://ftp.riken.jp/Linux/fedora/releases/9/Fedora/
        にはあったので、ダウンロード中。

        30分後にSHA1のチェックをする予定。
        --
        love && peace && free_software
        t-nissie
        親コメント
        • 個々のRing Server次第なのでは。AIST [ring.gr.jp]やNICT [nict.go.jp], 理研 [riken.jp]などは比較的きちんと管理・更新されているようです。

          ……と思ったら、最近はもはやそういった研究機関しかRing Serverに参加していないんですね。一時期は20くらいのミラーがあったような気がするんですが。ライブドアのデータホテルのRing Serverは速くて安定していてよく使っていたんですが。

          おれは、上場前にRingのミーティングにわざわざ筑波まで来てくれて、日本
          のオープンソース界発展のためにこういう面白いプロジェクトをやっているん
          だったら、ぜひ、協力したいとデータセンターの提供を申し出てくれた恩は忘
          れませんよ。
           この前、諸般の事情からライブドアはRingから退会しましたが、おれ、全然、
          気にしてなかったんですけど、年間数千万円だったか5千万円くらいだったか
          な、タダで使わせてくれてたんですね。それなのに、もっと増強してくれます
          かと要求したんだから、もう勘弁してくださいになりますよね。^^;
           少なくとも、この恩は忘れませんからね。

          全局録画。草野さん、小倉さんもやってるぞ: ホットコーナーの舞台裏 [asablo.jp]より
          --
          Your 金銭的 potential. Our passion - Micro$oft

          Tsukitomo(月友)
          親コメント
        • $ sha1sum -c SHA1SUM
          Fedora-9-ppc-DVD.iso: 失敗
          え゛?

          --
          love && peace && free_software
          t-nissie
          親コメント
          • <ecode>
            $ sha1sum -c SHA1SUM
            Fedora-9-ppc-DVD.iso: 失敗
             (途中略)
            Fedora-9-ppc-netinst.iso: 完了
            $ ls -l Fed*
            -rw-r--r-- 1 t-nissie t-nissie 4417064960 2008-08-03 11:34 Fedora-9-ppc-DVD.iso
            -rw-r--r-- 1 t-nissie t-nissie 185217024 2008-08-03 11:47 Fedora-9-ppc-netinst.iso
            </ecode>
            小さなファイルは大丈夫だった。
            どっかで32ビット−4GBに関連した不具合があるのかしら。
            ネットワーク?カーネル?ファイルシステム?sha1sumコマンド?
            --
            love && peace && free_software
            t-nissie
            親コメント
            • by Anonymous Coward
              古いプロキシにこの手の不具合結構ありますね
              大きいサイズのファイルを落とすことがあまりないせいか気がつかないんですよね
          • by Anonymous Coward
            ハッシュを改竄し忘れるとはマヌケなクラッカーもいたものです。
  • by Anonymous Coward on 2008年08月03日 20時29分 (#1396026)
    公開初期のトラフィックを半分BitTorrentで受け止めてもらえる、
    すなわち見かけの帯域が倍になるんだから御の字だろう?

    オープンソースものではない全世界に向けたオンライン配信コンテンツの配信周りに
    ちょっとだけ首を突っ込んでいるけれど
    経験的に公開後48時間くらいは帯域を猛烈に使われるけどそれ以後はたいしたことはない。

    スラッシングの問題に関しては、シードしているコンテンツがメモリに乗り切ってない時点で負けだ。
    これはBitTorrentに限らずHTTPでも同じ、CDNを使う場合でも同じ。
    「スワップさせたら負け」
  • by tamatukurikei (32435) on 2008年08月03日 7時44分 (#1395716) 日記
    この記事とは直接関係ないが...

    isoファイル落とすときに,BitTorrentのトラフィックが帯域制限(by @nifty)に引っかかってしまい,泣く泣くHTTP経由でのダウンロードになってしまう.
    インフラの負荷(配布元)を軽減する目的なのに,インフラの負荷(ISP)軽減の目的でこれが阻害されてしまうのは皮肉に感じる.
    • by Anonymous Coward
      @niftyは帯域制限じゃなくてプロトコルで判断してませんかね?
      以前使っていたときにそう思える挙動をしていたので退会したんですけど……

      と思って読み返したら

      >BitTorrentのトラフィックが帯域制限(by @nifty)に引っかかってしまい,泣く泣くHTTP経由でのダウンロードに

      ということはプロトコル毎に帯域制限が違うってことだったのかな?
  • トラッカーも負荷分散が必要ってことだろうなぁ。
    たしかに、ノードの数が多いと大変だ。
    • by Anonymous Coward
      数年前からDHTがサポートされてて、対応クライアントも徐々に増えてるんですけど、負荷分散できてるのかどうかよくわからない。たぶんUDPポートも開放しないといけないとか、敷居が高いせいで不安定なのかなと思ったり
  • by Tsukitomo (22680) on 2008年08月03日 19時22分 (#1396011) 日記
    技術的にはどのノードからダウンロードしても同じでも、ユーザ心理として、「どこの誰だか分からない近くのノード」よりは「kernel.orgが提供する素性のはっきりしたノード」を選びたくなるんではないでしょうか。

    そこらへんのユーザ心理を解決しないと、P2P技術は浸透しないような気がします。
    --
    Your 金銭的 potential. Our passion - Micro$oft

    Tsukitomo(月友)
  • by Anonymous Coward on 2008年08月03日 6時51分 (#1395706)
    ISOイメージなんて落として焼いて即消すもんだから、
    いつまでたってもシーダに負荷がかかるのは当然だと思いますよ。
    P2Pダウンロードの要諦はいかに即消しを防ぎ、あちこちに
    断片を残すかが重要なんで、BTが「キャッシュ」という形で
    断片を残しにくい仕様上、1日程度寸止めして拡散しきってから
    流すとか、ある程度流さないとファイルに復元できないとか、
    拡散成績なんかで何らかのスコアをつけて、
    高スコアのリーチャに優先的に流してシーダになってもらい、
    下位のリーチャに流すという形をとらないと駄目駄目です。
    ミラーFTPから持ってくるよりも結果的に早ければ問題はないのです。

    BTの実装の問題なので、改良すればいいじゃないですか。
    Share(仮)のターボ拡散アップロードモードとか、既に
    それを解決しているP2P共有ネットワークは実在しますよ。
    • by Anonymous Coward on 2008年08月03日 11時12分 (#1395814)
      今回の記事では、シーダー負荷ではなく、トラッカー負荷についてが問題視されています。
      実際のところトラッカー負荷への問題はDHTネットなど色々と模索されている部分もあるので、今後改良されるかもしれません。

      また、ご指摘の初期シーダーへの負荷の問題については、一部のBTクライアントに実装されているスーパーシードモードで対処されていますよ。

      拡散アップロードについては、DL効率重視のBTの思想とはなかなか相容れない部分もあると思いますので、BTで採用されるかは微妙なところかもしれません。
      流行が廃れると消えやすいBTですが、逆にホットな場合のDL速度には捨てがたい魅力もあるわけで。

      Shareのような「ある目的」を持ったP2Pネットワークの場合は、そのネットワーク自体の存続という目的などもあるので拡散するのに意味はあるのでしょうが、それだけがP2Pの目指すところでもないでしょうし。
      既存のP2Pモデルにはそれぞれメリット・デメリットがあるので、全てのP2Pモデルが同じ方向性を取らなくても、適材適所で使えばいいんじゃないでしょうかね。
      親コメント
    • by Anonymous Coward
      httpやftpよりも快適にダウンロードできる
      というインセンティブを捨てたら、
      P2Pで配布する意味がなくなると思います。
      • by Anonymous Coward
        負荷分散によって、サーバーが落ちにくくなること=頑健性が高くなる事ってのは、
        インセンティブとして十分有効だと思うんだけど。
        それに、普通は落ち始めるのを確認したら放置するんだから、多少遅くても問題ない。
        落ちてくる様子をじっと見ているわけでもなし。
        • by Anonymous Coward
          > インセンティブとして十分有効
          もしこれが真なら、わざわざ寸止めする意味はないように思える。

          > 普通は落ち始めるのを確認したら放置するんだから、多少遅くても問題ない。
          もしこれが真なら、わざわざ寸止めする意味はないように思える。
          • by Anonymous Coward
            その通りです。
            即ち、このkernel.orgの主張同様
            「P2Pによる負荷分散は必要、でも現状のbittorrentの仕組みではダメ」
            ということです。
            winnyとbittorrentの中間が必要ってことかなあ。
    • by Anonymous Coward

      ISOイメージなんて落として焼いて即消すもんだから、
      だよな。
      うちは仮想環境でscrap and buildを繰り返す関係上、一度DVD ISOをダウンロードして、イメージをそのままマウントして使ってるけど、対外線の帯域がショボいのでBitTrrentを上げっぱなしにはしてない。
      しかし、CentOSではISOイメージのダウンロードはBitTrrent推奨なのに、BitTrrentのRPMが無い [blogspot.com]のはどういうことなんだ?
  • by Anonymous Coward on 2008年08月03日 7時19分 (#1395709)
    > kernel.orgのミラーだけをソースとしたBitTorrent経由のダウンロード数が、あらゆるソースを利用したBitTorrent経由のダウンロード数とほぼ同じくらい存在し、Fedora 8全ダウンロードデータの約25%はkernel.orgミラーをソースとするものだったそうです。

    どなたか、この1文を分かりやすく教えてください。。。
    • by Anonymous Coward on 2008年08月03日 23時28分 (#1396093)
      P2Pユーザーは都合で電源を切ったり、ダウンロードが終わったらソフトを終了したりします。Bittorrentはユーザーが指定したものしか落とさないので、Linux distroはクライアント総数が小さく、しかもリリース直後は多くてだんだん減っていくという「旬がある」ものです。
      kernel.orgのそれのようなサーバーが、ダウンロード元がなくならないように(リスト上はクライアントに混じって)存在しています。そうしたらそのサーバーがダウンロード元になった割合が25%になっちゃったよってこと。
      旬が過ぎたものをtorrentで落とすのは、かなり遅くてやってられない。

      なおopenSUSEの開発版においては、リリース版より旬が短くてクライアント数もシビアです(フルのDVDisoはtorrentでしか手に入らない)。なので「前版isoに、http/ftpで落とした差分あてて、torrentクライアントの裏にチョメチョメして100%ダウンロードしたことにして、他の人のダウンロードを助ける」ことが推奨されてたりします。
      親コメント
    • by Anonymous Coward
      BitTorrentは使ったことが無いので、完全に文章からの妄想ですが、
      「BitTorrentのダウンロードのうち、分散されてダウンロードされているのは半分だけで、
      半分はkernel.orgのミラーだけからダウンロードされている。」
      「Fedora 8の全ダウンロードの25%はkernel.orgのミラーからのダウンロードである。」
      「そのためBitTorrentの分散化という効果はあまり出ていない。」
      ってな感じですか?
      • by Anonymous Coward
        つまり、Fedora8におけるBitTorrentのP2P内の流量は全ダウンロードの25%に達し、これはkernel.orgからのダウンロード量に匹敵する。
        だがkernel.orgの管理者はBitTorrentには負荷軽減効果なんてないと信じているので、kernel.orgの帯域を2倍に拡張する計画である。
        ということですか?わかりません><
  • by Anonymous Coward on 2008年08月03日 17時06分 (#1395975)
    > 「リリースタイミングが重ならないようディストリビューター間で調整しろ」
    一方でリリースサイクルを合わせろ [srad.jp]という主張もあったりするわけですが。いったいどうしろと…
    • by Anonymous Coward

      「マークはああ言いましたがね、悪い考えですよ!」
      一刀両断
  • by Anonymous Coward on 2008年08月05日 13時30分 (#1397081)
    この記事を見て、ISPとP2Pとの連携「P4P」という仕組みを思い出しました。
    http://www.geekpage.jp/blog/?id=2008/4/28/1 [geekpage.jp]

    これで何とかならないの?
typodupeerror

長期的な見通しやビジョンはあえて持たないようにしてる -- Linus Torvalds

読み込み中...