PCクラスタを簡単に構築、KNOPPIX for MPI 37
ストーリー by yoosee
ペンギン編隊、前に進めっ 部門より
ペンギン編隊、前に進めっ 部門より
sillywalk曰く、"広島国泰寺高校の科学部物理班は、MPI並列処理のためのPCクラスタシステムをどこでも簡単に構築できるパッケージ「KNOPPIX for MPI」を発表しました。同高校より依頼を受けた日本電子専門学校のサイトにおいて現在公開中です。同科学部物理班は「KNOPPIXを用いたPCクラスタシステム」の開発で、昨年のJSEC2004において優秀賞を受賞しています。
KNOPPIX for MPIのおもな特徴は次の通り。
- KNOPPIX日本語版 V3.7をカスタマイズ。
- 全体を統括する操作用PCをMaster nodeとし、CDもしくはUSBメモリで起動。
- Master nodeでターミナルサーバを実行すると、計算用PCはPXEブートしてSlave nodeとなる。
- MPI並列処理はLAMで実装し、プロファイリングツールにはxmpiを使用。
- PCクラスタの構成は自動化されており、Slave nodeは操作の必要なし。
- 初回起動時にSlave nodeのMACアドレスを自動回収・保存。次回起動時にWake On Lanによって全Slave nodeを自動起動。
- Slave nodeの電源ONからshutdownまでの全操作を、Master node上の簡単なコマンドのみで実行可能。
Knopixも良いけどMiko/Gnyo Linuxもね (スコア:3, 参考になる)
京ぽんから書き込みなのでリンク省略。
Re:Knopixも良いけどMiko/Gnyo Linuxもね (スコア:3, 参考になる)
MIKO GNYO/Linux [gnyo.org]
# C69に合わせて新ver.出るのかな?
Re:Knopixも良いけどMiko/Gnyo Linuxもね (スコア:3, 興味深い)
C69で新バージョン頒布予定です。
(いつも通り、C69終了後FTPにて配布予定)
次バージョンでは、課題であったUSBストレージデバイスへのインストールとUSBからの起動の実現等、
クラスタ関連ではopenMosixによるSSIクラスタを引き続きサポートする他、SCore復活予定です。
どこまでいけるか分かりませんが、できるだけ頑張りたいと思います。
Re:Knopixも良いけどMiko/Gnyo Linuxもね (スコア:0)
なので社会人の、それも本職PGが参加しているプロジェクトと同列に扱うのがナンセンス。
この高校生たちの将来がたのしみです。
あ、もちろん社会人の皆さんもがんばってね>>Alpha3氏
Re:Knopixも良いけどMiko/Gnyo Linuxもね (スコア:0)
似たようなシステム組んでます (スコア:3, 参考になる)
管理している専用マシンのようになっているので、PXEまわりなどは勝手に触れません。でもブートの優先順位くらいは変更できます(してもらいました)
なので、
・クライアントはFreeSBIEで作ったライブCD
・サーバーは専用PC(FreeBSD)
・DHCPではなく、IPアドレスを各CDに焼き込み
とかやりました。
これだと、空いているPCを探してCDを入れ、ブートするので台数を可変にできたり、他人のPCを強引に使うことはありません。
#4年生の卒研で使ってくれないかなぁ。
うらなましい(なにか間違っている日本語 (スコア:2, すばらしい洞察)
はちはちが一台来ただけで大騒ぎな世代
Copyright (c) 2001-2014 Parsley, All rights reserved.
Re:うらなましい(なにか間違っている日本語 (スコア:1)
アレでクラスタリングできたら…(無理)
文化祭の時は、パソコン部が全部占有したおかげで、うちら(メカトロ部)は部員が
自前の(主に8BitCPUの)PCを持ち込んだもんだよな…
あの頃は、ゲームかCGか占いぐらいしか、文化祭でやる事無かったけどな。
まぁ、あの頃、やってた事って言えば…黒歴史な事も多いけどさ…
/* Kachou Utumi
I'm Not Rich... */
Re:うらなましい(なにか間違っている日本語 (スコア:1, 興味深い)
40台も眠っているからフル活用すればかなりのことが出来るはず。
冬でも半袖で生活できそうだし。
Re:うらなましい(なにか間違っている日本語 (スコア:2, 興味深い)
問題はそれで必要になる15〜20kW/時の電力料金を誰が負担するかってことですね.
Re:うらなましい(なにか間違っている日本語 (スコア:1)
# 昨冬の自室の暖房はPen4 530でした。まじで。
# 4月にAthlon64 3200+に取り替えました。春だから暖房はしまったの。
まぐろたべたい
Re:うらなましい(なにか間違っている日本語 (スコア:1)
# 会社では夕方に冷房が切れるんだけど、暑くてねぇ,,,
Re:うらなましい(なにか間違っている日本語 (スコア:1)
# 使い方が違う
Re:うらなましい(なにか間違っている日本語 (スコア:0)
Re:うらなましい(なにか間違っている日本語 (スコア:0)
Re:うらなましい(なにか間違っている日本語 (スコア:0)
宿題 (スコア:2, 参考になる)
Slave node のルートは tmpfs root かな.
あとはSun Grid Engine (SGE)とかのqueuing systemを入れておいてくれると助かります.
他の方法は広島大、昼夜でWindows/Linuxを入れ替えるグリッド構築 [srad.jp]
にいろいろ書いてありますね.
ここで高校生やスラド読者に宿題を出したいと思います.
MPIを使って並列化エラトステネスの篩を作ってみてください.
偶数ひとつを1bitに割り当てるとかなり大きな数まで篩にかけることができます.
使用する言語はFortranやCでもよいのですが, C++をオススメします.
MPIとC++は相性がよいです.
素数の個数が素数定理にちゃんとのっかっているのを確認するとかなり感動します.
love && peace && free_software
t-nissie
訂正 (スコア:1)
正: 奇数ひとつを1bitに割り当てるとかなり大きな数まで篩にかけることができます.
あいかわらずヘタレだ…
love && peace && free_software
t-nissie
Re:宿題 (スコア:1)
それを素数定理にあわせるというのはオリジナルだと思っていました。
不勉強で申し訳ありません。
大きな数を扱うために64ビット整数を使うのですが、MPICH(2)では
この64ビット整数をやりとりする方法がまだ実装されていないとぼくは
理解していて、32ビット整数2つにわけて送受信するなどと苦労する
のですが、どう解決するのがよいのでしょう。もしくはLAMなどの新しい
実装では大丈夫なのでしょうか。アドバイスを下さい。
> > MPIとC++は相性がよいです.
> とことんレベルの低いコメントだなあ…
「MPIとオブジェクト指向は相性がよい」と思っています。
ぼく自身はC++は嫌いなのですが、MPIでプログラミングするなら、
Cを使うよりは直感的にプログラムを書くことができると思っています。
いかがでしょうか。
love && peace && free_software
t-nissie
PCクラスタで仕事したい (スコア:2, 興味深い)
クラスタの計算能力を要求するような用途ってデータ量も多いので、入出力がボトルネックになって、そこを強化しようとすると高価な記憶装置が必要になり「安価なPCによるクラスタリング」のメリットが薄れてしまう。
逆に、そこんところをきっちり解決したソリューションパッケージを作ったら結構な商売になるかも、などと妄想。
完成度が心配? (スコア:2, 参考になる)
* Mぴ並列処理 => MPI
システム設定の次官 => 時間
全スレーブノードを児童起動 => 自動
2329bytes 中に 10bytes のミスがあるとなると、ちょっと完成度が心配だと
思うのは、単なる気のせいでしょうか?
Re:完成度が心配? (スコア:0)
メールでも出して、先方の対応で判断しても遅くはないかと。
広島って (スコア:1)
広島大学ではこんなの [mazda.co.jp]が。
Re:広島って (スコア:1, 興味深い)
実験してみるかな (スコア:1)
さすがに勝手にサーバ立てるとまずいだろうし
ただ、やったからといって使ってくれる先生が
いるかどうかが分からないけど、文系多いし
物理計算 (スコア:0)
仕事だと手段と目的を取り違えられないけど、
学生だと、そんなの関係ないからうらやましい。
学生に戻りたいなぁ
Re:物理計算 (スコア:1, 興味深い)
流体計算とか、格子ゲージ理論計算とか重そうな計算(クラスター向きかは知りません)をやろうにも、
偏微分方程式を解析的/数値的に解ける人は、 すでに超高校級な気がします。
よく探せば、古典力学の範囲でもよい題材がありそうですが。
Re:物理計算 (スコア:2, 興味深い)
布シミュも2次元だったらできる気がしますがこれは意味があるかどうかはちょっと。
デザイン系の高校だったらMPI-Povray [demon.co.uk]を走らせるのだけでも意味がありそうですが。
kaho
Re:物理計算 (スコア:0)
Re:物理計算 (スコア:1, おもしろおかしい)
バカな上司に、明らかに手段と目的を取り違えている仕事をやらされるのも辛いですよ。
クラスタで動画エンコとかできないかしら (スコア:0)
こいつらをクラスタ化してDivXエンコとかできないでしょうか…
1台だと実時間の20倍は平気でかかる(P2-333MHzの場合)代物ですが、
20台でがんばれば実時間の2倍とかですまないかなぁ。
#かかる電気代を半年貯めればPenDの820が買えるって、そうですか
Re:クラスタで動画エンコとかできないかしら (スコア:2, 参考になる)
何台までサポートしてくれるのかはよくわからんですけど。
Re:クラスタで動画エンコとかできないかしら (スコア:0)
そんなんVirtualDub [sourceforge.net]でええやん。
Re:クラスタで動画エンコとかできないかしら (スコア:1, 興味深い)
でもこれが一番効果的な気が・・・
私も余っている低スペック(P2-200MHzくらい)でクラスタ組もうかと考えたことがありますが、
PenD840(3GHz×2)とかなら一台で低スペック20台分くらいになりそうなのでアホくさくてやめました。
新型メモリ帯域も上がってるし、SSEも使えるし、一台ならハブやケーブルも不要で、
通信のオーバーヘッドも無く、置き場やメンテの手間も1台分で済むし。
コストパフォーマンス (スコア:0)
セレロン400 メモリ128M HDDなし(機密保持ですね)
これで1000円ぐらい
これなら1ノード1000円程度でクラスターが組めますね。
100万円スパコンも夢じゃない・・・・・よね?
knoppix3.8でクライアント構成できるのを3台で確認しました。
問題はクライアントが増えるとルータの負荷がかかることですね。
ジャンク屋でシスコルータを探しとります。
ハードディスクも安価なのですが、Winをクラスタに使うと権利関係がうるさいうえ、電力の使用が半端じゃない(特にブート時)
配線は電源管理も含めてラックに入れてしまいますから、外見は単なる汎用機ですね。中を見た香具師は例外なく笑うけどw
Re:クラスタで動画エンコとかできないかしら (スコア:0)