東工大、TSUBAME2.0 を今年 11 月頃に稼働開始 45
ストーリー by reo
どや 部門より
どや 部門より
東京工業大学のスーパーコンピューティングシステムの次期バージョン、TSUBAME2.0 の開札が行われ、NEC および HP による構築が決定した (東工大のプレスリリース, PDF)。松岡先生のつぶやきによれば、2010 年 11 月 1 日までには稼働を開始する予定。
TSUBAME2.0 の理論最高性能は 2.4 PFLOPS。技術的トピックとしては
- 約 2900 ソケットの Intel Westmere EP + Intel Nehalem EX (約 17,000 コア)
- 約 4200 枚の Fermi コア NVIDIA Tesla GPGPU (約 188 万演算コア)
- Volatire 社によるフルバイトセクション・マルチレイル・QDR インフィニバンドネットワーク (バイセクションバンド幅 200 Tb/sec 以上)
- SSD による 0.66 TB/sec の I/O 合算データ性能
- Linux + Microsoft Windows HPC の両立
などなどが上げられる。スパコンランキング The Top 500 でもトップクラスの性能を獲得できる見込みとのことである。
どうしてTOP500ばかり見られるのだろう (スコア:2, 参考になる)
Re: (スコア:0)
けっこう手間隙かかります
企業のスパコンなんて、存在をおおっぴらにすることのほうが少ないと思うよ
松岡先生いつの間にこんなキャラに… (スコア:2, おもしろおかしい)
「いらん」「無駄」「2番じゃダメなんですか」スレはこちら (スコア:0)
ツバメ返し (スコア:0)
Re: (スコア:0)
2.0番じゃなきゃダメなんです
#今更 2.0 はねーよな。ああそうか、TSUBAME2 じゃダメなんですかという意味か。
Re: (スコア:0)
割と早急に2.0.1とかに上がるんじゃないですか（バグフィックスで）
Re: (スコア:0)
ルサンチマンということは圧政な現状なんですね
typo (スコア:0)
# 188万/42000 ≒ 44.8 で変だったのでPDF読んだ。
Re:typo (スコア:1)
修正しました。ご指摘 thx。
Hiroki (REO) Kashiwazaki
Re:約4200枚。 (スコア:0)
やはり効率的に同時動作させるのは難しいのだろうなぁ。
ああ、やっぱり……… (スコア:0)
若いツバメは有閑マダムIntelとAMDを行ったり来たりになるのか。#結果論だろうけど
nVIDIAのCUDAは変わらないけど、約(?)4200枚のFermiコア造るのに何枚のウエハが必要なんだか。あれまだ歩留まり悪いよねぇ。それともGeForce同様コア一部殺すのかな？
約4200 枚の最新型Fermi コアを採用するNVIDIA Tesla GPGPU に内包された約188 万個の演算コア
1880000/4200≒448
512じゃないってことはTeslaですらコア殺さないと歩留まり確保できないのかのか(´･ω･`)ｼｮﾎﾞｰﾝ
Re:ああ、やっぱり……… (スコア:3, 参考になる)
http://www.geocities.jp/andosprocinfo/wadai10/20100508.htm
歩留り云々ってより「元々想定したTDPに全く収まらないから」って線が有力です。
Re:ああ、やっぱり……… (スコア:1, 興味深い)
> 448シェーダどころかクロックもかなり落ちてるよーで。
> http://www.geocities.jp/andosprocinfo/wadai10/20100508.htm [geocities.jp]
倍精度が515GFLOPSってことは、結局ピーク性能はRadeon 5870 (544GFLOPS) 以下になっちゃったわけだ。
……つーか気がつけば価格性能比でもCPUに追いつかれてしまった [nao.ac.jp]わけで、GPGPUもここらが潮時なのかもね。
Re: (スコア:0)
CUDAでガリガリ動かすとGeForceじゃ動作おかしくなるからTesla買ってね(はぁと)だから、しょうがないかな？
普通のユーザーからの使い勝手 (スコア:0)
TSUBAMEはCPUコアとGPGPU(1.xではClearSpeedも)とのヘテロなスパコンですが、
CUDAとかでしっかり書いてGPUの恩恵にあずかれるユーザーは、現在のTSUBAMEユーザーの
中にどれ位いるのでしょうか?
TSUBAMEのホームページ http://www.gsic.titech.ac.jp/~ccwww/ [titech.ac.jp]では、
稼働率を確認できますが、これはGPUの稼働率は入ってないのですよね?
GPUを含めてのピーク性能を謌っている訳ですから、GPUの稼働状況や今後の利用促進策を
きちんと説明しないと、GPUに対して利害関係がない普通のユーザーからは「みんなのスパコン」
と認めてもらえないんじゃないのと感じてしまいます。
Re:普通のユーザーからの使い勝手 (スコア:2, 参考になる)
TESLA利用用のマニュアルにも書いてあるけど、BLASとFFTのライブラリがあるから、あまり考えなくてもとりあえずは使える。
あと時々CUDA利用のための講習会が開かれてるし、CUDA C（nVidia）とかCUDA Fortran（PGI）も入ってるから、軽く使うだけならそんなに敷居は高くないよ。
それと、この手の利用率のページは単に自分が使う際にどこにジョブを投げるか（どこが空いているか）の判断材料のためだから、評価という意味ではむしろきちんとしたレポートが出てるかどうか、のほうが大事だと思う。そっちは出てるのかどうか知らんけど。
Re: (スコア:0)
Re: (スコア:0)
#TSUBAME1.0ではSUNが犠牲になったか
#HPは消えることはないだろうから、次はNEC?
Re: (スコア:0)
>#TSUBAME1.0ではSUNが犠牲になったか
OracleはSunの製品ラインがハードウェアソフトウェア共に憎くてたまらないようです。もう怖くてSun製品ラインは買えない。
トップクラス？ (スコア:0)
Re:トップクラス？ (スコア:1)
アクセスできる人は、計算したいデータとプログラム（アルゴリズム）を抱えてるけど、研究のためとか、守秘義務とかで、しゃべれないんだよ。
だから、トップクラスを目指すよりも、国内の研究者がよってたかって使ってもまだ少し余力ありますよー、とか、発表段階で予約が３年待ちとか（これは別の問題が起きるな）とか、でも全部こなして２年で終わっちゃったとか、そういったアピールの方が、あの人たちを納得させやすい気がする、んだ。
Re: (スコア:0, 荒らし)
> 発表段階で予約が３年待ちとか（これは別の問題が起きるな）とか、
> でも全部こなして２年で終わっちゃったとか、
なんか、いちいち矛盾してますね。
説得力がゼロです。
余裕があるのかないのか。
> そういったアピールの方が、あの人たちを納得させやすい気がする、んだ。
あの人たちとは誰のことを指しているのか全く不明。
大学の偉いさんなのか、文科省なのか、なんとか会議の人なのか。
Re: (スコア:0)
で、いくらで落札されたのかとか今後の予算配分とか知りたいけど、そういう情報はないですね。続報を待ちますか。
Re: (スコア:0)
東工大の人達はスパコンの設計とかに関わってるの？
発注しただけならお役所仕事と変わらんでしょ。
Re:トップクラス？ (スコア:1)
そういう意味では、何だかんだ言っても、GRAPE-DRの方がすごいことは確か。
GPGPUは、HPC研究者と、商用アプリケーションが対応すれば、
そのアプリケーションの利用者が恩恵を受けるのではないかな。
HPC以外のソフト開発者はあまり使わないのでは？
Re: (スコア:0)
マスコミ発表までした目標性能の1割も達成できずにフェードアウトしてるらしい。
予算出したところへの報告書では、成功したということになってるらしいが。
Re: (スコア:0)
Re: (スコア:0)
>東工大の人達はスパコンの設計とかに関わってるの？
あそこはむしろNAREGIとも絡めてミドルウェアとか、利用/分配システム構築とかそっちの仕事に力入れてなかったっけ？
Re: (スコア:0)
あれだけの規模のシステムを運用・運営するのも技術のうちのひとつだよ。まぁ運用自体は外注だろうけど。外注先のコントロールを含めた「運営」は相当大変だよ。商用のデータベースサーバとかの管理とは全然違う世界ですし、ノウハウ持ってるところも少ない。
Re: (スコア:0)
めっちゃ設計してるよ。
もちろん具体的なハードの設計はメーカーだけど。 当然だけどハード（ノード内部）の設計＝スパコンの設計ではないですよ。
人工知能mohtaシステムは載るの？ (スコア:0)
ストレージとファイルシステムは？ (スコア:0)
TSUBAMEというと、分散ファイルシステムのLustreが不安定
でっていう印象があるのですが、2.0ではどうなる予定なのでしょうか？
Re: (スコア:0)
ストレージはDDNだとあるから、GridScaler [ddn.com]あたりでも使ってるんじゃね？
Re:ついにゲイツOSに汚染されますか (スコア:1)
まさにその通りかも
スーパーコンピューター向けのExcel、開発中 [srad.jp]
Re: (スコア:0)
SMPやマルチスレッドや非同期I/Oなどの性能は悪くないと思うんだが。
何も考えずにK&R時代のC標準ライブラリだけでコーディングするのなら、それらの利点はまるで生きてこないので、Linuxでいいと思うが。
Re:ついにゲイツOSに汚染されますか (スコア:2, 参考になる)
HPCの分野では, 汎用的なSMP等のスケジューリング性能は全くと言えないまでも, ほとんど関係ありません. 極論を言えばMS-DOS並みの超大粒度タスクスイッチングでも良かったりします. というのも, HPCで要求されるのはTSSやWebシステムの様なレスポンスやリアルタイム性ではなく, 一定の時間内で処理できるタスクを最大にするというトータルスループットだからです. そのためスケジューラの基本戦略としては, 各タスクは計算機資源を占有すると仮定して, 投入されたタスクを順次バッチ的に実行する. 計算機資源を使い切らないタスクについては資源の範囲内で完全並列で実行するという感じになります. 要は主記憶をほとんど占有するようなタスクが複数スイッチングしていたら, HPCとしては使い物にならないってことですね. 実際にはたとえばNQS [kyoto-u.ac.jp]みたいな上物を介していたりすることもあるみたいですし.
IOについてもHPCでは多くのアプリケーションと異なり, 計算ループ1回ごとに大量データのバースト転送ってパターンが多いですし, ハード構成としてもメインフレームと同様の専用の入出力プロセッサを介して行うことになるでしょうから, 汎用的なIO性能では推し量れないでしょう.
結局, HPC向けWindowsの採用ってのは, ある意味変態的な作りこみに対してどれだけのサポートが得られるかってことに尽きると思います.
Re: (スコア:0)
いや、ループの内側でI/Oすることはあんまりないと思うが…
せいぜいチェックポイントくらいだと思うぞ
Re: (スコア:0)
少なくとも、一般的なアプリケーションとは異なる指標で測ったほうがいいのは確か。
それはそれとして、Windows系統で開発ができるスパコンってのも応用を考える上ではあっても良いと思う。
少なくとも、素のPosixよりはAPIがマトモな面がある。
Re: (スコア:0)
いや、計算ループ1回ごとに大量データのバースト転送をすることが多いってんだから単位も糞もねーよ。
そんなことをすればI/Oバウンドになってしまう。何のためのスパコンなんだか。普通はオンメモリで計算するわい。
I/O担当ノードもlinuxやwindowsが載ってるしね。
Re: (スコア:0)
数年もするとTop500の殆どはMSになるかも。
# 去年のTop500はSPARCが2個しか載ってなかったよな。消えるのは結構早い...
Re:ついにゲイツOSに汚染されますか (スコア:1, 興味深い)
SolarisなどのUNIXは激減し、Linuxが増加、Windowsはこれから伸びるかも。
MacOSはとっくにTop500から消えました。
Re: (スコア:0)
大抵の人は計算がしたいのであって、コーディングをしたいんじゃないって考えれば、
Excelってのはそれほど悪くない考えかも知れない。
ちゃんとそれなりに直した物なら。
Re: (スコア:0)
ExcelでHPCクラスターを使う場合でもそれなりにコーディングは必要みたいです。
VBA、.NET、C++でアプリケーションが書けるみたいです。
http://www.microsoft.com/downloads/details.aspx?familyid=A48AC6FE-7EA0... [microsoft.com]