マイクロソフト、高性能コンピューティングに進出 84
ストーリー by wakatono
これまでこっちにシフトしてこなかったのが不思議 部門より
これまでこっちにシフトしてこなかったのが不思議 部門より
chiba-f 曰く、 "ハイパフォーマンスコンピューティング(HPC)の世界では伝統的にUNIX環境で開発・運用が行われてきましたが,そのシステムは安いものではありませんでした。近年登場したLinuxはそれらと同じ環境を低価格のプラットフォームで可能にすることで人気を得ています。その結果、現在HPCの市場が広がりつつあります.マイクロソフトはそこに目を付けたらしく、高性能コンピューティング向けのWindows HPC Editionの構築計画を開始しました(CNET Japanの記事)。HPC Windowsの強みは、パソコンとシームレスにつながるとか、豊富な開発ツールを利用できると言ったところでしょう。また、HPC WindowsにHPCでの標準並列計算用ライブラリMPIを取り込むことも計画されています。早ければ、今年の秋にもHPC Windowsのソフトウェア開発キットが登場すると見られています。"
MPIについては、Linuxで動くクラスタのうち、Beowolfがそれをサポートする。クライアント分野を含め、Windowsが優勢だったエリアから一転して、HPC分野はWindowsの優位性がないような領域だけに、ライセンス体系も含めどのような戦略になるのだろうか。その他、計算ライブラリなどの資産をどのようにWindowsで活用できるようにするのか?というあたりも気になる。
頑張るねぇ… (スコア:4, 参考になる)
どんどん出て行って、とにかく何かひっかき回していきますな。
でも、HPCの世界にも競争相手がいるってのはいいことでわ。
Windows9xの不安定さにほとほと困ってた私も、Win2000にしてみたら
これが結構ちゃんと動くので感心してしまった一人だったりします。
なんか、ラクラクインストールでクラスタ構築できる、そんな
お気楽なマシンを支えるWindowsがあってもいいんじゃないかな…。
まぁ、MSの基本は重たくていろいろ機能の付いたパソコン用OS作って、
抱き合わせで買わせるオフィスアプリが主な資金源なんでしょうけど、
CEマシン出してみたり、X箱出してみたり、光学マウスや独特のキーボード、
ゲームパッドに至るまで、いろいろ挑戦してくれていて、
なかなか結構見るべきものや、面白いものも結構見付かります。
ユーザインタフェイスに関してはパクられてるネタも結構多い。
例えば、UNIX-WSに多かった3ボタンマウスより、
MSの出して来たホイールマウスのほうが確かに便利ですし。
また、ベイズ統計理論を人工知能エンジンに組み入れたヘルプを
いち速く作ってみたりってのは、結構評価してもいいと思うんですけどね、基礎研究としては。
まぁ、オフィスに入ってたのは重いだけで、実用性には疑問がありましたが、
その後でSPAMメールフィルタもちゃんと実装して見せたし。
Windowsでクラスタ組んでHPCできるようにしたいって考えているのなら、
面白そうですから、早速お手並み拝見といきたいものです。
多分、最初は酷い失敗をやらかすかもしれませんが、マイクロソフトはその資金面での
底ヂカラと、三度目の正直が本当に凄いということから、
なかなか侮れない存在だと思います。
もちろん、そこまで真面目に続けてくれれば…ですが。
Re:頑張るねぇ… (スコア:2)
[udon]
Re:頑張るねぇ… (スコア:1, 興味深い)
本業以外を開拓して全体の幅を広げるならそれはありだろけど
Windowsが中心であってその他では中途半端作動の製品ばかり
Winがぽしゃれば綺麗さっぱり消えてしまう感じがする
#結局、サービスパックに無理やり付属させて普及とかさせるのでしょ
#所が実際、使いもしないのにPCの電源を入れっぱなしにする
#習慣がついて温暖化を加速させてしまうきっかけなるじゃないかと
クラスタを組んだはいいが (スコア:2, おもしろおかしい)
使用上の御注意 (スコア:0)
・1台1台にノートンをインストール
・月に一度、アップデートとリブートが必要
#いつもながら本業以外はぱっとしませんな。
Re:使用上の御注意 (スコア:0, フレームのもと)
Re:使用上の御注意 (スコア:1)
クラスターの中の一台を「王」と名付け、周りを「金」「銀」「猛豹(Appleにも金出したし:-)」などと名付けたマシンで固めます。
「ほうら皆さん、どんな猛攻にもうちの王はビクとも…」
Re:使用上の御注意 (スコア:1)
その数値計算プログラムが、動的にメモリを確保したのに、それを開放しないのが原因なんでしょ?
Re:使用上の御注意 (スコア:2, 参考になる)
HPC用途だと暴走するJobというのは当然考えられる事態なので, Job毎の資源管理をOSないしはミドルウェア側でサポートするのは必須機能です.
私が知っているのはSX-3時代のSuper-UXなので現在では変わっているかもしれませんが, 基本的に全ての計算JobはNQSベースのJob制御コマンドを使って流し, 各Job毎に優先度, 使用メモリ量, 最大ユーザCPU時間が設定できるようになっていました. このあたりの使い方の感覚は, ユーザの操作性を重視したUnixやWindowsよりも, 計算機資源の効率的な使用に重きを置いた汎用機に近いものがあります.
けどHPCというのがそもそもいかに性能を出すかという所に意味があるわけですから, 当然と言えば当然ですよね. 大体, 操作性の優劣というのは計算の前/後行程で使うマシンで論じれば済む話ですし.
Re:使用上の御注意 (スコア:1)
資源管理は、HPC基盤の基本ですね。資源管理周りの開発の末席に居たことがあります。
Jobの実行条件に合わせて、CPUやメモリ資源の割り当て制御の処理を見ていたあの頃は、計算機をより計算機らしく感じられた気がします。
因みに、私が関わっていたのはN以外ですが、アプリケーションに近い層は、やはりNQSでした。
システムが80%の出来ではHPCにはとても耐えられないはずですので、ベースがWindowsでは、Jobが終了する前にOSがコケるとか、ノード間通信ができなくなってJobフリーズとかありそうな気がしてなりません。
実は、WindowsNTが世に出る時、てっきりマルチユーザーかつCUIが可能だと勝手に思っていて、実際使ってみるとtelnetみたいなことが出来なくてショックを受けたのでした。
出る前はちょっと期待していたのに>NT
Re:使用上の御注意 (スコア:1)
しかしながら、Windowsのアプリケーションって、そういうタコなヤツが多いような気はします。
Re:使用上の御注意 (スコア:1)
再起動などの致命的な状況にならないようにしてあるOSなんて,
いくらでもあると思うのですが...
それこそ,汎用機の昔から.
大量にメモリを消費し,かつ,数ヶ月単位で計算を続けるのが当然の
HPC系プログラムを扱うシステムは,他人の迷惑にならぬよう:)
そういった機構は必須ですよね.
みんつ
Re:使用上の御注意 (スコア:1)
Windowsだって、GCをサポートしたVM上で動くプログラムだけを走らせる限りにおいては、それほど再起動を必要とするとは思えませんよ。もし、再起動が必要になるというのなら、そのVMがお馬鹿さんなんじゃないですかね。
Re:使用上の御注意 (スコア:2, 参考になる)
> 再起動などの致命的な状況にならないようにしてあるOSなんて,
> いくらでもあると思うのですが...
例えば、あるプログラムの*一回の起動*で、ある一定以上のメモリを確保しようとしたら、そのプログラムを異常終了させるようなOSは、あると思います。でも、そういうことを言っているのではありませんよね。所謂メモリリークの話です。
おっしゃっているような状況が起こった場合、結局そのプログラムは実行不可能になるわけですから、それを解消するためにはOSごと再起動ってことになるのでは?
あるいは、複数のプロセスから起動されたあるプログラムが確保した複数のメモリ領域を強制的に開放する仕組みがあればいいのでしょうけど、そういうのって一般的ではないと思います。
Re:使用上の御注意 (スコア:2, 興味深い)
そうであればもちろんその通りですが,それをもって「再起動するしかない」ってのは...
単なるバグであってOS仕様の問題ではないのでは.
#IBM MVS あたりにはメモリプールを解放するオペレータコマンドがあったような気もする(うろおぼえ
みんつ
Re:使用上の御注意 (スコア:2, 興味深い)
複数のプロセスで計算を行うアプリで、プロセスの数が 無制限に増えるバグがあったら、手動で停止させるより 再起動したほうが楽かも。
ただ、SystemV共有メモリは確かプロセスを殺しても自動的には 開放されないので、ipcrmコマンドか何かで手動で取り除く 必要があったような。
Re:使用上の御注意 (スコア:1)
[udon]
よくわからないんですけど (スコア:2, 興味深い)
いままでUNIXやらLinuxやらで開発・管理してきたひとたちって、
(単純に好き嫌いという面で)Windowsに良い感情を持っていないんじゃ?
技術的な面はともかく、感情的な面で売れないということはないの?
Re:よくわからないんですけど (スコア:1)
OSに依存したコードってのは少なそうだし.
良いってのは演算能力ももちろんだけど,データの可用性,
そして,運用性も含めて,だけど.
Windows Update のたんびに一万秒走らせたJOBを失ったりしないよな,まさか.
みんつ
どうかな (スコア:2, すばらしい洞察)
おそらく、Windows Server 2003 HPC Editionなるものが出るのでしょうねぇ。もしかして、GUIなしだったりして・・・
それから、HPCはLinuxでも安定稼働やパフォーマンス出すためのチューニング大変ですから、Windowsでどこまでその辺のスキルを蓄積できるかですね。Linuxに関しては既にノウハウもった業者がある程度いますけど、Windowsはこれからな訳で、どこか会社を見つけて教育しないとですね。
現場の人がWindows嫌いでも、クラスターぐらいの金額になると、決裁者は相当なポジションの人ですから、Windowsが導入されることもあるでしょう。
ふと思った。 (スコア:1)
カーネルのリコンパイルで、更なるパフォーマンスアップは出来るけど、Windowsの場合は、そういうカーネルの
最適化パッチ(もしくはServicePack)をその都度、速やかに提供してくれるのだろうか…
まさか、それ以前に爆弾抱えたままで月刊WindowsUpdatesを待てなんて…
#例えば3%アップで、1ヶ月かかる計算が1日でも早く終わるわけだし。
/* Kachou Utumi
I'm Not Rich... */
Re:ふと思った。 (スコア:2, すばらしい洞察)
パフォーマンスがX%も向上しました。
バージョンアップの費用は Windows 1ライセンスにつき(以下略)
・・・て,オチになるのが目に見えるようです(笑)
***ご使用の注意点*** (スコア:1)
このMSオフィスを実行するには最低限次のような環境が必要です。
・64 CPU
・メモリ 1T Byte
・ハードディスク 1P Byte
なお、サポートは電話のみとなっております。
1インシデント10,000,000¥からとなっております。
・・・なんてね。 ;-p
Re:***ご使用の注意点*** (スコア:1)
それは、 (スコア:0)
Re:それは、 (スコア:2, 参考になる)
その分散実行されているプログラム同士がMPIで高速で通信できるようにする、というようにも思えます。
HPCにはすごくレガシーな部分もあり、例えば、Fortran77のプログラムをバッチで流したりするのですが、クラスタでバッチジョブを流す機能、そのためのロードバランスの機能なども実装されるのでしょうか。
MPIは低レベルの通信ライブラリであり、本当に複雑な計算で複雑なデータ構造をやりとりしようとすれば、遅くても分散オブジェクトの仕組みやSOAPのようなものでないとやっぱりやってられないということになると思いますし、それが出来る人ならsocketプログラムを書いて速度も追求できると思うので、これだけだと中途半端であまり成功しないと思いますが、如何でしょう。
Re:それは、 (スコア:1)
> MPIは低レベルの通信ライブラリであり、本当に複雑な計算で複雑なデータ構造を
> やりとりしようとすれば、遅くても分散オブジェクトの仕組みやSOAPのようなも
> のでないとやっぱりやってられないということになると思いますし、それが出来る
> 人ならsocketプログラムを書いて速度も追求できると思うので、これだけだと中途
> 半端であまり成功しないと思いますが、如何でしょう。
「本当に複雑な計算」とはここではどのような意味でしょうか。
地球シミュレータでやっているような規模の話なのであればメッセージ自体は単純で
MPIで十分でしょう(チューニングは大変でしょうが)。
各タスクが様々な条件の下で複雑な振る舞いをするようなプログラムであればデータ
の依存性が高すぎるので分散処理する利点がないか、あるいは粒度をできるだけ上げ
て問題を分割した上で別のプログラムで解かせたり、別スレッドとして立ち上げて最
後にデータをまとめる方法になると思いますが、これは最小限のサポートがあれば既
存の方法でカバーできる範囲でしょう。
付け足しになりますが、socketで書くのとMPIで書くのとでは雲泥の差があります。
送れるメッセージは単純ですが、その制御ではかなりのことをしてくれますので。
また機種依存性が低く、2CPUのLinuxのMPICHで開発してSolarisクラスタでリコン
パイルしても大抵動いてくれます。
まあHPCで性能の鍵になるのはノード間の通信であってOSだけではどうしようもない
(逆にハードだけでも意味ないですが)ので、MPIやOpenMPライブラリを実装した
だけではHPCを名乗れないだろうとは思います。
また最近のHPCユーザは自分ではプログラムを書いたりチューニングすらもしない
ことが多いのでMicrosoftの開発環境でFORTRANをそのままコンパイルできるよう
にはする必要がありそうです。(FORTRANはサードパーティに任せるのかな?)
個人的にはNTカーネルは十分安定しているのでMPIが使えるようになってヘッドレス
環境で管理でき、ロードバランシングがうまくいけば使い物になると思います。
とはいえ既存のOSからの利点、というのはよく見えませんが。
kaho
地球シミュレータ以降 (スコア:1)
専門家でありませんが、今の計算は1セットの方程式を均一な格子の上で特く問題だと思っています。でも、台風のところはもっと細かく計算しなければといってぐしゃぐしゃな格子を使ったり、水が水蒸気から雲や雨になるところを別種のプログラムと合体したりと、問題は複雑になる方向と推察します。
その時にFotran77+MPIプログラムに新しいプログラムを建て増しするのか、SOAPがもとで均一な高速計算をしたいところだけMPIプログラムを使うのかに分かれそうに思います。HPCクラスタでwebサービスを動かしているとは聞かないんですが、今盛んに作られているクラスタはそんなに通信が速くなさそうだということと、それでいてソフトウエアの開発に人数が投入されてるらしいとも聞きます。地球シミュレータを超える機械が出てきたときに、ソフトウエアも様変わりしていてびっくりする、ということになるんじゃないでしょうか。
Re:地球シミュレータ以降 (スコア:1)
> 水が水蒸気から雲や雨になるところを別種のプログラムと合体したりと、問題は複雑
> になる方向と推察します。
ぐしゃぐしゃだったら格子じゃないですね。(笑)
私も気象シミュレーションには全く明るくないですが、別プログラムを用意して、なん
ていう方法をとったら一番性能の悪い部分がボトルネックになるのは見えているのでそ
のようなモデルはあまり相手にされないでしょう。
マシンに対する最適化の部分ですらstate-of-artなテクニックが要求されるのに更にモ
デルからして複雑で実装すること自体がstate-of-artだったら誰にも検証できなくなっ
てしまいます。
そういえばHPC分野で長く使われてきたコードがバグがあって結果が正しくないと最近
分かったとか何とか・・・
> HPCクラスタでwebサービスを動かしているとは聞かないんですが、今盛んに作ら
> れているクラスタはそんなに通信が速くなさそうだということと、それでいてソフ
> トウエアの開発に人数が投入されてるらしいとも聞きます。
それは各ノードがウェブサーバーまで動かしていたらロードバランシングの予測が全く
できなくなってしまうので非現実的だからです。
現在作られているクラスタは最低でもInfiniBandクラスのネットワークだと思いますよ。
Linuxクラスタなどでネットワークがそれほど早くないのは早いネットワークを使うと
ノードにコモディティを使った利益を軽く打ち消してしまうほどコスト高になるからだ
と考えて良いかと。電源やら空調やら、加速度的にコストがかかってしまいますから。
それを補うためにはできるだけ相互依存性を低くした計算モデルにしたり、そのシス
テムを外部の人も使えるようなフレームワークが必要なのでソフト開発が重要だという
意味かと。
kaho
Re:それは、 (スコア:1)
むしろLinuxがXもろとも固まってしまう場面に遭遇する方が多いけど、まあこれはあっしのスキル不足ってことで。
そういう意味ではWindowsは「あまり良くわかってない人」にとっては。ある程度安定したOSになりつつあるんじゃないスかね?
Re:それは、 (スコア:1)
ずっとWinアプリの開発していますが、
2000の時に見たことあったかなぁ・・。
XPからは全くないですね。
と言う感じですね。
NTの時は時々真っ青になってたけど。
自動再起動と背景色変更 (スコア:1)
Windows Update後、休止状態が利かなくなったことがあります。
「コントロールパネル」-「システム」-「詳細設定」-「起動と回復」の設定でチェックボックスをはずして、ディスプレイドライバが原因と判り、直せましたけどそのまま「ナゾの再起動」を繰り替えしている人も居そうです。
Re:それは、 (スコア:1)
うらやましい限りです。
USBドライバ作ったときは、メモリを開放しないで終了するとすぐにBSODでした。
また、DDKのサンプルのBULKUSBのせいかわからないですが、通信中にケーブル引っこ抜くとBSODになるドライバをたまに見かけます。
これ [www.otto.to]とか、これ [ftdichip.com]とか。
Re:それは、 (スコア:1)
ブルースクリーンよく見てますね。
ハードがらみの例外には弱いようです。
Re:それは、 (スコア:0)
Re:それは、 (スコア:1)
NT4.0からRing0ということですよね?
Re:それは、 (スコア:0)
起動時に30パーセントぐらいの確率でブルーバックになってくれます。
BIOSに問題がありそうなんだけど、アップデートはされてないみたいなんで、
どうしようかとその都度会社で話題になります。(-_-;
Re:それは、 (スコア:0)
他のOSではどうなのよ?
Re:それは、 (スコア:0)
Win2000/XPでもブルースクリーンとお友達の方はぜひ :
Linux版に立てるWin2Kトラブルシュートスレッド [2ch.net]
Re:それは、 (スコア:0)
2000やLinuxは気合を入れて構築をしたのですが、XPは気合が入らなかったからかなと思ってます。
構成を色
Re:それは、 (スコア:1)
Re:青画面、今でもほぼ毎日見ます。 (スコア:1)
同じカードを Win2000×2台、Win98×2台に導入していて、Win98の方はまったく問題ないのですが、Win2000 の方はどちらもときどき青画面。
特にメールを出す時に発生することが多かったのですが、
NICをRTL8139なノーブランドのに変えてからはまったく問題が出なくなりました。
まあ、Win2000もドライバ次第で不安定になるってことで。
アプリケーションの問題でOSが落ちたことはないですね。
今使っているWin2000機はuptimeが27日目です。
Windows Update したときには再起動しないといけないので
なかなかuptimeを延ばせないのですが…
アイコンのとおり、我々はボーグだ (スコア:0)
あの~ (スコア:0)
"HPC Windows"って何なんですか?
Re:あの~ (スコア:1)
……ああ、よしこさん。シグマリオン4はまだですかいのぅ?
Re:あの~ (スコア:1)
って記事じゃなかったのですか?これは
すっごいお金にならなさそうなのに面白いことするなって
喜んでいたのに..(がっくり
# さすがにID(ぇ
Re:あの~ (スコア:2)
>って記事じゃなかったのですか?これは
とりあえずPocketPCでやるだけやってみた人はいる [spbsoftwarehouse.com]みたいですね。
参考:日本語の紹介記事 [2log.net]
Re:あの~ (スコア:0)
Re:あの~ (スコア:0)
貴重な天然資源ですよ。
Re:日本人の女性は (スコア:3, おもしろおかしい)
意味がわからん…。
多分、外国語→日本語の自動翻訳なので、Excite翻訳(日→英) [excite.co.jp]に投入してみました。
結果: A Japanese woman thinks the man of the No. 1 dust dust in the world.
うーん。やっぱりよくわからん。
そこで、再度投入してみました。(英→日)
結果:日本の女性は、1番ほこりほこりの人を世界で思います。
なるほど。そう言いたかったのか。
そんなほこりっぽい奴のことを思うことないぞ。>女性一同
# 世界中でそんなに思われるなら、いっそほこりっぽくなりたいのでAP