パスワードを忘れた? アカウント作成
5420 story

早稲田大学のWeb履修登録システムに障害 174

ストーリー by GetSet
負荷試験はみっちりやろう 部門より

saitoh 曰く、 "朝日新聞によると、 早稲田大学では今年度から 履修登録をWWWで行えるようにしたのだが、トラブル続きで結局 使用をあきらめ手書きによる登録に切り替えたとのこと。 これがお詫びのページ。 一部の学部では授業開始を1週間遅らせざるを得なかったという。
トラブル発覚が運用開始の3月20日、その後アクセス集中に対する 対策は行ったものの他のトラブルも起こって運用をあきらめたのが28日とのことである。 朝刊には載ってなかったがasahi.comに載っていた。いまのところ他の新聞のWWWページにはみあたらない。
私の母校では、4月の最初の1~2回の講義は受講登録が未了のまま 行うことになっていたので、受講登録システムにトラブルが生じたから といって講義開始を遅らせる必要はないはずなのだが、早稲田はどういうシステムだったのだろう?"

大学が発表した経緯を読むと、ソフトウェア的な障害のほかにハードウェア故障も重なるなど、運営側もてんやわんやだったらしいことが見て取れる。試験不足が招いた事故だったのかもしれないが、振り回された学生さんは大変だったことだろう。
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 経過補足 (スコア:5, 参考になる)

    by Anonymous Coward on 2003年04月03日 17時20分 (#292203)

    早稲田の学生です。

    システム内部に近い人間ではありませんが、利用者側の立場から、今回の件でいくつか付記します(参考になるか分かりませんが)。

    経過としては、登録が始まった日の直前(深夜)から、ポータルログインシステムが重くなり始め、未明には完全にアクセスできなくなりました。
    そのため、大学側では当初攻撃を受けたものと判断して、対策を立てたようです(システムの防御強化と攻撃元の探知等)。その日の午後大学で講義要綱を受け取りに行った際には、こうした説明を書いた資料が同梱されていました(このあたり、対応が実に手際がよいと思ったのですが)。

    その後、数日後にいったん平常通り申請システムにつながるようになったものの、不安定な状態は続き、断続的にのみアクセスが可能になった後、アクセスはほぼ不能になりました。
    この間、ログインシステムにはアクセスできるものの履修申請システムにはアクセスできなかったり、ログインシステムにすらつながらなかったりと、状況は様々でした。また、お詫びのページには載っていませんが、学外からのアクセスを制限(学内からのログインのみ許可)するなどの対策も取られましたが、状況の改善には至らなかったようです(端末室の全端末のブラウザがリプライを待っている光景はなかなかすごかった)。
    そしてお詫びにのページにもある通り、28日早朝にシステムの利用断念が決定され、直ちに全学生に緊急のメールが配信されました。

    このポータルシステムでは、今年度からメールも使うようになったのですが、こちらのシステムは(他のシステムも落ちた)初日を除いてほぼ正常に動作していました。ひやひやしましたが、これが落ちた日には、もう・・・。

    このシステムは昨年度から段階的に取り入れられてきたのですが、学生への周知と、(申請期間をずらすといったような)対策が欠けているのが、以前から気になっていました。案の定、という感がぬぐえません。

    /* 関係者なので、ID取って以来初めてAC */

  • 運用のノウハウ (スコア:4, 参考になる)

    by take0m (4948) on 2003年04月03日 12時10分 (#292028) 日記
    Web化するだけじゃだめなんですよね。
    こういう期限付きのエントリをWebで行う時は、ピーク時の負荷を下げるために運用方法を考えないと・・・
    例えば学部毎に申し込み開始と終了を変えて、それぞれをダブらないようにスケジューリングします。もちろん学部毎の人数も考慮して最適化しないと・・・

    完全にOpenな小売りのサイトとかだとどうしようもないですけど、こういうクローズドな会員を対象とするようなシステムだと運用でいくらでもカバーできるはずなんですけどね。

    今回はそれ以前の問題なのかも知れませんけど・・・
    • by saitoh (10803) on 2003年04月03日 12時29分 (#292045)
      「接続が集中、システムが動かなくなった。この問題が解消された後も、画面の表示が切り替わるのに時間がかかったり、科目を選んでも登録ができなかったりするなど、不安定な状態が続いた。 」 とあるので、負荷集中問題以外にも何か欠陥があったもよう。
      ちなみに、別の某大学でもピーク負荷に履修登録システムが耐えない という問題があったと聞いたのだが。。。 開学2年めで4百数10人×2しか居ないのにピーク負荷に 耐えられないというふざけたシステムだったそうな。
      親コメント
      • by Anonymous Coward on 2003年04月03日 15時42分 (#292162)
        タレこみ記事のもうひとつのリンク先、総長発表によると
        事前の予想をはるかに超える接続要求が学外からあり、ポータルシステムにログインが不能となった。
        その後、(ポータルログイン問題)解消後も~、と続けられていて、
        (接続要求問題)解消後も~、となってる訳ではないから
        これは結局の所やっぱり接続要求量を見誤ったつう事ではないかな。
         
        無論、別件報告の物含めてソフトに問題は有っただろうし、
        サーバ2台壊れ引き続きロードバランサも壊れさらにルータ設定?もおかしかったというハード障害も
        どこまで本当だか解からないが有ったのかも知れないけれども。
         
        でもむしろそれよりは4万4千人からが学外から一斉に接続可能なシステムで
        端末制限ないし学部別、学年別に受付時間分ける等の運用工夫が全然見えてこないところが
        ツリー元と同じく気になるところ。そういうのは今回全く無かったんだろか?
        さらに言えばどんなに人数で計算して負荷に余裕持たせても、これだけの学生が
        上手い例えが見つからないけれど列作って順番に毛を刈られるおとなしい羊の様にサイト上で
        履修登録に必要最小限の動作だけして済ませてられると考えるのには無理あると思うのだけどなあ。
        学生がそうでないと誰がそれを保障するのだろ^^;
         
        これまた上手い例えではないけど監視なしで試験実施すれば何が起こるか自明なのと同じレベルで
        一斉解放でなく事前の運用ルール工夫が必須な場合だったと思うけどなあ。
        いんたあねっとでこんぴゅうたあだからあいていで、いつものその辺気にせずに何でもOKとか
        考えてたのでは無いとは思うけれど。
        実際の所はどうだったんだろね。
         
        #まあ他分野でどちらかといえば競合企業所属なのでAC
        親コメント
        • このシステムの名称で使っている「プロトタイプ」の意味は「基本型」ということなんでしょうが、どうみても「試作品」の域を越えていないような…。

          ところで、この程度の「プロトタイプ」を開発する期間を見積もるとすれば、いったいどのくらいになるものでしょうか?
          門外漢なのであてずっぽうですが、NTT-COM や NEC だからそれなりの頭数は確保できるとして、半年ぐらいでしょうかねぇ。まさか1年はないですよね。
          --
          -- 環境負荷に配慮して言葉のオブラートを少なめにしています --
          親コメント
  • H大学でも (スコア:4, 参考になる)

    by nox_dot (11614) on 2003年04月03日 12時16分 (#292034) 日記
    H大学でもWEBベースの履修登録システムが、去年の秋から動き出しましたが、やはりアクセスが集中してトラブルが発生したので、メディアセンター(図書館の中にある)に設置されているPC端末のみにアクセスを制限し、さらに学年によって利用できる時間を分けたりして対応していました。さらにメディアセンターのスタッフと学生ボランティアが人力で対応して、負荷を分散させていたのです。
    履修届の提出締め切りは2週間ばかり延長されましたが、授業開始は予定通り行いました。(実は、僕はこの延長のおかげで致命的な登録忘れミスを修正できたのですが・・・)
    人気の教科は抽選が行われたり、抽選にはずれた人は別の特定の授業の抽選時に優先権があったり、思ったより複雑なシステムを作っていたようです。
    事前の負荷試験も何度かやっていたみたいなのですが、締め切り直前の駆け込み登録時には、相当の負荷だったのかもしれません。
    • by Fuyuki (221) on 2003年04月03日 12時27分 (#292044)
      抽選なんかされてみんな怒らないの?
      きちんと選抜試験をして欲しいという要望はないの?

      「大学の授業」でしょ?なんのために入試を受けて入ったのさ?
      苦労して試験に受かった後が抽選じゃぁ…。

      いっそ、入試も抽選にしたらどうよ?
      --
      # 数学は科学の女王にして奴隷
      親コメント
      • 確かに抽選で外れて、3次登録でもコマが埋まらないのは面倒だけど、
        もしどうしても受けたい講義があればモグリで受ける方法もあるし。

        >きちんと選抜試験をして欲しいという要望はないの?
        きちんとされたら、困る学生が増えるかも。
        大学に勉強しに行くか、遊びに行くかの価値観の違いかな。
        --
        I'm out of my mind, but feel free to leave a comment.
        親コメント
      • by nox_dot (11614) on 2003年04月03日 13時08分 (#292090) 日記
        確かに、抽選に対する不満はありました。

        抽選になる代表例として、同じ授業が複数の異なる時限・曜日・教室に開催されているような授業で、あるコマの希望者が多いときは抽選によって決めていたと思います。もちろん、大きな教室に変更するなどして対処できる場合は、そうなっていました。

        そういえば、一般教養授業には(不評の)「パッケージ教科制度」というのがあって、10個ぐらいの授業が文系・理系にまたがってパッケージになっていて、複数のパッケージの中から、1つのパッケージを選んで、パッケージ内の10個ぐらいの授業から、好きな6つ選ぶという制度があり、このパッケージ分けも、人気のパッケージは抽選でした(僕ははずれた)。これが履修届のWEB化に際し、どのように導入されたのか忘れてしまいました。(あまりにも不評だったので、この制度自体がなくなったのかも)

        ともあれ、せっかくなのでいろいろな授業を取ろうとすると、おもしろそうな授業が同じ時間に開設されていて、結局4年間とれなかった授業もありました。もちろん、担当教官に熱望して、授業の時間を変えてもらうこともありました。(他の人には迷惑だったかもしれませんが。)抽選がなくても運悪くとれない授業は結構あります。

        ただ、学部によっては抽選によって履修計画が結構狂っていた人がいたような覚えがあります。何人かは怒っていたかもしれませんが、(パッケージ教科制度を除いて)おおむね平穏に振り分けられていました。

        関係ありませんが、総合大学だったので、他学部の専門教科にもエントリーできるのがおもしろかったです。他の大学でも、他学部の専門教科って参加できるのでしょうか?キャンパスが離れていると移動が大変かもしれませんが・・・。
        親コメント
        • by KyaTanaka (6370) on 2003年04月03日 15時21分 (#292152) 日記
          私の出身大学は理工系onlyですが、実験などの定員に上限のある科目以外は大概は他学科の講義も受講可でした。

          他学科の単位を卒業に必要な単位数として計上出来ない学科もありますけど、それは取れるか取れないかとは全然別の話。
          --
          KyaTanaka
          親コメント
      • by crayfish (9255) on 2003年04月03日 18時45分 (#292254)
        僕の大学では
        「多いなぁ。学生番号が奇数の人。お疲れさん」
        てな具合でいきなり切る人がいました。
        まぁ、必修で全学年受講可能なのに開講される数が少ないって事自体に問題があったんだろうけど。
        3・4年生は優先権があったので、それが理由で卒業できないと言うことはないのですが。
        親コメント
  • by Anonymous Coward on 2003年04月03日 23時26分 (#292376)
    まず、教学支援システムを捨ててWaseda-netポータルというものを作ったのは、在学生や教職員のみならず校友まで抱き込んで早稲田関係の共通のシステムを作ろうと狙ったためと思われます。
    そして、これらの早稲田関係者に汎用JPのwaseda.jpの付くメールアドレスを1人に1つ付与し、これをログインIDとしたものです。
    また、「ポータル」という名前から想像できるかもしれませんが、大学関連の情報公開や手続等を一カ所に集約したもので、他のシステム(Waseda-netメール・科目履修申請・パスワード再発行者向け情報倫理テストetc.)へのシングルサインオンを可能にし、利便性を追求したものです。

    このWaseda-net関連の責任部署は教務部ITセンターですが、このITセンターは、民間企業に仕事をアウトソーシングしたり、そもそもITセンター職員には民間企業からの多数の派遣社員がいます。これは、主にコスト削減を狙ったものです(もともと学内にも優秀な人間はいますが、人数は少ないわけで…)。
    少なくともWaseda-netメールに関しては明らかにBIGLOBE(NEC)のサービスを利用しています。
    ポータルについても、民間企業に発注して作ったものと考えられます。

    今回の障害は、大学の予算の関係もありますし、開発や運営に携わる人間が、早稲田大学のアクセス量の多さを甘く見積もっていたこともあるでしょう。
    PHPやSQLを使っていますから、プログラムレベルでの出来の悪さがあったかもしれませんし、なにより、負荷を十分に減らしたり分散しきることができなかったのが最大の敗因かと。学外の端末からでも科目登録できるとか、システムを信頼しきった学部側がかなりタイトなスケジュールで登録日程を組んだので、ますます負荷を高める要因になったと考えられます。
    アクセス過多でサーバより先にネットワーク機器が落ちるというのはよくある話ですが、本件の場合、先にサーバが落ちました(そしてネットワークも後を追って…)。サーバの処理能力が、必要とされる処理量に見合っていなかったようです。

    ITセンターの人間が、学内の学生等の利用者の立場を身をもって理解しきれていなかったと思われます。派遣職員多いので。主な開発者も学外なので、必ずしも事情を把握し切れていないと思われます。何年も前から学内で、多くの端末を管理して事務を担当しまた研究もしてきたメディアネットワークセンター(MNC)や、比較的学内事情を理解している理工学部だったら、このような事態は想定できていたはずです。(そう、ITセンターとMNCと理工学部は別々の組織なんです....)
    ギリギリになってもログインID=メールアドレスを取得していない学生もたくさん。パスワード忘れる人もたくさん。ウインドウ開きまくってボタン押しまくっている学生もいたりして。

    3/20に出た「Waseda-netへのネットワーク経由の攻撃について」の掲示は、ITセンターの判断で各学部等に連絡をし、それを受けた各学部等が掲示をしたものと思われます。(早稲田大学は各学部等の独立性が高く、端末室の管轄にしてもバラバラなのです)
    結局撤回されましたが(あとになってアクセスログを詳しく検証したのでしょうか)。
    ログインIDがメールアドレスだったり、旧来の認証用パスワードとWaseda-netのパスワードが異なる等といった要因で、ログインに失敗した利用者が多かったために、ITセンターが不正アクセスと誤認したのでしょう。
    ちなみに、3/20は科目登録開始日であり、また成績発表の日でもあり、両方ともポータルから利用できることになっていました。そんなわけで、3/20 0時ころから、成績が見られるのではないかと多数の学生がアクセスしたものと思われます。

    早稲田大学の科目登録日程ですが、例年から、授業開始前におおむね終わるように予定が組まれています。
    出席を取る授業は、初回の授業から出席簿が教員に渡されます。 学生の人数が多いので、希望する授業がかならずしも取れるとは限りません。抽選になる場合も多々あります。
    ですので、授業開始前から科目登録を行います。
    当然ながら、授業の試聴などという制度もほとんどありません。学生達は、「マイルストーンエクスプレス」や「ワセクラ」などの学生が作っている情報誌を読んで授業内容や単位の取りやすさ等をチェックし、科目登録をするのが、毎年恒例です。

    一番怖いのは、システムがクラッシュしてデータが飛ぶ可能性です。
    今回はデータが大消失とまではいきませんでしたが、一部の学生からは申請したはずなのにできてないという話もちらほら。 マークシートにしても書面で出した場合は、書面さえ残っていれば責任の所在は比較的明確になりますが(たとえばマーク間違いを想像してみてください)、システムのデータが飛んでしまったとなれば、何も証拠が残らない場合が普通ですから...

  • by Anonymous Coward on 2003年04月03日 12時26分 (#292042)
    うちの大学でも、昨年度に同じようなことがありました。

    授業要項の閲覧をWebシステムへ移行したものの、事実上不動。
    授業要項を閲覧できなくては、履修登録ができません。

    そこで、大学側に問い合わせてみると、

    >「今は動かない、としか言えない」

    という訳のわからない回答しか来ず、結局、システムが動作しているほんのわずかの時間に、データをミラーして(周囲に配布して)自衛しました。

    この一件は、公知されることもなく、被害を被った学生側への謝罪もないままうやむやになってしまっていました。

    早稲田はきちんとお詫びするだけマシかな、と思います。

    いつ何時も、中途半端なIT化で被害を被るのは利用者側だということを、提供する側は知っておいて欲しいです。

    # この一件で、大学側にいろいろ文句つけたのでAC
  • by bugbird (4706) on 2003年04月03日 13時20分 (#292093) ホームページ 日記
    う~ん。ガチガチの定番ラインナップじゃん。

    『ほーら、やっぱりオープンソースだとだめじゃん』

    などと (いわれちゃう|誤解される) のが一番いやだなぁ。
    本当の問題は全然別のところにあるんだから。
    --
    --- Toshiboumi bugbird Ohta
    • by Anonymous Coward on 2003年04月03日 14時20分 (#292123)
      この規模だとPostgreSQLは厳しいんじゃないんでしょうか?
      件のシステムですが、科目登録開始2日後くらいに
      vacuumをするためかデータベースの最適化という名目で
      朝方にシステムを止めるようになりました。
      昼間と夜間は混雑してたり落ちたりしてて全く繋がらないから朝方位しかログインできなかったのに…
      親コメント
      • by bugbird (4706) on 2003年04月03日 14時39分 (#292136) ホームページ 日記

        > この規模だとPostgreSQLは厳しいんじゃないんでしょうか?

        確かにその可能性は少なくないと思います。…でも DBMS の
        パフォーマンスってスキーマの設計に大きく依存するもの
        ですから、それなりに配慮して適宜にデータ冗長性をもたす
        などすれば、結構タフに作れるはずなんですよね。

        # 「理想の DBMS」はデータ構造に影響を受けてはならんの
        # ですが ^^;;

        記事を読む限りでは、当初からかなり複雑な処理を一気に実装
        してしまった ( == 上記実装上の配慮を充分に検討する余地
        がない) ことが、充分にスケールできないシステムを作る
        原因となってしまったように思えるのです。
        --
        --- Toshiboumi bugbird Ohta
        親コメント
      • by Anonymous Coward on 2003年04月03日 23時43分 (#292385)
        > この規模だとPostgreSQLは厳しいんじゃないんでしょうか?

        何も考えずに (というか RDBMS がオプティマイズしてくれるものと思って) SQL を書いていると確かに PostgreSQL では厳しくなりそうです。Oracle などの商用 RDBMS はそのあたりの懐が深いんだよねぇ。

        ただ、事前にきっちりプロファイリングして SQL やテーブル構成を最適化しておけば、PostgreSQL でも全然イケると思いますよ。

        // PostgreSQL 7.1 の時代に 4CPU の Xeon マシンで daily 1000万 trans over、
        // ピーク時 200trans/sec over でちゃんと動いてたシステムを知っているので AC。
        親コメント
    • 間に一枚トランザクション・モニタを入れて, キュー長が長くなってレスポンスが落ちたとしても, とりあえずバックエンドの処理が流れるようにするぐらいですかね. データ一貫性を考えるとデータベース部分を分散することは難しそうですし. このスループット保証という考え方は元もとは汎用機で一般的な物ですが, オープン系のWebベースシステムでも, いわゆる大規模高信頼性システムでは多く使われるようになってきています.

      結局, オープンソースであるかどうかというよりも, ベストエフォートなシステムでは対応できない状況が有りうる. あるいは対応させようとすると過度な冗長性が必要になるということだと思います.

      ところでフリー・商用関係なく, Linux用のトランザクション・モニタってありましたっけ?

      親コメント
      • by Anonymous Coward on 2003年04月03日 15時49分 (#292166)
        ぱんだ [nurs.or.jp]
        親コメント
  • 初期の混乱 (スコア:2, 興味深い)

    by shn (7678) on 2003年04月03日 16時55分 (#292192) ホームページ
    # 先週ぐらいにタレこんでRejectされてた奴だ・・・
    # 日本語の勉強すっか・・・

    3月20日に成績発表開始で、その日の午前3時ぐらいにはすでにシステムは飛んでいましたが、興味深いのは一部の主に文系学科で「不正なアクセスが多発したためシステムを停止しました。念のため学生はパスワードを変更してください。」のような掲示があり、想定外のアクセスが来てパニクってた様子が伺えます。
    # もちろんログインできないのでパスワード変更どころじゃないのですが

    早稲田には教学支援システムという、去年まで使えてたシステムがあったはずですが、今年はそれを用いないで全手動にしたのはどういう理由でしょうか。セットアップに時間がかかるとか、プライドとかかな
  • by tateru (12349) on 2003年04月03日 23時28分 (#292378)
    北海道の某情報系新設大学では、新設で学生数が少ないこともあり、かなりパーフェクトなシステムが稼働していましたが、3期正4期生が入学するに従い付加が増加し、近年システムが不安定になってきており問題となっています。アプリケーションが問題なくても、ハードウェアのスペックや運用など、システム全体のパフォーマンスを維持するには重要な要素が複数存在することが、学生の身である私にも明快に理解できました。
  • by 37A (12754) on 2003年04月03日 12時19分 (#292035) ホームページ 日記
    こっち [srad.jp]は大丈夫だよね?

    連携して動くようになってたのかな?
    --

    ----------------------------------------
    You can't always get what you want...
  • 先日、「オープンソースにします」と大々的に発表 [nttcom.co.jp]した学務情報システムWISDOM/Uのことですか?

    失敗知識データベース [srad.jp]にも登録してほしいものです。
    --
    nobuo * Who's gonna die first? *
  • by peaceman1984 (13767) on 2003年04月03日 20時09分 (#292284) ホームページ 日記
    プラズマです。すべてプラズマのせいです。
typodupeerror

私は悩みをリストアップし始めたが、そのあまりの長さにいやけがさし、何も考えないことにした。-- Robert C. Pike

読み込み中...