そこかっ!部門より。
あるAnonymous Coward 曰く、
朝日新聞の記事によると、14日に全日空の全国各地の空港カウンターにある端末が一斉ダウンし、多くの欠航や遅れが生じた問題で、原因はシステムの一部機能の「有効期限切れ」と分かったそうだ。欠航で宿泊を余儀なくされた客らへの費用負担は、約2億円になるとのこと。同社は社長ら役員10人の1カ月の報酬を、10~50%減額する処分とした。
ANAによると、問題があったのは同社の「データセンター」(東京都)にある「端末認証管理サーバー」で、全国51空港にある1556台の端末などを管理しているが、このサーバーのデータを暗号化する機能の有効期限が、市販時の初期設定のまま「3年」(2008年9月14日午前1時44分まで有効)と設定されていたため、14日未明からシステムが動かなくなったのだそうだ。サーバーの導入は2005年で、当時の搭乗システムではデータを暗号化する機能を使っていなかったため、有効期限の設定は市販時のまま放置された。昨年9月に空港での搭乗手続きを簡素化する新システムが導入された際、個人情報を保護するためデータを暗号化するサーバー機能を使うことになったが、その際、あと1年に迫っていた有効期限についてサーバー管理者からの明確な引き継ぎはなく、チェックし損ねたという。
更に昨年5月に大規模な同様のシステム障害を起こし、コンサルタント会社から複数のシステムの組み合わせや更新により様々な問題が起きることが指摘されていたが、対策として生かせなかった。ANAのIT推進室長は「きわめて初歩的なミス」と謝罪。今月中に運航システムを含む全システムについて有効期限などの問題がないか総点検するそうだ。
本件について、全日空からプレスリリースが発表されています。
システムの問題もあるだろうが (スコア:1, すばらしい洞察)
トラブルは必ず起こる物なんだが、その為の準備なんぞはコストダウンの狭間に消えてしまっているみたいだし、
社員の行動としても「早く直さないと」ってのは感じられたのだけど、「手間がかかってもお客様への対応をする」って点は余り見られなかった。
コメントを書く
Re:システムの問題もあるだろうが (スコア:3, おもしろおかしい)
コメントを書く
親コメント
予定表アラームで解決するのでは (スコア:1)
コメントを書く
Re:予定表アラームで解決するのでは (スコア:4, 参考になる)
http://itpro.nikkeibp.co.jp/article/NEWS/20080918/315052/ [nikkeibp.co.jp]
どうやら、認証切れが発生することは「共通認識」だったものの
(共通認識だったがゆえにかもしれませんが)
「データセンタ担当者がやるだろう」と思いこんでしまっていたとのこと。
このような思い込みが原因であれば、アラームメールが飛んできたとしても
放置してしまうかもしれません。
いずれにせよ、「明らかと思っても確認はしておけ」という話なのでしょうね。
-----引用ここから---------------------------------
有効期限切れを2回防げるチャンスがあった」(佐藤室長)。
2度のチャンスの1回目は、2005年のサーバー導入時である。
当時から有効期限の設定を初期設定から100年後など影響が及ぼさないように
変えておくべきだったと話す。
有効期限切れを防げたかもしれない2回目のチャンスは、
暗号化認証機能ソフトを新たに導入した業務端末の認証用に使い始めた2007年9月。
データセンターで認証サーバーを管理する担当者と、端末を設計する担当者は、
実は、有効期限が残り1年間しかない暗証キーを使うことを認識していたという。
両者の打ち合わせの中で書類で有効期限の情報は共有していたという。
「(端末の開発担当者は)データセンターの担当者が更新するだろうと
思い込んでいたようだ。
-----引用ここまで---------------------------------
コメントを書く
親コメント
Re:予定表アラームで解決するのでは (スコア:4, すばらしい洞察)
これは「担当者のミス」とか「担当者の確認ミス」ではないと思います。
どういうもの上に自分達が提供するサービスが成り立ったいるか理解出来てない、管理できてない。
マネージメントのミスと思いました。
コタツ出したら負けかなと思ってる。 つ [twitter.com]
コメントを書く
親コメント
Re:予定表アラームで解決するのでは (スコア:2, すばらしい洞察)
証明書無しで復旧させたんだろ。
コメントを書く
親コメント
Re:予定表アラームで解決するのでは (スコア:2, 興味深い)
コメントを書く
親コメント
Re:予定表アラームで解決するのでは (スコア:2, 参考になる)
ウェブ系システムのサーバ証明書、ウィルス対策ソフトの契約更新、
サーバやネットワーク機器のサポート契約、DB上のカレンダーマスタデータの追加、などなど
いずれのケースも、開発チームが開発の過程で購入や契約を手配した後、
運用中に更新が必要となるモノや契約を、過不足なく保守・運用チームに引き継げていないのが原因でした。
簡単なことのようですが、各チームが別会社であったり、契約者がクライアントであったりすることも多く、
なかなか一筋縄ではいきません。
この手のトラブルを防止する上で最も難しいのは、
更新しなければならないモノや契約を洗い出して把握することと、
その更新業務の責任者を明確にすることではないでしょうか。
把握していたのに更新を忘れたのであれば、それはマヌケすぎて救いようがありませんが…。
コメントを書く
親コメント
Re:ちょっとまて (スコア:1)
とりあえずここ [asp-kk.co.jp]かな?
----------------------------------------
You can't always get what you want...
コメントを書く
親コメント
ごときというけど (スコア:1, おもしろおかしい)
機嫌が悪いとキレてアクセス拒否する生物もいることだし・・・
# ほにゃらら心と秋の空
コメントを書く
親コメント
Re:本当に初歩的なのか? (スコア:2, すばらしい洞察)
きわめて初歩的なミスと言ってるんだと思うよ。
車の免許取るときに「だろう運転はダメだよ」ってみんな言われているはずなんだけど、意外とやっちゃうもんなんだよねぇ。
コメントを書く
親コメント
最近の若い者は… (スコア:2, おもしろおかしい)
それが今じゃ、「やらないか」と言われればホイホイついてきちまう技術者ばかり。
いいのかい?ワシは「有効期限切れ証明書」も「オレオレ証明書」も使っちまう男なんだぜ?
(いいんです、警告メッセージが表示されるけどセキュリティ上の問題はありませんから…)
アッー
コメントを書く
親コメント
Re:最近の若い者は… (スコア:4, すばらしい洞察)
開発に比べると、保守は軽く見られがちな傾向はあると思いますね。
保守系の格言だと他にもこんなのが。
「能ある鷹はさっさとタカ飛び」
「立つ鳥後は任せた」
「一寸のバグでも五分以内に開発担当呼び出せゴルァ」
コメントを書く
親コメント
Re:最近の若い者は… (スコア:2, 参考になる)
たしかイタリアの空港で、空港内のジェット燃料備蓄が0になって空港が機能しなかったという問題が起きてましたよね。
原因は、管理部門が存在せず、いつも誰か気がついた人が発注してた事で、このときは誰も発注してなかったからだったとか。
管理部門が存在しなかったっていうのも勿論だけど、21世紀にさしかかろうって時期(問題発生は1999年)までこれで運用できてたのが凄い。
コメントを書く
親コメント
オレに銃を撃たせろ (スコア:4, すばらしい洞察)
日本の開発現場ではマネジメントが機能しておらず、今までも担当者や責任範囲が
明確に決まっている方が珍しかった。それを「現場に臨んでは臨機応変」と現場の
独断と超法規的処置で当たることで、なんとか凌いできた。
最近は現場の人間が短期間の派遣や契約社員などばかりで、上からの明確な指示も
情報もないままに、上からの指示を待たずして現場の独断で動くことは一層難しく
なり、今までなら現場の人間が水面下に押さえつけてきた問題も表面化することも
多くなったというだけでは。
コメントを書く
親コメント
Re:オレに銃を撃たせろ (スコア:3, おもしろおかしい)
コメントを書く
親コメント
Re:ちょっとまて (スコア:2, 興味深い)
しかし認証の期限切れ、恐らく証明書の期限切れだと思いますが怖いですね。
なまじ最初に1年だけ動くなどというものが添付されているので同じ障害が多発しています。
SIベンダの某社ではあまりの多発に耐えかね全ての過去のプロジェクトにおいて証明書の利用とその期限を洗い出したほどです。
コメントを書く
親コメント
Re:バグじゃないよな (スコア:1)
コメントを書く
親コメント
Re:「きわめて初歩的なミス」 (スコア:1, すばらしい洞察)
いや、それが運用管理責任者に「現状存在する問題」として伝達されていれば防げたものだと思うのだが。
現場担当者が触った時のみ認識しているなんてのは、運用上は「認識して居る」とは言わない。
結局は上下間で情報の共有が為されていないで良しとする体制自体の問題だよ。
コメントを書く
親コメント
Re:「きわめて初歩的なミス」 (スコア:2, すばらしい洞察)
辞書を編纂するのは大変だし高度なことだけど、
「スペルミス」のような「極めて初歩的なミス」は
初歩的であるが故に根絶は難しい。
コメントを書く
親コメント
Re:バグじゃないよな (スコア:2, すばらしい洞察)
コメントを書く
親コメント