OCNバックボーンが重大障害 103
ストーリー by yasu
single-point-of-failure 部門より
single-point-of-failure 部門より
lazarus曰く、"、INTERNET Watchによると、NTT com大手町ビル内の電源設備障害により、本日(5/31)15時20分より大規模の通信障害に陥っている模様。
「e-VLAN」「プロバイダー向けVoIP基盤ネットワーク」などの一部が停止しているため、OCNのサービスを使用している企業等にも影響が心配される。
なお、最新障害状況は、こちら。"
現時点では,徐々に復旧が進んでいるようだ。
SLA (スコア:3, 興味深い)
Re:SLA (追記) (スコア:2, 参考になる)
Re:SLA (追記) (スコア:1, 参考になる)
Re:SLA (追記) (スコア:1)
Re:SLA (追記) (スコア:1)
Re:SLA (スコア:1)
たしか。。。。。。
Re:SLA (スコア:1)
工事屋さんに損害賠償請求いくのかねぇ。
工事屋さんのミスなら、その工事屋いっこぐらい、
一気にすっ飛びそうな値段の損害賠償請求いきそ
う…。
--- show mpls ldp neighbor
@FreeD (スコア:2, おもしろおかしい)
こんな事になってたのか。
今日は雨で天気も悪いし、電波状況悪いのかなぁ~と
つぶやきながら天井見上げてました。
天井見ても、電波状況わからんて。
Re:@FreeD (スコア:2, 参考になる)
「@FreeD」に通信障害、33万5,000人以上に影響 [impress.co.jp]
Re:@FreeD (スコア:2, 参考になる)
Re:@FreeD (スコア:2, おもしろおかしい)
感 じ 取 る の で す !
Re:@FreeD (スコア:2, おもしろおかしい)
-----
模型部員募集中 [srad.jp]
アレ?と言う声のウエーブ (スコア:2, おもしろおかしい)
いきなり繋がらなくなったので隣の人に声を掛けましたら、
「あらあらあら?」と言う声がウエーブのように職場を駆け抜けました。
最初、会社のProxyが転けたんかと思い、ネットワーク管理者の所に行きましたら
(事実、良く転けてる)、NTT大手町ビルのバックボーンに障害発生のFAXが届いてました。
明日から稼働予定のシステムをチェックしていた担当者は、
頭抱えてました(^_^;)
======= nandabe =======
Yet another 障害情報 (スコア:1, 参考になる)
Re:Yet another 障害情報 (スコア:3, 参考になる)
以下他のメディアへのリンクです。
ITmedia [itmedia.co.jp]
Impress INTERNET Watch [impress.co.jp]
Ascii24 [ascii24.com]
読売新聞 [yomiuri.co.jp]
Re:Yet another 障害情報 (スコア:2, 興味深い)
自分の会社が契約しているところでも、過去に二度程落ちました。
その施設は電源から回線まですべて二重化されているのですが、
ひとつの上位ルータが「中途半端」に壊れたため回線断が検出できず
回線が切り替わらなくて、その下に繋がったラックはすべて全滅しました。
別の事例で、とあるプロバイダでもロードバランサがホットスタンバイしていたのですが、
常時稼動の方の落ちた事をなぜか検出できず、接続が切れました。
今は複数回線から多面的にチェックする事で迅速に原因が掴める
環境が整いましたが、機械的な二重化は信用ができないと考えています。
RAID1のHDDが同時死亡した時にも眩暈がしました。
OCNユーザーですが (スコア:1)
一般ユーザー向けのサービスには影響出てないor復旧したのかなぁ...
よりによって電力系統か (スコア:1)
電力会社からの供給は2系統で確保しても、内部で冗長化されてないと意味ないという典型ですね。
(UPSも然り。)
Re:よりによって電力系統か (スコア:1)
内部も多重化されていると思います。
私が知っているお客さんは、24時間365日稼働している設備のため停電ができないので
点検作業のときも活線作業しています。
電路の絶縁抵抗も測れないので、漏電電流で代用していたり。
とは言っても、供給している機器の電源の入り口は一つなので、電源を供給している
配線用遮断器が過電流や漏電で切れたりすると当然給電されなくなり停止に至るでしょう。
# 今ごろ、電気屋さん、盤屋さんは大変かも。
# 人ごとじゃないかもだけど ID
Re:よりによって電力系統か (スコア:1)
点検の時には、片側だけ落としてもらう。
大手町あたりだと、当然やっているでしょうが。
人的ミスなのかな。
Re:よりによって電力系統か (スコア:1)
たとえば1Uに乗っかるタイプのスイッチは大抵AC入力が1系統なので、 冗長化したくてもスイッチ単位で冗長化しなければなりません。
あ、Ciscoとかのスイッチ/ルータ類についてる、DC入力端子とAC入力端子って冗長化として併用できるのかな…?
そもそもDC入力端子を使ってるラックまず見ないんだけど…なんでだろ
# rm -rf ./.
Re:よりによって電力系統か (スコア:1, 興味深い)
前に勤めてた「計算センター」は、汎用機の電源はふたつの変電所から別々に引いてたよ。
一度だけ、変電所のレベルのトラブルで付近一帯が停電しても、マシン室だけは生きてた。
Re:してないわけがない (スコア:2, すばらしい洞察)
そこまでやっててもなお壊れたのは、おそらく装置に近い方の
ケーブルか、分電盤あたりだと思います。
Re:してないわけがない (スコア:3, 参考になる)
あたりだそうです。 [ntt.com]
Re:よりによって電力系統か (スコア:5, 参考になる)
単に落ちたブレーカーを上げたりしたら(故障回路に無理に電流を
流すハメになり)、もっと上位を吹っ飛ばす可能性がありますし。
本当、現場の皆さんお疲れ様です。がんばって下さい。
#Nじゃないけど通信会社の中の人なのでAC
Re:よりによって電力系統か (スコア:1, 参考になる)
そりゃ,時間かかりますよ.
ちなみに基幹のビルだから現場到着までのtime-lagはほぼないと思うのですが………
電源って、アキレス腱だなぁ (スコア:1, 参考になる)
さほど古くはないのですが、IT化により(もともとなかった)PCやプリンタ等が
電力をいっぱい食べるようになって、(景気低迷も手伝って増やせない)電源
容量にゆとりがなくなったからです。
古い工場や事務所などは類例が多い気がします。
# 現職場も、決して少なくないテーブルタップは常に満杯...
Re:電源って、アキレス腱だなぁ (スコア:1)
うちはスーパーOCNだったが・・・・ (スコア:1)
うちはスーパーOCN(イーサ)ですが、アークスターの
IP-VPNで基幹系を組んでいたところは大変だった模様。
折りしも月末で・・・・
ここからは、20:35 前後に復旧のようです。
内部ネットはK社のIP-VPNで良かった・・・・
Re:うちはスーパーOCNだったが・・・・ (スコア:1)
MacOS X の「リモートサイトからまったく応答がありません.電話番号を確認してください」ってダイアログに苦笑してしまいましたが.
みんつ
最近はコストダウンで点検の質が落ちているかも? (スコア:1, 興味深い)
停止できない共通部分で障害が発生したのかも。
(ただの憶測です)
点検はアウトソーシングして、今まで直営で点検してきた技術屋さん
は他社に出向させて、トラブル時には手が出ないと。
。。。いうことなのかな?(本当に憶測)
いまごろでたのか。。。。 (スコア:1)
自分も16:00すぎに影響を受けたのできがついてたんだが。
ところで、外務省などお国のホームページも見れなくなってたよな。
Re:いまごろでたのか。。。。 (スコア:1)
……いろいろな意味で(笑)
ドコモeサイト(パソコン版)まで… (スコア:1)
パソコン版のドコモeサイトで料金チェックしようと思ったら、こんな障害が起きていたとは思いませんでした。
早く他のサービスも復旧を急いで欲しいです。
Super Souya
止まらなくてあたりまえ (スコア:1, すばらしい洞察)
だいたい何でビルひとつ死んだくらいで、@Freedの全回線が死んだりするのやら・・・
--
暴言なのでAC
Re:止まらなくてあたりまえ (スコア:1, 興味深い)
上位回線の相互接続はIXなどで知られているけど
下位回線の相互接続はあまり知られていないな
AS番号とかeBGPとかいう仕組みがなくて結構大変
Re:止まらなくてあたりまえ (スコア:1)
ネットワーク構成でないと無理, と言ってみる.
# 広域で落ちたいいわけにはならないけどID.
Re:だのクラッカー (スコア:1, すばらしい洞察)
ネットワークが東京で落ちたら、障害が全国に及ぶってこと。
今年は大丈夫だろうけど、去年、冷夏という天候に救われずに
首都圏大停電なんてなったらどうなったかと思うとゾッとします。
ネット銀行なんかは大丈夫なんですかね。
月末の金融関連処理ができなくなったら…。
Re:だのクラッカー (スコア:2, すばらしい洞察)
重要なIXのいくつかは大手町にありますし、いろんな大企業やISPが基幹に使用しているデータセンタがありますので。
# KDDIやNTT DATAの大手町ビルが落ちたら…(恐
# rm -rf ./.
Re:だのクラッカー (スコア:1)
Fiberをハサミで切り刻み(抜くだけだとさせば復旧しちまうので) 徐に監視カメラにピースをし、
その足で羽田に行き海外逃亡 南の島で青い空みて暮らすぞ
っていってましたけどね いや絶対やりませんし宝くじ当たりませんが
「歴史の教科書に名前が残るレベルのことがしたいって方は一考あれ (勘弁
Re:だのクラッカー (スコア:1)
お願いだから、残されたものを窮地に陥れないで.. (;_;)
Re:だのクラッカー (スコア:1)
ジェット機が突っ込んだらすごいことになりますわな。
そうでなくても爆弾でビル爆破されりたしたらもう目も当てられません。
今後の (スコア:1)
その対策がスラド辺りに流れてこないだろうなぁ~
フォローのタレこみ希望!
Re:回復へ向けて (スコア:1)
私もAirH"が限界なので、6時半には帰ってきましたが、その後も変わらず駄目なようです。
まいったもんだ。(汗)
以前 (スコア:1)
暴れた。結果、窓が割れた・・・
2枚以上であったに違いない。
-- gonta --
"May Macintosh be with you"
Re:今日、会社でメール、Web共に一時的に使えなくなり (スコア:1)
ネットワークが使えないと仕事にならないので、とりあえず飲みに(ぉ
んでもって明日会社行ったら、その"申請等の業務"が待ってると……
Re:つながってあたりまえ (スコア:3, すばらしい洞察)
千葉ニュータウンや梶ヶ谷や池袋や田端に設備を分散させてますし
NTTレベルの冗長かけてますから、ここまでの障害は起きない・・・と言われてます
バックボーンに借り物のEther使ってるYBBには無理でしょうが
ところで、勘違いされている方がいらっしゃるようですが
JTの株はSBが所有することになるだけで、YBBに吸収されるわけじゃありません。同格の子会社になります。
取締役の異動はあるでしょうが、執行役の異動はありません。
(JTは委員会等設置会社ですので、取締役が経営そのものに口を挟む事は出来ません)
法人向けはJT経営陣の独立性がそのまま維持されることになってます。
Re:危機管理対策室より (スコア:2, おもしろおかしい)
エサ代どのくらい掛かるかな?
#激しくオフトピ
======= nandabe =======
Re:危機管理対策室より (スコア:1)
Re:まぁ今回の件で「あれだな」と分かりました。 (スコア:1, 参考になる)