テレビ向けコンテンツ配信サービスのアクトビラが12月23日午前3:30から
12月24日午後7:30までシステム障害で停止していました。
AV Watchによると、IIJが配信用ビデオコンテンツのほぼ全てを削除してしまったことが原因で、現在も全コンテンツの復旧はされておらず、年内復旧は難しいようです。
私は時々アクトビラを覗くのですが、昨日使おうとしたところ障害に気づきました。障害のお知らせが今日になってから出たりして、広報が後手に回っている印象を受けます。世間的な関心も薄いサービスですし、サービス事業者もあまりやる気がないのでしょうか?
やる気云々つーか (スコア:3, 参考になる)
2) 委託先が対応しないとどうしようもない
3) さらに権利関係コンテンツなので削除したデータの再取り寄せに時間を要する
4) さらにさらに、世間一般では昨日今日が仕事納めなので…
なんてところか。
Re: (スコア:0)
あるいはバックアップをとることすら権利者側から許可されてなかったのかな?
それともバックアップのテープがしわしわワカメ状態になっちゃってたのかな?
もしかしたらバックアップはちゃんとあったけど、動画だからデータ量が膨大すぎてがんばって書き戻しても年内に終わらないのかな?
Re: (スコア:0)
rsync? テープ? スナップショット?
うーむ…
Re:やる気云々つーか (スコア:2, すばらしい洞察)
Re:やる気云々つーか (スコア:3, 参考になる)
通常のメンテナンスでオペレータにシェルコマンドで作業させるのは怖いですね。
さすがに自分がオペレータに任せるときは単純な方式にして、それ以上の操作は出来ないようにします。
おそらく、イレギュラーな作業が絡んだ結果かも知れませんが、ベテランでも自己の技量を過信してポカをするのが非常時です。
自分の記憶や技量を信用しないで、落ち着いて手順を確認して列挙し、コマンド発行の前に指差しして文字列を確認とか、習慣づけてます。
#ミスが皆無とは言えませんが、致命的な事態はかなり回避できるはずです。
新幹線の指令所では、かつては「非常時の手順は記憶するな」と言われていたそうです。
必ずチェックシートにしたがって、手順を確認しながら行うこと、だそうです。
Re: (スコア:0)
linuxだと仮定して、ほぼすべての作業をroot(sudo含む)でやるところも少なくないと思うけど。
少ない経験的には半分以上はそう。
権限委譲、いろいろと設定面倒なんだよねぇ。
# そういう話じゃない?
Re: (スコア:0)
>少ない経験的には半分以上はそう。
うん、そういう所は多いんじゃないかと思う。
そしてそれは
>>そもそも一撃必殺で大量のデータを消せる構造になってる時点でどうかと。
という点で非常に問題の多いやり方です。
要するにダメな会社ばっかりってこと。
それを根性とか愛国心とか竹槍でなんとかしようとするから、
日本のIT業界はダメなんだってば。
Re:やる気云々つーか (スコア:1)
今回障害のあったのはIsilon IQということなので、ディザスタリカバリはSyncIQでのクラスタ間レプリケーション
SnapshotIQでのスナップショット(FS内)。NDMPを使ったバックアップソリューションが選択できます。
Isilon IQの導入事例としてゲームメーカーのカプコンがありますが、ここは「バイオハザード5」の製作にあたってOneFSを信頼し、あえてバックアップを取らないシステム構成にしたそうです。
今回の事故がヒューマンエラーだとしたら、根拠のない自信や信頼に依存しきっちゃうことの恐ろしさを体現してくれたかもですね。
Re: (スコア:0)
秘密ですが、正解です。
この不景気だって時になんて悠長なことを…。 (スコア:3, すばらしい洞察)
「復旧できない」のではなく「何が何でも復旧させなければならない」んじゃないでしょうか。
今アクトビラの新着情報見たら障害の情報が載っていましたが
障害事由:「アクトビラ ビデオ」の配信サーバーに重大なシステム障害が発生し、映像配信サービスが行われなくなったため。
えー。AV Watchのを見ると障害は、12月23日の午前3時30分に発生し、一部サービスの復旧は24日19時30分。障害の理由は、ビデオコンテンツ配信業務の委託先である株式会社インターネットイニシアティブ(IIJ)において、配信用ビデオコンテンツのほぼ全てのデータの誤削除があったため、としている。 [impress.co.jp]
つまり操作ミスによる削除なんでしょ?なら
×行われなくなったため。
○できなくなってしまったため。
×配信サーバーに重大なシステム障害が発生
○操作員による操作ミスでデータを削除してしまい
障害事由:「アクトビラ ビデオ」の配信サーバーで操作員による操作ミスでデータを削除してしまい、映像配信サービスができなくなってしまったため。
だと思うんですが、まあIIJですからねぇ…。
# 大阪のマックのサクラの話といい、なんで最初から正直に言わないで穴を大きくするようなことするのか…。
Re:この不景気だって時になんて悠長なことを…。 (スコア:3, おもしろおかしい)
→ ベテランをリストラ → 初心者が初歩的ミスで全削除
→ 復旧しろ → 初心者なのでサッパリ分かりません
→ 分かる奴を呼べ → リストラしたのでいません
→ 『緊急対策会議』を開いて対応策を検討中
ということだったりして。
#リストラしたベテランに頭を下げるという選択肢は、日本企業にはない。
Re:この不景気だって時になんて悠長なことを…。 (スコア:1, おもしろおかしい)
# ls
新人01 新人02 新人03 窓際01
# shutdown -h now
-bash: shutdown: command not found
Re:この不景気だって時になんて悠長なことを…。 (スコア:1)
がおかしいと思います。
Re:この不景気だって時になんて悠長なことを…。 (スコア:1, すばらしい洞察)
>がおかしいと思います。
全く同感だけど、人事部が理解できるのは年齢と賃金だけなんだよ。
経験が長い人が必ずしも優秀なベテランばかりとは限らないが、
ベテランは経験を積んでいて通常はそれ相応に歳を取っていて、
そして相応に給料も値上がりしている。
技能が見えない人事部からすれば、「高コストなベテラン」一人のクビを切って、
「安価な若手」の派遣社員を1~2人雇った方が『経済的』と考えても不思議はあるまい?
Re:この不景気だって時になんて悠長なことを…。 (スコア:1)
Re: (スコア:0)
まるでうちの会社ですね・・・。
#ずっと少数精鋭でリストラはないけど、ここ10年以上前から給与は上がらなかったし
#賞与は率が年々減ってたし、そのうえに2年前から給与が1割減額に・・・。
Re: (スコア:0)
itojunさんをつぶしたIIJだけにね
Re: (スコア:0)
不景気だ → コストダウンだ残業手当を減らせ → でも仕事は減らさない
→ 中堅が過労 → 「俺,この仕事が終わったらとらば〜ゆするんだ…」
→ フラグ立つ → シングルベルが聞こえてくる → 季節性抑うつ → 辞表も書けない
うわぁぁぁ → 担当者を捜索中
# あれ,ディスプレイが滲んでみえる… そろそろ買い替え時かな?
Re:この不景気だって時になんて悠長なことを…。 (スコア:1, すばらしい洞察)
Re:この不景気だって時になんて悠長なことを…。 (スコア:1)
=-=-= The Inelegance(無粋な人) =-=-=
Re:この不景気だって時になんて悠長なことを…。 (スコア:1)
渇中ってなんて読んで、どんな意味なんでしょうか?
どうしても解りません。
Re:この不景気だって時になんて悠長なことを…。 (スコア:1, 参考になる)
たぶん、操作員もシステムの一部なので、マクドの件ほどは嘘がデカくないです。
AV Watch の記事内容はアクトビラのプレスリリース [actvila.jp](PDF)で出てますね。
このサービスを利用したことがないので、利用者の観点ではないのですが…
業務委託していて、特に補償とか発生するとなると、どこまで委託先の責任かを明確にしないといけない
(本当は契約の段階で分岐点が明確になっているはずなのだけど)わけで、「誰の責任か」ということは
速報・概要の段階ではどうしてもぼかした表現になってしまうものです。そういう意味では、24日の時点で
上のプレスリリースが出ていたのなら、対応としてはまだマシな方だと思いますが、どうでしょうか。
Re: (スコア:0)
Re: (スコア:0)
やや特殊なハードだし本当にただのオペミスなのかな?
すべてのデータというからにはクラスタノードのアレイがふっとんだんじゃないかなぁ(想像)
Re: (スコア:0)
Re: (スコア:0)
新手の… (スコア:2, すばらしい洞察)
知名度が低い場合、このような記事になれば宣伝にもなりそう。
Re: (スコア:0)
DVDレンタルより高いので、積極的に使う気にはなりません。PS3のアニメ配信も他の配信サイトも似たようなもんですが。
何を間違えたか想像してみる (スコア:2, すばらしい洞察)
Re:何を間違えたか想像してみる (スコア:1, おもしろおかしい)
# touch -- -i
# rm -rf *
rm: remove regular file `important.img'?
Re: (スコア:0)
これが意図した動作であることも多い。バックアップ取っていれば修復できます。
本当に怖いのは、カレントディレクトリにある大量の隠しファイルを削除しようとして としたときです。しかもバックアップメディアをマウントしていたり。
慌てて fg するともう一つバックグラウンドで走っていた vi の画面になったり。
対策としては、管理者になる人は練習用の環境で一度経験しておいてください。アッ-
Re: (スコア:0)
ddだのrsyncだのでバックアップしようとしたところ、コピーの方向を
間違えて空っぽのディスクイメージを現用ディスクに上書きしちゃった
とか考えられないかな。
Re:何を間違えたか想像してみる (スコア:1)
ファイルシステムがext3ならね。
何回見ても (スコア:1, おもしろおかしい)
アダルトビデオコンテンツの誤削除に見えてしまう...。
Re:何回見ても (スコア:1)
Re: (スコア:0)
ちゃんと推敲してください (スコア:0, すばらしい洞察)
IIJが配信用ビデオコンテンツをほぼ全て削除してしまったことが原因で、
IIJが配信用ビデオコンテンツのほぼ全てを削除してしまったことが原因で、
どうでもいいじゃん、と思わば思え。
Re:ちゃんと推敲してください (スコア:1)
Re: (スコア:0)
#別AC (個人的には「ああ、なるほどね」という代物)
Re: (スコア:0)
行単位での差分を検知するコマンドは知っているけど、
そういえば文字列での差分を検出するコマンドって知らないなぁ。
何かありましたっけ?
Re:ちゃんと推敲してください (スコア:1)
Re: (スコア:0)
普通になんぼでもありそうな。
Re:ちゃんと推敲してください (スコア:1, すばらしい洞察)
「昨日」と「今日」は タレコミ投稿時点からの相対参照だと思うのですが,
「昨日」が25日で「今日」が26日のことでよいでしょうか。
広報が遅い、というネタフリなのでココ重要だと思うんですが。
Re:ちゃんと推敲してください (スコア:1)
私も「昨日」「今日」がいつなのか気になります。いつなんですか? 運営に問い合わせた方がいいのかしら?
LIVE-GON(リベゴン)
Re: (スコア:0, オフトピック)
妖精哲学の三信
「だらしねぇ」という戒めの心、「歪みねぇ」という賛美の心、「仕方ない」という許容の心
アクトビラって何?と思い・・・ (スコア:0)
皆様お気をつけあれ・・・。
Re: (スコア:0)
Re: (スコア:0)
>大きな音がオフィスに鳴り響いたOrz。
「うるさいぞ!扉は静かに開閉しろ!」というオチかと一瞬思った。
#開く扉
トジルトビラ (スコア:0, オフトピック)
(ぶつぶつ…) http://twitter.com/yumechika
陰謀論 (スコア:0)
一気にサービスが普及すると困る人達が手を回して…
あれ?ノックの音がs