パスワードを忘れた? アカウント作成
43767 story
ネットワーク

アクトビラ、ビデオコンテンツの誤削除により障害発生 62

ストーリー by hylom
rm -rf * 部門より

あるAnonymous Coward 曰く、

テレビ向けコンテンツ配信サービスのアクトビラが12月23日午前3:30から 12月24日午後7:30までシステム障害で停止していました。

AV Watchによると、IIJが配信用ビデオコンテンツのほぼ全てを削除してしまったことが原因で、現在も全コンテンツの復旧はされておらず、年内復旧は難しいようです。

私は時々アクトビラを覗くのですが、昨日使おうとしたところ障害に気づきました。障害のお知らせが今日になってから出たりして、広報が後手に回っている印象を受けます。世間的な関心も薄いサービスですし、サービス事業者もあまりやる気がないのでしょうか?

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by mr_spock (908) on 2008年12月26日 13時46分 (#1481209)
    1) 緊急対応時のフローがしっかりしてない
    2) 委託先が対応しないとどうしようもない
    3) さらに権利関係コンテンツなので削除したデータの再取り寄せに時間を要する
    4) さらにさらに、世間一般では昨日今日が仕事納めなので…

    なんてところか。
    • by Anonymous Coward
      年内に復旧できないだなんて、IIJともあろうものがバックアップとってなかったんだろうか。
      あるいはバックアップをとることすら権利者側から許可されてなかったのかな?
      それともバックアップのテープがしわしわワカメ状態になっちゃってたのかな?
      もしかしたらバックアップはちゃんとあったけど、動画だからデータ量が膨大すぎてがんばって書き戻しても年内に終わらないのかな?
      • by Anonymous Coward
        しかし、ペタバイトに届きそうな量のコンテンツのバックアップって、どうやってやるんだろう?
        rsync? テープ? スナップショット?
        うーむ…
        • Re:やる気云々つーか (スコア:2, すばらしい洞察)

          by Anonymous Coward on 2008年12月26日 19時35分 (#1481415)
          そもそも一撃必殺で大量のデータを消せる構造になってる時点でどうかと。
          親コメント
          • by OddEye (18936) on 2008年12月26日 23時32分 (#1481520)
            >そもそも一撃必殺で大量のデータを消せる構造になってる時点でどうかと。

            通常のメンテナンスでオペレータにシェルコマンドで作業させるのは怖いですね。
            さすがに自分がオペレータに任せるときは単純な方式にして、それ以上の操作は出来ないようにします。

            おそらく、イレギュラーな作業が絡んだ結果かも知れませんが、ベテランでも自己の技量を過信してポカをするのが非常時です。

            自分の記憶や技量を信用しないで、落ち着いて手順を確認して列挙し、コマンド発行の前に指差しして文字列を確認とか、習慣づけてます。

            #ミスが皆無とは言えませんが、致命的な事態はかなり回避できるはずです。

            新幹線の指令所では、かつては「非常時の手順は記憶するな」と言われていたそうです。
            必ずチェックシートにしたがって、手順を確認しながら行うこと、だそうです。
            親コメント
          • by Anonymous Coward
            ふーん。これにすば洞が付くんだ・・・

            linuxだと仮定して、ほぼすべての作業をroot(sudo含む)でやるところも少なくないと思うけど。
            少ない経験的には半分以上はそう。
            権限委譲、いろいろと設定面倒なんだよねぇ。

            # そういう話じゃない?
            • by Anonymous Coward
              >linuxだと仮定して、ほぼすべての作業をroot(sudo含む)でやるところも少なくないと思うけど。
              >少ない経験的には半分以上はそう。

              うん、そういう所は多いんじゃないかと思う。

              そしてそれは
              >>そもそも一撃必殺で大量のデータを消せる構造になってる時点でどうかと。
              という点で非常に問題の多いやり方です。
              要するにダメな会社ばっかりってこと。

              それを根性とか愛国心とか竹槍でなんとかしようとするから、
              日本のIT業界はダメなんだってば。
        • by cannabis (31589) on 2008年12月27日 6時17分 (#1481655)
          >>しかし、ペタバイトに届きそうな量のコンテンツのバックアップって、どうやってやるんだろう?

          今回障害のあったのはIsilon IQということなので、ディザスタリカバリはSyncIQでのクラスタ間レプリケーション
          SnapshotIQでのスナップショット(FS内)。NDMPを使ったバックアップソリューションが選択できます。

          Isilon IQの導入事例としてゲームメーカーのカプコンがありますが、ここは「バイオハザード5」の製作にあたってOneFSを信頼し、あえてバックアップを取らないシステム構成にしたそうです。
          今回の事故がヒューマンエラーだとしたら、根拠のない自信や信頼に依存しきっちゃうことの恐ろしさを体現してくれたかもですね。
          親コメント
      • by Anonymous Coward
        >もしかしたらバックアップはちゃんとあったけど、動画だからデータ量が膨大すぎてがんばって書き戻しても年内に終わらないのかな?

        秘密ですが、正解です。
  • by Anonymous Coward on 2008年12月26日 14時04分 (#1481224)
    こういうのって大型連休がむしろ儲け時なんじゃないでしょうか。
    「復旧できない」のではなく「何が何でも復旧させなければならない」んじゃないでしょうか。
    今アクトビラの新着情報見たら障害の情報が載っていましたが

    障害事由:「アクトビラ ビデオ」の配信サーバーに重大なシステム障害が発生し、映像配信サービスが行われなくなったため。

    えー。AV Watchのを見ると障害は、12月23日の午前3時30分に発生し、一部サービスの復旧は24日19時30分。障害の理由は、ビデオコンテンツ配信業務の委託先である株式会社インターネットイニシアティブ(IIJ)において、配信用ビデオコンテンツのほぼ全てのデータの誤削除があったため、としている。 [impress.co.jp]
    つまり操作ミスによる削除なんでしょ?なら

    ×行われなくなったため。
    ○できなくなってしまったため。

    ×配信サーバーに重大なシステム障害が発生
    ○操作員による操作ミスでデータを削除してしまい

    障害事由:「アクトビラ ビデオ」の配信サーバーで操作員による操作ミスでデータを削除してしまい、映像配信サービスができなくなってしまったため。
    だと思うんですが、まあIIJですからねぇ…。
    # 大阪のマックのサクラの話といい、なんで最初から正直に言わないで穴を大きくするようなことするのか…。
    • by Anonymous Coward on 2008年12月26日 14時40分 (#1481249)
      不景気だ→ コストダウンだ人を減らせ
      → ベテランをリストラ → 初心者が初歩的ミスで全削除
      → 復旧しろ → 初心者なのでサッパリ分かりません
      → 分かる奴を呼べ → リストラしたのでいません
      → 『緊急対策会議』を開いて対応策を検討中

      ということだったりして。
      #リストラしたベテランに頭を下げるという選択肢は、日本企業にはない。
      親コメント
      • by Anonymous Coward on 2008年12月26日 15時11分 (#1481274)
        # rm -rf *派遣*
        # ls
        新人01 新人02 新人03 窓際01
        # shutdown -h now
        -bash: shutdown: command not found
        親コメント
      • → ベテランをリストラ

        がおかしいと思います。
        親コメント
        • by Anonymous Coward on 2008年12月26日 18時54分 (#1481403)
          >→ ベテランをリストラ
          >がおかしいと思います。

          全く同感だけど、人事部が理解できるのは年齢と賃金だけなんだよ。

          経験が長い人が必ずしも優秀なベテランばかりとは限らないが、
          ベテランは経験を積んでいて通常はそれ相応に歳を取っていて、
          そして相応に給料も値上がりしている。

          技能が見えない人事部からすれば、「高コストなベテラン」一人のクビを切って、
          「安価な若手」の派遣社員を1~2人雇った方が『経済的』と考えても不思議はあるまい?
          親コメント
          • いや、ベテランの給料を下げればいいのです。
            親コメント
            • by Anonymous Coward
              >いや、ベテランの給料を下げればいいのです。
              まるでうちの会社ですね・・・。
              #ずっと少数精鋭でリストラはないけど、ここ10年以上前から給与は上がらなかったし
              #賞与は率が年々減ってたし、そのうえに2年前から給与が1割減額に・・・。
          • by Anonymous Coward
            >全く同感だけど、人事部が理解できるのは年齢と賃金だけなんだよ。

            itojunさんをつぶしたIIJだけにね
      • by Anonymous Coward
        実際はこんなところだろう。

        不景気だ → コストダウンだ残業手当を減らせ → でも仕事は減らさない
        → 中堅が過労 → 「俺,この仕事が終わったらとらば〜ゆするんだ…」
        → フラグ立つ → シングルベルが聞こえてくる → 季節性抑うつ → 辞表も書けない
        うわぁぁぁ → 担当者を捜索中

        # あれ,ディスプレイが滲んでみえる… そろそろ買い替え時かな?
    • by Anonymous Coward on 2008年12月26日 14時11分 (#1481230)
      IIJのドジッ娘社員が午前3時30分、同僚との渇中に間違って削除ボタンをクリックしたと考えてみて
      親コメント
    • by Anonymous Coward on 2008年12月26日 15時59分 (#1481301)
      > つまり操作ミスによる削除なんでしょ?なら

      たぶん、操作員もシステムの一部なので、マクドの件ほどは嘘がデカくないです。

      AV Watch の記事内容はアクトビラのプレスリリース [actvila.jp](PDF)で出てますね。

      このサービスを利用したことがないので、利用者の観点ではないのですが…
      業務委託していて、特に補償とか発生するとなると、どこまで委託先の責任かを明確にしないといけない
      (本当は契約の段階で分岐点が明確になっているはずなのだけど)わけで、「誰の責任か」ということは
      速報・概要の段階ではどうしてもぼかした表現になってしまうものです。そういう意味では、24日の時点で
      上のプレスリリースが出ていたのなら、対応としてはまだマシな方だと思いますが、どうでしょうか。
      親コメント
      • by Anonymous Coward
        というかプレスリリースに「誰がどうのこうの」という情報が要るの?そういうのって情報が確定してからでいいよ。プレスリリースには現在どういう状況で復旧にどのくらいかかる、程度で十分。
    • by Anonymous Coward
      IIJはアクトビラのストレージにisilonクラスタストレージを採用しているらしい [rbbtoday.com]
      やや特殊なハードだし本当にただのオペミスなのかな?
      すべてのデータというからにはクラスタノードのアレイがふっとんだんじゃないかなぁ(想像)
    • by Anonymous Coward
      営利を目的とした事業に見えますか?あんなのが?
      • by Anonymous Coward
        役員や株主 [actvila.jp]を見る限りでは、少なくとも間接的な営利は目的にしてそうですけど。
  • 新手の… (スコア:2, すばらしい洞察)

    by Anonymous Coward on 2008年12月26日 13時09分 (#1481170)
    宣伝方法だったりして? (笑)
    知名度が低い場合、このような記事になれば宣伝にもなりそう。
    • by Anonymous Coward
      PanasonicのBlu-ray DIGAが対応してきたので使ってる人もそれなりにいるんじゃないですか?
      DVDレンタルより高いので、積極的に使う気にはなりません。PS3のアニメ配信も他の配信サイトも似たようなもんですが。
  • by lunatic_sparc (15416) on 2008年12月26日 14時18分 (#1481234)
    rm deletefile.* とやろうとして rm deletefile. * ってやっちゃったとか?
    • by Anonymous Coward on 2008年12月26日 17時53分 (#1481372)
      いやいや、単に愛が足りなかったんですよ。

      # touch -- -i
      # rm -rf *
      rm: remove regular file `important.img'?
      親コメント
    • by Anonymous Coward
      部門名にもありますが、

      $ rm -rf *
      なんてのはたいしたことはない、削除されるのはカレントディレクトリ以下だし、
      これが意図した動作であることも多い。バックアップ取っていれば修復できます。

      本当に怖いのは、カレントディレクトリにある大量の隠しファイルを削除しようとして

      # rm -rf .*  &
      としたときです。しかもバックアップメディアをマウントしていたり。
      慌てて fg するともう一つバックグラウンドで走っていた vi の画面になったり。

      対策としては、管理者になる人は練習用の環境で一度経験しておいてください。アッ-
    • by Anonymous Coward
      IIJくらいなら、lsof使ってrmしたファイルの復元くらい簡単にやりそうだ。

      ddだのrsyncだのでバックアップしようとしたところ、コピーの方向を
      間違えて空っぽのディスクイメージを現用ディスクに上書きしちゃった
      とか考えられないかな。
  • 何回見ても (スコア:1, おもしろおかしい)

    by Anonymous Coward on 2008年12月26日 15時41分 (#1481292)

    アダルトビデオコンテンツの誤削除に見えてしまう...。

    • by shion_91 (34448) on 2008年12月26日 18時49分 (#1481402)
      俺もだった。 いや、むしろDMMがそういうことを始めないのが(ry
      親コメント
    • by Anonymous Coward
      同じく・・・。でさっそく サイトチェックしたら、あれ??おかしいな?? とおもいつつもっかい確認してみると、 ああ””!!
  • by Anonymous Coward on 2008年12月26日 13時30分 (#1481188)
    >IIJが配信用ビデオコンテンツのほぼ全て削除してしまったことが原因で、

    IIJが配信用ビデオコンテンツをほぼ全て削除してしまったことが原因で、
    IIJが配信用ビデオコンテンツのほぼ全てを削除してしまったことが原因で、

    どうでもいいじゃん、と思わば思え。
    • ごめんなさい、その2つの文で何が違うのか判りません><
      親コメント
      • by Anonymous Coward
        比べるのは引用部と、2つの文。2つはどちらか選択可という意味。

        #別AC (個人的には「ああ、なるほどね」という代物)
      • by Anonymous Coward
        改行をセパレータとしたデータ、いわゆる「テキストファイル」の
        行単位での差分を検知するコマンドは知っているけど、
        そういえば文字列での差分を検出するコマンドって知らないなぁ。
        何かありましたっけ?
    • by Anonymous Coward on 2008年12月26日 15時00分 (#1481262)
      タレコミ文へのコメントということでここにつなげます。

      「昨日」と「今日」は タレコミ投稿時点からの相対参照だと思うのですが,
      「昨日」が25日で「今日」が26日のことでよいでしょうか。

      広報が遅い、というネタフリなのでココ重要だと思うんですが。
      親コメント
  • by Anonymous Coward on 2008年12月26日 16時19分 (#1481315)
    仕事先からですが、アクトビラって何だろうと見てしまった・・・大きな音がオフィスに鳴り響いたOrz。
    皆様お気をつけあれ・・・。
    • by Anonymous Coward
      今後のためにも、そもそも音が鳴らないようにしておくというのはいかがでしょう。
    • by Anonymous Coward
      >仕事先からですが、アクトビラって何だろうと見てしまった・・・
      >大きな音がオフィスに鳴り響いたOrz。

      「うるさいぞ!扉は静かに開閉しろ!」というオチかと一瞬思った。

      #開く扉
  • トジルトビラ (スコア:0, オフトピック)

    by Su.net(Yumechika) (37288) on 2008年12月26日 16時52分 (#1481335) ホームページ
    T/O
    --
    (ぶつぶつ…) http://twitter.com/yumechika
  • by Anonymous Coward on 2008年12月27日 1時29分 (#1481587)
    正月、親戚が一堂に介した時にアクトビラが活躍してしまって、
    一気にサービスが普及すると困る人達が手を回して…

    あれ?ノックの音がs
typodupeerror

Stay hungry, Stay foolish. -- Steven Paul Jobs

読み込み中...