コメント本文の投稿・表示障害がありました 59
申し訳ありませんでした 部門より
日頃は slashdot.jp をご利用頂きありがとうございます.日本時間 9 月 13 日午前 5 時すぎよりコメントの本文が表示できない状態になりました. 午前 11 時すぎにサイトを停止し復旧作業を行いました.問題がなくなった ことを確認できましたので,12 時頃サイトを再開致しました.
コメント本文を保存するテーブルが壊れてしまったことにより, コメント本文を取得・追加できない状態になっていたことが原因です. そのため,障害発生時に投稿されたコメントの本文は全て失われてしまい ました.それ以前に投稿されたコメントの本文は失われていません. 夜間作業後の確認が漏れていたため,障害が長時間に及ぶことに なりました.詳細に関しては引き続き調査していきます.
ユーザの皆様にご迷惑をおかけしましたことをお詫びいたします.今後は 監視・管理体制を見直し,障害の発生をできるだけ減らすとともに障害 発生時にいちはやく対応するように改善いたします.
今後とも slashdot.jp をよろしくお願いします.
追記(12:40 JST):
調査を行った結果,障害発生時に行っていた作業は
DB ファイルを rsync でコピーするという作業でした.I/O 負荷が上がった
結果,Index が壊れてしまった等が考えられます.DB サーバは Debian GNU/Linux
の MySQL 4.1 を利用しており,myisamchk でテーブルを修復しました.
知りたい人もいるようなのでさらに追記(by sugi):
ちなみに障害が起きたのはコメント本文だけが格納されたテーブルで、これはコメント一覧とは分離されています。
この本文のテーブルがインデクス情報(.MYI) の破損により mysqlから開けない状態になっていたため、既存のコメントも全て表示できなくなっていました。復旧後、過去のコメントは正常に読めていますが、障害中に投稿された分は書き込みに失敗し、失われてしまいました。本当にごめんなさい。
追記(15:50) - アウターゾーンへの扉は閉ざされました:
障害時に投稿されたコメントへの返信の際にエラーになる点を修正しました。御迷惑おかけしました。
本文が失われたというのはウソだな (スコア:5, すばらしい洞察)
Re:本文が失われたというのはウソだな (スコア:5, おもしろおかしい)
コメント障害がわかったとき、本文に何を書いた?
* デスマの愚痴
* 今夜のおかず
* 見えるようになることを前提にしたネタ
* 上司への罵詈雑言
* 復旧トピックの部門名予想
* 過去の恥ずかしい思い出
* かなりヤバい機密情報
* この早さなら言える。俺はOliverが好きだぁぁ!
Re:本文が失われたというのはウソだな (スコア:1)
#なかのひとおつかれさまんさです
++mermaid++
Re:本文が失われたというのはウソだな (スコア:1)
* この早さなら言える。俺はOliverが好きだぁぁ!
に一票。
ちなみにおかずは・・・思い出せないや(を
--- #寝て起きて食べてまた寝る
Re:本文が失われたというのはウソだな (スコア:0)
Re:本文が失われたというのはウソだな (スコア:1)
Slashdot.jpの編集者一同で、美味しくいただきました。
#酸っぱいと言う話と、味の素みたいな味と言う2つの
#説が有るので、本当に美味しいかどうかは、不明ですが。
Re:本文が失われたというのはウソだな (スコア:1)
Re:本文が失われたというのはウソだな (スコア:4, 興味深い)
ちょっと楽しかったんだけどな~(^^;
復旧して何より (スコア:4, 興味深い)
一週間前くらいかな?
屍体メモ [windy.cx]
一行掲示板にしてもよかったんじゃないかなぁ (スコア:3, 興味深い)
1を聞いて0を知れ!
確かに。今後も採用してほしい。 (スコア:2, 興味深い)
障害は抜きにして、だけど。
MIYAZAKI Yasushi
でも、ぶら下げられないのはちょっと見にくいと思うのよね (スコア:1)
Re:一行掲示板にしてもよかったんじゃないかなぁ (スコア:0)
この日!と決めずに突然subjectだけな日。
で、本文は廃棄されると思っていたら、翌日には復活して、
あーんなことやこーんな事書いた人は大慌て!?
障害が直ったのはいいとして (スコア:2, 興味深い)
ページの境目に当たるツリーが見えなくなったりするバグは直んないの?
作業お疲れさまでした (スコア:1, すばらしい洞察)
Re:作業お疲れさまでした (スコア:2, 参考になる)
> no such parent
と表示されてました。
直接的には上記で、根本的には「コメント本文を保存するデータベースが壊れてしまったことにより,コメント本文を取得・追加できない状態になっていたことが原因です」なのでしょうか。
Re:作業お疲れさまでした (スコア:0, オフトピック)
当分いいです
Re:作業お疲れさまでした (スコア:0)
アウターゾーンってどこかと思ったら、道東だったのか!
# いつからロシア領?
Re:作業お疲れさまでした (スコア:0)
その辺が気になるところですなぁ。
原因究明 (スコア:0)
そもそも、DBMS稼働中のrsyncって安全?
Re:原因究明 (スコア:1)
---にょろ~ん
直ったようですね。お疲れ様でした。 (スコア:1)
ふと思った (スコア:0)
それはともかく中の人お疲れさまでした。
Re:ふと思った (スコア:1)
kero
むぅ (スコア:1)
復旧してなにより。
日記は関係ないんじゃない? (スコア:1)
モデレータは基本役立たずなの気にしてないよ
やはり原因がとても気になります。 (スコア:1)
障害発生前の本文情報まで参照できなくなるとは……。
何はともあれ、お疲れ様でした。
# 本文テーブル(スキーム)とかがあって、
# しかも加工保存していて、復元にまで失敗してたとか??
# ……後者は無いか。
==========================================
投稿処理前プレビュー確認後書込処理検証処理前反映可否確認処理後……
Re:やはり原因がとても気になります。 (スコア:1)
> 障害発生前の本文情報まで参照できなくなるとは……。
データベースの本文情報に読み書きアクセスができなかったのでしょう。
なので、障害発生時に本文情報を書けない。
障害発生時に障害発生前の本文情報を読めない。
[ 返事を書く ]が使えなかったのは、返事の際に親コメントの
本文を表示するために本文情報を使うが読めずに失敗したからかな?
Re:やはり原因がとても気になります。 (スコア:0)
Re:やはり原因がとても気になります。 (スコア:1)
本文を表示するために本文情報を使うが読めずに失敗しているのでしょう。
「親コメントが参照できません。」みたいなエラーだとわかりやすいんですがね。
データベース (スコア:1, 興味深い)
#構成ってどこかに書いてあるんでしょうか・・。
Re:データベース (スコア:2, 参考になる)
http://srad.jp/~Oliver/journal/270449 [srad.jp]
http://srad.jp/slash/article.pl?sid=04/06/29/0350239 [srad.jp]
bugtrackクローズよろ (スコア:1)
最初はわざとかと (スコア:1)
おかげ様で、署名を変えれば、過去の署名にも動的に反映されることを知りました。
--- Dead Poet Social Club
Re:最初はわざとかと (スコア:0)
もうちょっと早く原因究明&対策してほしかったな・・
Re:最初はわざとかと (スコア:0)
「そんなもん○○したら一発だろ?これだから最近の…」
と。
で、ゴチャゴチャ言ってるやつらの実際の対応はこんなもんですよ。
それがスラドクオリティ。
Re:最初はわざとかと (スコア:0)
#サブジェクトとモデレーションだけで、なんとなくノリが分かるモンなんだなあ。
Re:最初はわざとかと (スコア:1)
やっぱそうか (スコア:1)
「失敗しました」と表示されつつサブジェクトはしっかり投稿されているので
コメントは電子の海で溺れちゃったのかなー、と思ったらその通りだったみたいですね。
まぐろたべたい
Re:やっぱそうか (スコア:1)
一部の処理が異常終了で返ってきても処理全体をロールバックしていない
と言う事でよろしくないかと。
むしろ、コメント本文の書き込み処理が以上にもかかわらずsuccessで返って
来ていたなんていうDBが変な状態だった方が納得できるかも。
まぁ、それはそれでDBの書き込み整合性を保つ処理はどうなっとんじゃ!
って事になるんですが。
Re:やっぱそうか (スコア:0)
Re:やっぱそうか (スコア:0)
トランザクションそのものは既に正常に終了したことになってたんでしょう。
Re:やっぱそうか (スコア:1)
みんつ
Re:やっぱそうか (スコア:0)
Re:やっぱそうか (スコア:2, 興味深い)
# MyISAMだったみたいなので/.では関係なかったようですが
Re:やっぱそうか (スコア:2, 興味深い)
このリンクをたどった先 [mysql.com]に、こんなことが書いてありました。
ここも本家との相違点?
本当にコメントが出るかテスト (スコア:0)
--
中の人お疲れ様です。
まだアウターゾーンに飛ばされるんだけど。。 (スコア:0)
結構面白いサブジェクト(というかコメントとというか)あるのにな。。。
元からのバグなのか、障害復旧しきってないのか。。。
確認してね>>管理人さん。
MyISAMはダメ (スコア:0)
まぁSlash自体がトランザクションを考慮しない設計なら意味ないですが。
# MySQLは嫌いなのでAC
Re:Oliverはどうした? (スコア:0)
Oliverが消えた方がうれしいか、あなたが消えた方がうれしいか、国民投票してもらうってのはどうですか?