パスワードを忘れた? アカウント作成
293200 story
ネットワーク

NICT の公開 NTP サービスで誤った時刻が 2 回配信される障害が発生。 41

ストーリー by reo
お世話になっとります 部門より

ある Anonymous Coward 曰く、

2011 年 1 月 23 日 (日)、独立行政法人情報通信研究機構 (NICT) が提供している公開 NTP サービスにおいて誤った時刻が 2 回配信される障害が発生した (NICT 公開 NTP のページより) 。

1 回目は 23 日 10 時 19 分 15 秒から 12 時 17 分 55 秒 、2 回目は 16 時 17 分 55 秒から 17 時 19 分 06 秒に発生し、サービスを利用しているコンピュータの時刻が 2009 年 9 月に逆戻りする事態となった。NICT は今回の障害の原因について、いずれの障害も停電に伴う機器の誤動作によるものと推測しているが、詳しい原因については現在調査中とのこと。なお原因が解明できるまで IX 系の運用を停止するとしている。

「IX 系」とは昨年 2 月に発表された JPIX 内に設置された NTP サーバの事かと思われる (NICT のプレスリリース) 。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • IX系とは (スコア:5, 参考になる)

    by elderwand (34630) on 2011年01月25日 13時45分 (#1893171) 日記

    IX に置いてある ntp サーバということなのではなかろうか?

    $ host ntp.nict.jp
    ntp.nict.jp has address 133.243.238.164
    ntp.nict.jp has address 133.243.238.243
    ntp.nict.jp has address 133.243.238.244
    ntp.nict.jp has address 210.171.226.40
    ntp.nict.jp has address 133.243.238.163
    ntp.nict.jp has IPv6 address 2400:3000:20:100::40
    ntp.nict.jp has IPv6 address 2001:2f8:29:100::fff3
    ntp.nict.jp has IPv6 address 2001:2f8:29:100::fff4
    $ host 133.243.238.164
    164.238.243.133.in-addr.arpa domain name pointer ntp-b3.nict.go.jp.
    $ host 210.171.226.40
    Host 40.226.171.210.in-addr.arpa. not found: 3(NXDOMAIN)
    $ whois 210.171.226.40
    (snip)
    inetnum: 210.171.224.0 - 210.171.226.255
    netname: JPIX
    descr: Japan Internet Exchange Co., Ltd.
    (snip)

    • Re:IX系とは (スコア:5, 参考になる)

      by Anonymous Coward on 2011年01月26日 10時25分 (#1893559)
      2chのunix板のNTPスレッドでは前から話題になっていますが、

      ntp.nict.jp has address 133.243.238.164
      ntp.nict.jp has address 133.243.238.243
      ntp.nict.jp has address 133.243.238.244
      ntp.nict.jp has address 210.171.226.40
      ntp.nict.jp has address 133.243.238.163

      のようにプリフィックスの異なるアドレスを混在すると、設定方法を教えてください。 [nict.go.jp]のntpd の場合 (Linux や FreeBSD など)の通りに設定してもラウンドロビンしません。
      これはntpdが呼び出しているgetaddrinfoの仕様です。しかも192.168/16で運用しているネットワークからは常に近い方の210.171.226.40を参照してしまう。

      RFC3484 Destination Address Selection
      Rule 9: Use longest matching prefix.
      When DA and DB belong to the same address family (both are IPv6 or both are IPv4): If CommonPrefixLen(DA, Source(DA)) > CommonPrefixLen(DB, Source(DB)), then prefer DA. Similarly, if CommonPrefixLen(DA, Source(DA)) < CommonPrefixLen(DB, Source(DB)), then prefer DB.

      今回の騒動で210.171.226.40は現在外されているようですが、このまま復活させないで欲しいです。

      親コメント
      • Re:IX系とは (スコア:1, 参考になる)

        by Anonymous Coward on 2011年01月26日 12時44分 (#1893647)

        私の場合
        210.171.226.40
        がどうしても邪魔なので、

        ntp.nict.jp

        ではなくて

        ntp.nict.go.jp

        を指定しています。こうすると、常にIX系は無視されますよ。

        親コメント
      • by Anonymous Coward
        >Rule 9: Use longest matching prefix.

        だけ無視した実装にする訳にはいかないのかなぁ?>getaddrinfo()
      • by Anonymous Coward
        UNIX で動作する ntpdでは、

        server ntp1.example.com
        server ntp2.example.com
        server ntp3.example.com

        のように、それぞれの個別のNTPサーバに対応するホスト名を記載するべきです。
        ntpdは、複数のNTPサーバから得た時刻情報のうち、他のものと異常にズレていたり
        遅延が大きいものは同期対象から外します。3台以上設定しておけば、
        今回のように1台が狂っても他の正しく動作するサーバに同期するので、今回の
        ようなケースでも問題は回避できたはずです。
        Windows端末のようなSNTPクライアントは、どうしようもないですね。
        運悪く変なサーバを掴んだらそれまでです。

        上記は利用者側
  • by Anonymous Coward on 2011年01月26日 10時19分 (#1893555)
    毒NTPに注射された~ということですか。DNSと違って影響が(少ないところには)少ないな
    NTPがもっと重要になる日は来るんだろうか?
    • by Anonymous Coward on 2011年01月26日 11時43分 (#1893592)
      毒NTP注入じゃないでしょう。

      想像ですが、停電で一時シャットダウンしたら、サーバに搭載の電池が切れていて
      内蔵時計がリセットされちゃった。
      サーバ起動後も、ntpdateとかで初期同期をしておらず、nptdなんかでしか時刻合せ
      していなかったが、リセットされた内蔵時計の時刻とntpで上位のntpサーバとの
      時間が大きく違っていたため同期されなかった。

      というオチなのでは?

      2009年9月になるというのがわからないけど。

      NTPは認証とかで、重要に使われてるところもありますよね。
      金融系も必須でしょうし。
      親コメント
      • by Anonymous Coward

        説明が足りなかったな
        ユーザーから見たら、NICTのサービスを使っていたのに、NTPが狂った時刻を配信してきたよ~という毒です(毒=NICT)
        信頼あってこそのサービスの信頼がなかったら、お勝手サービスになります。

        個人レベルだから影響なかったけど、おっしゃるとおり、重要なところもあるし、他のスレでもあるように実害出てるところもあるらしいけど。

      • by Anonymous Coward

        stratum 1のNTPサーバ障害の原因が

        > ntpdateとかで初期同期をしておらず、
        > nptdなんかでしか時刻合せしていなかったが、
        > 上位のntpサーバ

        ってのが笑うところ?

        > というオチなのでは?

        オチてないようです。ネタのつもりならもうちょっとひねってください。

  • by Anonymous Coward on 2011年01月26日 10時21分 (#1893556)

    こんなに大きくずれていたら、普通は無視されるから平気でしょ?

    • by Anonymous Coward on 2011年01月26日 11時51分 (#1893596)

      Windows Server(2003 SP2)のADで影響がありました。
      特定のDCのみ時刻が大幅にずれ、そのDCでKerberos認証が失敗してくれました。。。
      ※イベントログのディレクトリ サービス でNTDS Replication のエラー(イベントID:2042)が頻発します。

      修正方法は
      ・時刻がズレたと思われるDCを確認(イベントログの日付がおかしくなるはず)
      ・他のDCでrepadmin ツールを使って該当DCの確認、DC情報の消去を行う
      ・正常なDCからrepadmin ツールで複製を実施
      ・念のためFile Replication Service を立ち上げ直して、DC間で同期が取れているか確認する
      ・(可能であれば)再起動を行い、問題がないことを確認する
      で何とか回復できました。

      で、問題は時刻が大幅にズレることです。
      どうやらWindows系ではレジストリを変更しない限り、デフォルトでどこまでも変更(!)するようです。。。

      時刻が大きく変更されないように Windows タイム サービスを構成する方法
      http://support.microsoft.com/kb/884776/ja [microsoft.com]
      によると、
      HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config

      MaxPosPhaseCorrection
      MaxNegPhaseCorrection
      の値を 0xFFFFFFFF から 0x0002a300(48時間)とするのが推奨されています。

      以上、今回トホホ経験値を積んだ管理者のたわごとでした…

      親コメント
      • 全く同じ目に遭いました。 詳細な情報をありがとうございます。
        親コメント
      • あれ?MaxNegPhaseCorrectionとかってデフォルトで無効でしたっけ?
        まぁうちだとxntpなunixサーバー立ち上げて自宅の機器は
        そこに向けてるので影響は皆無でしたが

        ほとんどの使ってる人は直接見てるだろうしなぁ

        親コメント
        • by Anonymous Coward

          デフォルトで有効になってます。
          times.windows.comがズレたら…怖いですね

          • by Anonymous Coward
            自分で無制限にしてた管理者がアホってことか
          • by Anonymous Coward

            そういえばMacのデフォルト、 time.asia.apple.com が2時間ぐらいずれた事件もありましたね。
            そのときは、 jp.pool.ntp.org にかえましたけど。

            # 未だにfukuoka-uとか候補に出してくるのはどこのディストロだ

      • MaxPosPhaseCorrection・MaxNegPhaseCorrectionが48時間になってるのって
        Windows2008からなんですね

        Windows7は設定&未設定のどっちに振られたんだろう

        親コメント
        • 手元のWindows7で、HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\W32Time\Configを見ると
          MaxNegPhaseCorrection:0xd2f0(54000)
          MaxPosPhaseCorrection:0xd2f0(54000)
          となってますね。変えた覚えはないので、多分これがデフォルト値だと思います。

          親コメント
        • by Anonymous Coward

          Windows7(ドメイン未参加)でレジストリを確認してみました。
          こちらは 0x0000d2f0(540000)となっており、15時間しか許していないようですね。
          確認していませんが、2008R2もそうなっているかと思われます。

      • by Anonymous Coward
        職場のサーバーは過去に戻す時は際限なく、未来に進める時は15秒って制限だったようで
        そんなログがイベントビュアーに残ってました。

        ADだとクライアントPCがサーバーの時間と同期してくれるという便利な機能があるので
        ファイルの更新履歴は変になるし、gmailの認証日付がおかしいとか言われるし、PCの日付見てるアプリは動きがおかしいし、酷い目にあいました。
    • Re:問題ない (スコア:2, 参考になる)

      by Anonymous Coward on 2011年01月26日 10時57分 (#1893573)

      一部ネトゲで影響があったみたいです
      http://aion.plaync.jp/board/notice/view?articleID=661&page= [plaync.jp]

      親コメント
      • by mocchino (13752) on 2011年01月26日 11時20分 (#1893583)

        影響でるってどんな運用してたんだろう
        ここまで狂えば通常は補正動作止まるはずなのに

        xntpとか使わずにntpupdateで強制補正?

        親コメント
        • Re:問題ない (スコア:2, 参考になる)

          by Anonymous Coward on 2011年01月26日 11時42分 (#1893591)

          アプライアンスサーバだったりするのかな?
          しかし、それでサービスに支障が出るようなら内部のサーバ見させたりするくらいはしとけ、とは思うけども。

          ちなみにntpdは1000秒以上違うとエラーになる。
          http://www.jp.freebsd.org/cgi/mroff.cgi?subdir=man&lc=1&cmd=&a... [freebsd.org]
          Windowsもドメインに参加してたらドメインコントローラーに合わせるが、そうでなければ48時間以上は無視する。
          http://support.microsoft.com/kb/884776/ja [microsoft.com]
          というか大概time.windows.comのままだろう。
          Macは知らんけど、同じようなものだろう。

          ちなみにちなみに、ノートンは日付が大きく変わるとネットワークを遮断することがある。
          たしか、証明書の有効期限が切れるとバイナリ検証できないからだった気がする。

          親コメント
          • by mocchino (13752) on 2011年01月26日 11時58分 (#1893602)

            ちょこっと調べたらWindows系の桜時計とかあの手の奴は
            強制的に変更するだけっぽいですね
            サーバーに使うもんじゃないと思うけど

            Windows標準のW32TimeもMaxNegPhaseCorrectionとかはドメイン参加して無くても有効だったはずなので、それぞれOS標準のを使っていれば
            自分で無効にしない限りはここまで狂うと補修正しないはずなんですけどねぇ~

            親コメント
            • by Anonymous Coward

              > ちょこっと調べたらWindows系の桜時計とかあの手の奴は
              > 強制的に変更するだけっぽいですね
              いまだに桜時計とか使ってる奴ははっきり言って老害なので、とっととアンインストールしておとなしくw32time使っとけと言いたくなるな。

              • Re:問題ない (スコア:1, 興味深い)

                by Anonymous Coward on 2011年01月26日 12時55分 (#1893657)
                それはそうなんだけど、未だにntp関係の設定画面をつけないMSにも問題があると思う。昔はレジストリで調整してたし、今はDOS窓からコマンド入力か。
                時刻の設定画面でntpサーバー名だけ入力できるが、なぜ詳細を設定できないのかと
                親コメント
              • by Anonymous Coward

                > 未だにntp関係の設定画面をつけないMSにも問題があると思う
                おや?
                > 時刻の設定画面でntpサーバー名だけ入力できるが、
                ついてるじゃん。

                > なぜ詳細を設定できないのかと
                sntpなんだし、サーバ名が設定できれば十分じゃん。

              • by hiroski (3667) on 2011年01月26日 16時53分 (#1893790) 日記

                ワークグループでは更新間隔にSpecialPollIntervalを使うけど、初期値が7日間で、状況によっては無視できないズレが生じる。
                気にしない人はそのままだろうけど、そういう人はntpサーバーを変更しないと思うし、そういうものがあるとも思わないんじゃないかな。
                でntpサーバーを変更する人はSpecialPollIntervalも変更すると思うけどレジストリ操作は面倒だねって話。インストール時に一度しか触らないんだけどね。

                親コメント
              • by Anonymous Coward

                > sntpなんだし、サーバ名が設定できれば十分じゃん。

                XP以降はntpだったような気がする

              • by Anonymous Coward

                PCの時計って結構ずれますよね。
                PCの時計の値を時刻として表示するアプリで0.5秒ずれるだけで文句言ってくる環境があるんですが、
                やむなく桜時計で10分に1回とかの間隔で同期とってたりします。

                普通はそこまで気にしなくて良いんですけどね。

              • by 127.0.0.1 (33105) on 2011年01月27日 15時19分 (#1894228) 日記
                謎すぎる実装だと思うのですが、何というアプリなんでしょうか。

                時刻がずれてると判断するのなら、何らかの方法で正しい時間を知っているわけですよね。

                ・「正しい時刻」を知る手段がNTPサーバーへの時刻問合せなんですかね?
                ・だったら時刻合わせまでしてくれてもいいような気がするんですが
                 どうして文句言う(エラーを出す?)だけなのかな。中途半端すぎる。
                ・ネットワークにつながっていない場合、どういう挙動をするのだろう。
                 (起動できないとか正しい時刻が不明とかのエラーを出す?)
                ・嘘の時刻を出すNTPサーバーをローカルに作ってその時刻情報を
                 PCに食わせるとやっぱり騙されてくれるのかな。
                 それともどこかのNTPサーバーを決め打ちで参照しているのかな?

                てな感じで割と変に興味を引かれました。
                親コメント
              • by phenix (31258) on 2011年01月29日 16時16分 (#1895240)

                想像ですが、時計が進む方向にずれるので、
                時限ライセンスの製品が、
                時計を戻したことを検出して怒るじゃないですかね?

                親コメント
          • Re:問題ない (スコア:1, 参考になる)

            by Anonymous Coward on 2011年01月26日 13時18分 (#1893680)

            うそ書いてましたね。
            #189359 [srad.jp]で出てるけど、ドメイン構成してるとクライアントだけじゃなくサーバ(DC)も無制限に合わせるらしい。あと、スタンドアロンだと48時間じゃなくて15時間。

            まとめると、

            ・ドメインに参加している場合(DC含む)
            XP, 2003(とおそらくVista)は無制限(0xFFFFFFFF)、2008は48時間(172800秒)、7は不明
            クライアントはDCに合わせる。DCの規定値はtime.windows.com?(未確認)

            ・スタンドアロン
            XP, 2003, Vista, 7は15時間(540000秒)、2008は48時間(172800秒)
            いずれもtime.windows.comに合わせる。
            ※Vistaと2008は未確認

            親コメント
          • by Anonymous Coward

            専用ハードウェアのようですね。

            http://www2.nict.go.jp/w/w114/tsp/research/PDF/pdf1.pdf [nict.go.jp]
            http://www2.nict.go.jp/w/w114/tsp/research/labo3/nict.pdf [nict.go.jp]

            なんか障害発生時間帯に特定のビットパターン?ないけ?
            > 障害1回目 10:19:15-12:17:55
            > 障害2回目 16:17:55-17:19:06

  • by Anonymous Coward on 2011年01月26日 13時16分 (#1893677)
    dovecotが停止しませんでしたっけ?
  • by Anonymous Coward on 2011年01月26日 13時40分 (#1893691)

    某ネットワークカメラの時刻をこちらのNTPで同期させてたけど、
    録画データの確認をしたらどう考えても残ってるはずのない2009年の記録が出ていて不思議に思ってた

  • by Anonymous Coward on 2011年01月26日 15時24分 (#1893745)
    これもこれが原因なのですかね。
typodupeerror

あと、僕は馬鹿なことをするのは嫌いですよ (わざとやるとき以外は)。-- Larry Wall

読み込み中...