パスワードを忘れた? アカウント作成
5755 story

NVIDIAのベンチマーク不正に対応した3DMark03アップデート 57

ストーリー by Oliver
数字が全てではない 部門より

Anonymous Coward曰く、"すでにあちこちのニュースサイトで取り上げているが、FutureMark社の3Dベンチマークソフト3DMark03のパッチが登場した。フルバージョンは追って登場とのことだ。で、これにはおまけがあり、要するにNVIDIAはチートしているとのこと。4gamer.netでも取り上げているが、3DMark03で高スコアが出る様に処理で手抜きしたドライバを使っていたみたいだ。いまどきベンチ対策ドライバねぇ?と思ってしまう。ZDNetにはnVIDIAサイドの反論が載っているが、どうも説得力に………ハッ!これはNVIDIAが3DMark03登場時から言っていた「ベンチマークごときではパフォーマンスを語るなど笑止。真の性能はゲームで見るのが一番」という主張を裏付けるデータなのかもしれない<g>"

ExtremeTechにスクリーンショット付きでこの騒動の元となったドライバの手抜きの検証記事が掲載されている。FutureMarkのオマケ(監査レポート)にもとっても詳しく、どのように不正が行なわれていたかスクリーンショットと共に解説されている。ベンチマークの本質を変更せずに、コードをちょびっと変更しただけで、NVIDIAの特定製品(GeForce FX 5900 Ultra)でスコアが25%近くもダウンしたそうだ。他社の製品でのスコアの変動は誤差の範囲内だったにもかかわらずだ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2003年05月24日 19時26分 (#322469)
    ここのところのnVIDIAのドライバーはそんなもんです。
    少しでもRadeonに置いて行かれたくないので
    画質を落として速度を稼いだりしてるようです。
    いろいろ検証しましたが、まず間違いないでしょう。

    そんなことよりも製品の質ではなく
    ネガティブキャンペーンや、
    3D系のゲームを作るところに技術協力として参加して
    GeForce3と4でしかまともに動作しないエフェクトとか
    バンバン入れていったりと
    そういう方法でシェアを護ろうというのが気に入らないです。
    • デトネータとか言うドライバがそうなんでしょうか。
      恣意的な私の場合、「これってリファレンスドライバと違うの?」と思ってしまったのですが・・・。

      #識者のご意見求む
    • >少しでもRadeonに置いて行かれたくないので
      >画質を落として速度を稼いだりしてるようです。
      >いろいろ検証しましたが、まず間違いないでしょう。

      は?
      たぶん、わかってないだけなんだと思うんだけど、
      自分で検証したにも関わらず伝聞調で書いてみたり、だいじょうぶか?
      • >は?
        >たぶん、わかってないだけなんだと思うんだけど、
        >自分で検証したにも関わらず伝聞調で書いてみたり、だいじょ
        >うぶか?
         私は君自身の読解力が大丈夫か、と問いたいんだが……。
         検証したので多分合ってるけどメーカーに裏は取ってないよ、
        という意味以外にどう取るんだ?この場合の伝聞調は。
        • 自分で検証したなら裏必要ないでそ。
          自信がないのなら検証の意味なし。

          そもそも、検証結果が↓では動作を理解できてないだけ。
          >少しでもRadeonに置いて行かれたくないので
          >画質を落として速度を稼いだりしてるようです。
  •  ハイエンドビデオカードの購買層って、ハードコアゲーマーももちろんいるでしょうけど、ベンチマークで誰よりも高いスコアを出すことそのものが目的になってしまっている人がけっこういるように思えるのですが。
     そういう人にとってベンチマークで高いスコアが出せるドライバというのはある意味目的にマッチしているようにも思えます ;-)
    • どうなんでしょうね、どこぞのサイトにベンチマークを載せて競うならともかく性能の高さを見て満足したいなら汎用目的でかかれたドライバで記録を出してこそって気もしますが。
  • by no_name (15898) on 2003年05月25日 13時03分 (#322716)
    ゲームやアプリごとに丁寧にドライバを作ってくれれば、数十パーセントの速度向上を望めるってことでしょうか?
    • Re:逆に言うと (スコア:2, 参考になる)

      by Anonymous Coward on 2003年05月25日 13時57分 (#322721)

      今回のは、ドライバのチューニング以前の問題のような感じですね。指摘されている点のいくつかは、デフォルトのユーザカメラで見えないところでバックグラウンドのクリアを省いたり、クリッピングプレーンを動かしたり、特定のケースにオプティマイズされたハードウェアシェーダーを使ったりしているわけですが、それって普通、 データセットが決まればアプリケーションレベルでやる最適化のように思います。 そういう最適化をして、ジェネリックなエンジンに比べ数十パーセントの速度向上というのはよくある話です。 というより市販のゲームでは既にそれがやってあると考えて良いでしょう。

      今回の場合、フリーカメラモードでそういう舞台裏が見えてしまったから問題になったわけです。でも、例えばドライバがものすごく賢くて、ドライバレベルでカメラ位置を参照してカリングするようなアルゴリズムが組まれていたら (したがってフリーカメラモードでも速度は落ちるが舞台裏は見えない)、 それはそれで有効な最適化と言えるんじゃないでしょうか。

      親コメント
    • by sakamoto (8009) on 2003年05月26日 18時48分 (#323355) 日記
      ゲームのデモ部分だけ ROM 化してビデオカードに内蔵しちゃうとか?
      --
      -- 哀れな日本人専用(sorry Japanese only) --
      親コメント
  • by hix (3507) on 2003年05月26日 8時02分 (#323075) 日記
    もうこうなってくると、ベンチマークで話題に上らないカードを買ったほうが間違いが無いようにも感じられます。
    で、ベンチマークで良い数字が出たと言われると「うわ!コイツも変なチューニングしてんのかよ!買って失敗した…」なんてね。

    私はゲームはあまりやらないし、殆どコード書きで使っているので、兎に角、画質が良くて目に負担が掛からないような物を求めますが、それはモニタやケーブルとで併せて考える必要があるし、数値化しにくく、下手すりゃオカルト的で「何を以って良い画質とするか」で論争にもなりますから、共通理解という点では難しいですよね。
  • by Anonymous Coward on 2003年05月24日 18時37分 (#322453)
    やってたって話ありましたな>いまどきベンチ対策ドライバねぇ?
    まぁ、今回の話とはまた別なベンチ対策ドライバだとは思いますが。

    # DOOMIIIが動けばなんでもいいよ。
    • by KENN (3839) on 2003年05月24日 19時27分 (#322470) 日記

      ATiの話ってのは、これ [hotwired.co.jp]かな?

      親コメント
    • by Anonymous Coward
      #Halflife2が動けばなんでもいいよ
      • by SteppingWind (2654) on 2003年05月24日 19時40分 (#322475)

        目的とするアプリケーションプログラムでの性能を測るというのが本来の性能テストですから, "XXが動けばなんでもいい"というのは正しい姿勢ですね.

        ベンチマークテスト専用プログラムでのテストなんて, 所詮は評論家と自分が何をやりたいのかも分からない素人のためのものでしょう.

        親コメント
        • Re:正しいベンチマーク (スコア:1, すばらしい洞察)

          by Anonymous Coward on 2003年05月24日 19時59分 (#322481)
          >目的とするアプリケーションプログラムでの性能を測るというのが本来の性能テストですから, "XXが動けばなんでもいい"というのは正しい姿勢ですね.

          動けばなんでも良いなら、それは性能とは無関係の単なる動作環境。
          性能にこだわりを持つのは「快適」に動かしたいからでしょ。

          >ベンチマークテスト専用プログラムでのテストなんて, 所詮は評論家と自分が何をやりたいのかも分からない素人のためのものでしょう.

          それに加えてメーカがこだわっているというのが、今回の件の本質だと思うが?

          # つーか、色々な用途に使う奴が総合評価に使うという考え方はないんだろうか?
          # 家のマシンは機能毎に複数台で役割分担なんぞさせてないけどなぁ。
          # 貧乏人のひがみかねぇ。
          親コメント
          • > 性能にこだわりを持つのは「快適」に動かしたいからでしょ。
            快適に動かない(フレームレートや描画もひっくるめて)のなら「動く」とはいわない。
            それは「起動する」というんだ。
          • それに加えてメーカがこだわっている

            ていうのは

            ベンチマークテスト専用プログラムでのテストなんて, 所詮は評論家と自分が何をやりたいのかも分からない素人のためのものでしょう.

            これがあるからでは? ベンチマークで笛を吹き太鼓を叩く人(評論家)、踊らされる人(

            • ・どうせ金を出すならちょっとでも性能のいいものを
              ・同じ価格ならちょっとでも性能のいいものを

              と考えるのは普通ですからね。

              実際のアプリでどうなるかの前に、カタログ値だけでも良くして
              おきたいのが人情でしょう。

              # 「ベンチマークというアプリ」の結果だけで購入の候補から
              # 外されたらかなわないからね。
            • >ベンチマークで笛を吹き太鼓を叩く人(評論家)、踊らされる人(素人)のおかげでメーカーも踊らざるをえないのじゃないかな。

              そりゃそうだ。だって、売らなきゃ金にならんからね。
              「踊らざるをえない」ってのは顧客のニーズに応えるって事であって、物売る上では当たり前だろ。
              # まあそりゃ、市
        • by Anonymous Coward on 2003年05月24日 21時54分 (#322512)
          ただ、3DMarkの場合、最新DirectXにいち早く対応する技術デモという側面もあるわけで、
          その辺が話をややこしくする原因なのかと。

          #3DMark03がDirectX9世代のアプリケーションかどうかというのも、
          #NVIDIA VS FutureMarkの争点のひとつではあるけど、一般認識として。

          GeForceFXシリーズのミドル~バリュークラスには、
          ATIの製品のほかにも身内にGeForce4Ti4200という厄介なライバルを抱えており、
          (DirectX8世代のゲームパフォーマンスが伸びない)マイナス面を払拭するために、
          次世代のプログラマブルシェーダー搭載というアピールは欠かせないわけで、
          なんだかんだで3DMark03は無視するに出来ないということもあるんでしょう。
          頼みの綱のDOOM3やS.T.A.L.K.E.R.も今年出るかどうか危ぶまれていますし。

          #そんなもんゲームが出てから考えろよ、というのは正論だけど
          #それはいわない方向で(汗
          #GeForceFX5600/Ultraあたりの存在意義が完全に消滅してしまうし。
          親コメント
        • ちょっと高めのカードなら、
          ・AutoCADに最適化したドライバ
          とか、
          ・3Dsに最適化したドライバ
          のような最適化ドライバが、好評価につながるのは、買う目的がしっかりしているからですね。
          このさい、いっそのこと
          ・3DMark2003最適化ドライバ
          と明示すればよいのでは?(<うれしくない)
          • >・3DMark2003最適化ドライバ
            >と明示すればよいのでは?(<うれしくない)

            品質を落として速度を稼ぐのは「最適化」ではなくズルです。
            • >品質を落として速度を稼ぐのは「最適化」ではなくズルです

              単純にそれを言い出すと、今有るカードでズルをしていない物って無いよね。
              擬似的に3D表示しているところ多数なのだから。

              特にゲーム等は速度の方が品質よりもお止められるはずでし、実際に適切な反応速度を得るために画像の質を落とすのは普通の事ですし。
          • FireGLって GeForceと同じコアで
            OPEN GLに最適化したカードじゃなかったかと思うが

            こーゆーのも既に実現してるって例で
            • FireGLはRADEONのOpenGL特化版の製品名(チップ名なんだったか
              覚えて無いっす)ですな。
              NVIDIAのGeForceに対するOpenGL特化版のはQuadroですわ。

              #仕事上、こんなんばっかり詳しくなったのでAC
      • by Anonymous Coward
        FF-XIベンチでしか評価してませんが?
  • by Anonymous Coward on 2003年05月24日 19時57分 (#322479)
    今回のネタになったメーカーに問題はこの際おいておいて。
    #いや、そっちは別のコメントで散々やるし。

    ベンチマークを行っている方のモラルとかを問題にする方も健全
    さを手に入れる手法だと思います。

    今回特定のベンチマークが出ているけど、そのようなものは大概
    公開されているし、常番というものが有る。そういうものしか使
    わない雑誌やサイトって仕事のモラルが低くないか?
    なんで、独自のベンチマークとか作らないのだろうか? みんな同
    じベンチマークを使うからこういう問題が起きるのでしょう。
    確かに独自で全部やるのはコストとかに問題が起きるかもしれな
    いがそれなら併用にするとかすれば良いのだ。
    #例えば一個の機能だけを抜き出すベンチマークでも追加すれば記
    事の厚みがますと思う。
    そういう質の高い情報を最近のPC雑誌は売らなさ過ぎると思う。

    それとも質が悪くても安くしないと買わない読者が悪いのか?
    ps.
    話の筋はずれるが、ポストペットのベンチとかを見るとちゃんと売
    る気のある人間は考えていると思えるのだ。
    • その昔、国内テストラボの割と老舗だった某!PCテストルームでちょいと仕事してましたが、ユーザの実感に近く、いざとなったら検証も可能な環境を作るために、まずターゲット層をある程度絞って、その層の平均的なマシン環境を整えて、ストップウォッチで計測するなんてことをしてました。
      # それでも複数人の計測が100分の1秒まで一致したりして、微妙に職人芸の雰囲気を醸し出したり(笑)

      専用のベンチマークプログラムを開発すりゃいいやん、というツッコミがあると思いますが、特定の機器の個々の要素で優劣を出しても、他にボトルネックがあったら現実の操作感は変わらないわけで、それでメーカーから不必要なあら探しをしていると言われたらたまったものではないわけです。というのも、PC雑誌は売上ではなく広告収入で生計を立てているから。

      WinMarkや3DMarkのような、個々の機能にフォーカスしつつも割と複合要素的な結果を出すベンチマークプログラムがありがたがられるようになったのは、1)ユーザにも検証可能、2)メーカーから突っ込まれた時に責任回避できる、この両方の理由があるためです(と、個人的には思っています)。
      # 我々はそれに依存したくなくて、補助的な手段に留めていましたが、果たして読者にとっては標準的ベンチプログラムとストップウォッチ計測のどちらが「補助的」だったかは不明

      両方の要求に応える手として3DMarkやポスペベンチやFF11ベンチを全部やる方法もありますが、時間的体力的に厳しいです。何せ新製品をテストしようとしたらブツが来るのもぎりぎりだし、作業中に最新ドライバがリリースされたり、あるいは最新ドライバでやってみると結果が妙に悪くて旧ドライバで測り直しつつテスト条件の辻褄合わせに頭捻ったり(実話)、修羅しゅしゅしゅ。
      親コメント
    • なんで、独自のベンチマークとか作らないのだろうか?
      1)金が無い。
      2)力が無い。
      3)人材が無い。

      まず1)だけど,海外の PC Magazine 誌とかだと
      検証用のラボみたいなの持ってたりするって話じゃないですか。
      日本のでそんな話,聞いた事ありません。教えて偉い人(笑)

      続いて2)ですが,日本の PC 系メディアって広告主に阿って
      余程酷くない限りバグや問題点の指摘とか出来難い体質な気が,ね。
      その昔(笑),中村さん家の正ちゃんが「Win3.1 出来が悪いぞゴルァ」と言ったら
      「電脳曼荼羅事件」 [asahi-net.or.jp]になったなんて事もあるし。

      ンな状況で,自前のベンチ用意して悪データ出した日には干されます:)

      3)は,ここ10年くらいか PC 系雑誌の細分化が随分と進んだじゃないですか。
      結果として人材も分散してそういった能力を持った人が居なくなってるのでは。

      昔は DOS/V Magazine と Super ASCII,あと「ざべ」読んでりゃ
      ある程度は事足りた気がする・・・
      親コメント
    • >今回特定のベンチマークが出ているけど、そのようなものは大概
      >公開されているし、常番というものが有る。そういうものしか使
      >わない雑誌やサイトって仕事のモラルが低くないか?

      使わない、というよりも、使うしかない、というのが正直なところのような。

      Benchmarkソフトの知名度も、ユーザーが重視する以上、しかたのないことでは。
      あ、知名度を押し上げてるのも雑誌やサイトか。
      うーむ、難しいですなぁ。
      でも、公開されていて且つ知名度のあるBenchmarkソフトを使うことで、
      消費者も容易に測定し検証できる、というのは重要だと思います。

      もちろん、評価にあたってはいろいろなベンチマークをして、
      各スコアをつき合わせて総合的な評価をすべきだとは思います。
      3Dの性能のみ評価する、ということなら3DMark2001SE/3DMark03/
      SPECviewperf/各GameDemo等。
      そういえば、ZiffDavisの3D WinBenchは2000からUpdateされてないけど、
      Veritestに買収されてからはもうやる気ナシなのかなぁ。
      --

      --- 人生あるがまま
      親コメント
    • みんながみんな独自のベンチマークだと、複数の雑誌やサイトに
      掲載された結果を比較しにくいということはありますね。
      あるベンチマークだとポイントなので数値が大きい方が高性能、
      また別のベンチマークでは処理時間を計るので数値が小さい方が
      高性能、しかも処理内容が違うので、ポイントでも直接に比較が
      できない、という状態だと、結局1カ所の結果の中でしか我々は
      評価できません。
      一つの雑誌しか取り上げないようなマイナーな製品だと、他の
      製品との比較が難しくなりますね。
      そういう意味では、デファクトスタンダードなベンチマークにも
      存在価値はあると思います。
      親コメント
    • あとそこに掲載されているベンチマーク結果のみで
      グラフィックカードを買っちゃう奴もなー
  • by Anonymous Coward on 2003年05月24日 21時09分 (#322499)
    <g>ってなんですか?
  • by Anonymous Coward on 2003年05月24日 21時31分 (#322505)
    canopusのドライバがHDBenchで不当に高スコアが出るように
    作られてたとかいう話が何年か前にあったと思いますけど、
    あれは本当だったんですか?
    • …というように月日が経つと忘れられます
      そういうもんです。
    • >canopusのドライバがHDBenchで不当に高スコアが出るように
      >作られてたとかいう話

      不当っつーか、丸を描くのがチョー早かったんじゃなかったっけ。

      HDBench以外の何に役立つのかフメーですが(;´ー`)y──┛~~
    • 記憶によれば、(今は亡き)Diamond MultiMediaのS3系のボードが
      ベンチマーク専用チューニングのハシリだったと思います。

      ある世代から突然ベンチの値が跳ね上がってびびった記憶アリw
  • by Anonymous Coward on 2003年05月25日 0時20分 (#322576)
    RADEON 9800とGeForce FX 5800、正しい道はどちら? [impress.co.jp]

    32bitじゃなければダメなのならATiもインチキということに・・・
    • by princo (2294) on 2003年05月26日 9時08分 (#323088)
      なぜかATiがズルしてるのは問題にしないんですよね。
      親コメント
    • by Anonymous Coward
      色々とアツいですね。面白いです、この世界。

      元々 3DMark で方向性の不一致から nVIDIA のパフォーマンスが発揮されず業を煮やして対策をやっちゃったって感じなのでしょうか。

      前まで ATi がへこんでつまらないと思っ
  • by Anonymous Coward on 2003年05月25日 1時56分 (#322608)
    所詮、「緩慢な死への接近」にすぎんのよ(ぉ
typodupeerror

あと、僕は馬鹿なことをするのは嫌いですよ (わざとやるとき以外は)。-- Larry Wall

読み込み中...