パスワードを忘れた? アカウント作成
16722092 journal
日記

m_nukazawaの日記: 重箱の隅 1

日記 by m_nukazawa

// 最初ツイッタに書いたのですが、アカウントの目的に合わないのでスラドへ移植。

https://www.jst.go.jp/crds/pdf/2023/RR/CRDS-FY2023-RR-02.pdf
> 最先端の基盤モデルは1回の学習に億 円超の計算費用を要する。その一方で、人間の脳の消費電力はわずか20ワット程度である。
Web上ですごいすごいと言われていたので(?)読んでみたけれど、ここはかなりミスリードな気がする。

『学習の計算コストが見るからに高いので安くしたい』という課題自体については異議ない し、1次近似レベルのごく簡単な理屈の上では『ヒト脳と同じ消費電力でヒト相当の推論が実行できるはず』なので『理論的に実現可能と思われる』実行時パフォーマンスとして目標にするのもありだとは思う。

ただ、それらの理屈をこの言い回しにすること自体には異議があるように感じて、
- 学習ではなく『実行』だけであれば組み込み端末で実行されている既存モデルもあるはず
- ヒトの学習も養育費から言えば1億くらいかかっているのでは?
- 『数億円✕数日』『20W✕20年』で比べると圧倒的短期間で学習できていることを評価できてなくない?
といったあたりが気になる。
(『ヒト脳は学習と実行を並行して実行してるんだよなぁ』という視点もあるのでこの異議もそこを包括できていないですが、概要として。)

しかしこれは出来の良い重箱の隅をつついている側面が強い話で、『既存の情報を断片的でなく(おそらく)漏れなく網羅して綺麗な文面にまとめてある』というだけで十分価値はあって、みなさんそのことを褒めているのだろうと思います。(ツイッタの文字数でそういう褒め方をするのは難しいですし)

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2023年08月14日 19時00分 (#4510442)

    とある日本の元宇宙飛行士の方が算出した、宇宙旅行が理論上どこまで安く出来るかの話を思い出した。
    質量×高度x9.8m/s^2で必要な位置エネルギーが求まるので、70Kg,100Kmとすると68.6Mj、約20Whなので電気代に換算すると1円弱。

typodupeerror

目玉の数さえ十分あれば、どんなバグも深刻ではない -- Eric Raymond

読み込み中...