パスワードを忘れた? アカウント作成
10749168 story
テクノロジー

音で物を見るシステム、盲目の人が「見る」ことを可能に? 28

ストーリー by hylom
心眼 部門より
eggy 曰く、

オランダ人エンジニアのPeter Meijer氏が1992年に、単純なグレースケール画像を音声に変換するアルゴリズムを開発した。このシステムはvOICe(大文字部分は「Oh、I see!」と読む)と呼ばれ、画像を左から右にスキャンしながら、読み込んだイメージを周波数の高低に割り振った音に変換するというもの。訓練を受けると、vOICeの聴覚情報で画像が「見える」ようになるのだという(Scienceslashdot)。

ヘブライ大学では2007年より、先天性盲目の人にvOICeの訓練を行っているのだそうだ。単純な点や線から、顔や街角など4500ピクセルの複雑な画像に至るまで、見える内容には個人差があるものの、70時間程の訓練で「見える」ようになるのだそうだ。また、コンピューターとヘッドホンに接続されたヘッドマウントカメラをナビゲーションのように使用し、盲目の人が部屋の中を歩くことができたとのこと。カメラが絶えず撮影した部屋の写真は音に変換され、その音を頼りにテーブルやゴミ箱を避けて歩くことができたのだそうだ。

さらに興味深いのが、この訓練中に視覚を司る部分が活発になるということである。視覚を司る視覚野、聴覚を司る聴覚野、味覚を司る味覚野があるように、これまで脳は「タスク指向型」と考えられてきたが、今後は脳の新たな働きが見つかるかもしれないとのこと。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2014年03月12日 8時24分 (#2561374)

    “The brain, it turns out, is a task machine, not a sensory machine,” she says. “You get areas that process body shapes with whatever input you give them—the visual cortex doesn’t just process visual information.”

    「脳はタスクマシンであることが今回わかりました。センサーマシンではなかったのです」みたいなことを言っているので、ストーリー最後の文はちょっとズレてる気がする

    「これまで視覚野はセンシングした映像の処理を司ると考えられてきたが、実は『視る』というタスクを司る部位であって接続されるセンサーは可換らしい」というのが「タスク指向型脳モデル」であり、仮説としてはこの研究の前にあったみたいだけど、それを補強するような実験結果が出たということ

  • by miyuri (33181) on 2014年03月12日 12時22分 (#2561499) 日記

    vOICe

    おいしーの?

  • by PEEK (27419) on 2014年03月12日 13時15分 (#2561536) 日記

    FDへのアクセス音で出現するモンスターがグレーターデーモンとかフラックとか判るやつ。

    --
    らじゃったのだ
  • by Anonymous Coward on 2014年03月12日 7時05分 (#2561350)

    一瞬、コウモリみたいのを想像したんだけど。

    • by T.SKG (20663) on 2014年03月12日 13時31分 (#2561554) 日記

      これはセンシング方法じゃなくて、人間へのデータの伝送方法ですね。

      眼(視覚)を経由せず、画像情報を変調した音の信号で送っている。
      人間の方は、特殊なインプラントとか無しに、リアルタイムで、連続して
      受け取ることができる。

      一枚の画像に、一フレーズの音を対応させ、正面に画像があるすると、
      ピクセルの位置情報の左右方向は一フレーズ内での時間方向に、
      上下方向を音の高低にして、そのピクセルの輝度を音の強さに、
      エンコードしているようです。

      画像の左の方が明るかったら、音の始まりが五月蝿い、
      画像の下半分が明るかったら、低い周波数を多く含む音が続く、

      日の丸の画像なら、最初は高音から低音まで含む音量の大きなホワイト
      ノイズ的な五月蝿い音で始まり、途中その中音域だけが徐々に小さくなって
      それからまた、徐々に戻って、最後にまた五月蝿さが少し続いて終わる。

      星条旗なら、最初は、高域の方にポツポツと断続音がある他、中低域で特定の
      音階に強い音がある。途中から、合計6つの特定の音階だけの連続音になる。

      そんな感じでしょうか。

      探しきれないのですが、以前にも/.Jで話題になった気がします。

      親コメント
      • by Anonymous Coward

        なるほど、疑問が解けました。確かに合理的。
        只のカメラ映像じゃなくて測距データを組み合わせて、輝度情報と置き換えたら立体視(?)もできそうだとか、
        左耳は左半球、右は右半球に割り当てて全方位視覚とか色々妄想が膨らみます。

    • ベン・アンダーウッドさんは、舌打ちによりエコーロケーションを実現しているそうです。ご参考まで

      X51.ORG : 音で世界を"視る"少年 米
      http://x51.org/x/06/07/1944.php
      --
      --- 「お前はすでに限界までモデレートされている」
      親コメント
    • 元々エコーロケーション出来る人には環境雑音に左右されずに視えるようになるので便利ですね!
      親コメント
  • by BIWYFI (11941) on 2014年03月12日 8時14分 (#2561371) 日記

    脳の機能が固定だなんて考えじゃ、リハビリでの機能回復が説明出来なくなるから、完全固定じゃ無いのは自明だと思ってたが。

    ま、脳には絶対的なエネルギー消費の上限があるから、一番効率の良い部分が機能分担するのが一般的ってだけなんだろうなと。
    で、視覚情報処理の機能が無い分、余剰のエネルギーで別の処理が可能になってもまったく不思議じゃ無いかと。

    尤も、一旦機能分化したのを再編成すると、効率が悪化するだろうから、後天的に新機能を獲得するのは難しいだろうなあ。

    --
    -- Buy It When You Found It --
  • by bghtyu67 (46369) on 2014年03月12日 10時49分 (#2561446) 日記
    左右方向の情報は時間で分解できますが、
    上下方向の情報はどうやって分けているのでしょうか。

    ソースからは分からなかったので仮説ですが、
    周波数が2次元的に区切られているのではないかと思いました。
    上下方向と色方向で。

    ソースの動画では色を間違えていたので、色の方が細かく細かく分けられているのでしょうか。

    #手話の逆ができるとはすごい
    • by Anonymous Coward

      電話のトーン信号のように2音を組み合わせているとか?

  •  同目的の違うシステムとして、空間情報を音でなく「額における感覚(触覚)を使って知らせる」ものもありますね。 http://www.eyeplus2.com/product-2/about-auxdeco [eyeplus2.com] 視覚に障がいを持つ場合、聴覚は(外界情報を把握するために)とても重要なセンシング元なので、音で知らせずに他手段で知らせる方法にも価値がある…と聞いたことがあります。
  • by Anonymous Coward on 2014年03月12日 8時39分 (#2561381)

    デアデビル

  • by Anonymous Coward on 2014年03月12日 9時14分 (#2561403)

    ホロフォニクスソナーか

    • by mondy (27787) on 2014年03月12日 9時43分 (#2561411)

      漫画で近いのだと「死がふたりを別つまで」で主人公が似たようなのがあったけど、そんな感じなんすかね。
      潜水艦のソナーの解析を強力にした感じで、反射音の返りを細かく分析して視界にはポリゴン状で状況が写しだされる感じだったけ。
      そして見えるって言ってる人にはどういう感じに見えているのか凄く気になります。色とか光とかはないんだろうし。

      #ステマです。結構好きな作品だなぁ

      親コメント
      •  漫画の方もアニメでも、ちょっち表現がいい加減でしたね(走召糸色木亥火暴)

        --
        "castigat ridendo mores" "Saxum volutum non obducitur musco"
        親コメント
      • by Anonymous Coward

        >見えるって言ってる人
        古谷徹の声なら、額に閃光が走るんだろうか。

        「死がふたりを別つまで」は、最近は微妙。
        序盤のシェアードワールドでなんでもありっぽい展開はちょっとよかったんだけど、
        長く続いて、ダレたか。キャラが多すぎて持て余し気味?
        #ここでまさかのARMS投入とかせんかね

    • by c1815 (37236) on 2014年04月13日 15時56分 (#2581171)

      森博嗣の「そして二人だけになった」でほぼ同等のガジェットがあったような?
      使うシーンがあったはずだけど描写は覚えてない。

      親コメント
  • by Anonymous Coward on 2014年03月12日 10時40分 (#2561441)

    by 佐村河内守

    # ホントはいらないけどな!

    • by Anonymous Coward

      耳から怪音波を出すと白黒画像に変換されるってなにそれコワい

    • by Anonymous Coward

      もう実用化されていますよ。メディアプレイヤーで音声だけのファイルを再生すると、波打ち模様がでるじゃないですか。訓練すれば手話など無くてもあの模様で言葉が判別できるのです。もちろん佐村河内氏のぐーぐるグラスにも搭載されていますよ。なぜか最近はしかられるからつけなくなったみたいですが。

  • ジョーディ・ラ=フォージ
    http://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%A7%E3%83%BC%E3%83%87%E3%8... [wikipedia.org]
    出生時の障害により生まれながらの盲目。5歳の頃よりヴァイザー(VISOR, Visual Instrument and Sensory Organ Replacement)を装着し、人間に見える可視光線の他にも様々な視覚情報を認識できるようになる(ヴァイザーから見る映像は、肉眼で見るそれとは全く異なる)。

  • by Anonymous Coward on 2014年03月12日 13時56分 (#2561573)

    どういうプロトコルなのかわからん。
    特定の周波数を特定のX方向ピクセルに対応付けて走査線1ライン分入力、
    Y方向解像度の分だけその和音を鳴らせて1画面完成ってこと?
    左右の耳で違う入力ができれば2ライン一括で行けるな。
    色々考えられるが…これは絶対音感なきゃ無理くせぇなw

    //これで行くと僕の場合は2×5ピクセル程度が認識できる限界か
    //ドライバーのアップデートをしてください

    • by Anonymous Coward

      別に絶対音感はいらないでしょ。

      # それとも絶対音感を他の何かと間違えてる・・・?

    • by Anonymous Coward

      異なる周波数を多重化させる
      更にフェイズをコントロールする
      脳がどこまで対応できるかだな

  • by Anonymous Coward on 2014年03月12日 19時32分 (#2561833)

    ローレライ・システムとかいうやつですね

typodupeerror

ソースを見ろ -- ある4桁UID

読み込み中...