パスワードを忘れた？ アカウント作成
Close
7578 story

vOICeで携帯電話が盲導犬代わりに!? 71

ストーリー by GetSet
「見る」楽しみをデジタルで 部門より

tetsuya 曰く、 "vOICeというソフトウェアをご存じだろうか？　これは、IEEE Spectrumに紹介されている、PCに接続されたカメラの映像を音声信号に変換するソフトウェアだ。64x64ピクセルのモノクロ画像に対して、上下方向を64の音階に、ピクセルごとの明るさを4段階の音の強弱に変換し、左から右へ1秒でスイープする仕組みになっている。
このソフトを、ヘッドセットに搭載した小型カメラ、バックパックに入れたノートPCと組み合わせ、視覚障碍を持つ人にモニターしてもらっているとのことだが、しばらく使っていると物の有無や、大まかな形状が分かるようになるようだ。それどころかリンク先の一番下の方を読むと、‘U1’さんは箱に描かれている絵とその下に引かれた4本の線を、このシステムによって認識したという。"(続く…)

"タレコミ人もWebに掲載されているサンプルを聞いてみましたが、単純なイメージならぼんやりと感じられました。これは単純に凄い事だと思います。脳にインプラントするより遙かに低いリスクで、低コストで‘見ること’が出来るのですから。
更にこのソフト、Nokia 3650というカメラ付き携帯電話に移植されていて、個人で使う分には無料でダウンロード／使用することが可能ですが、日本の携帯にも移植を検討しているとのこと。試用してみたいユーザーや支援団体も募集しているので、興味ある方はinfo@blue-edge.bgまで英語で連絡を取ってみるのもいいでしょう。
尚、Windows版もダウンロード出来るので、興味を持たれた方は手元のWebカメラとステレオヘッドフォンでぜひ、試してみてください。"

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

vOICeで携帯電話が盲導犬代わりに!? More

  • 聴覚との関係 (スコア:4, 興味深い)

    by bsdworld (10030) on 2004年02月21日 11時16分 (#500178)
    この訓練をし続けると、音楽とか聴いたときにどの様な影響が現れるのだろうか…
    イメージが踊ったり、脳が混乱したりするかも。

    それと、生活音とかどの程度ノイズとして「見えて」しまうのだろう…

    • Re:聴覚との関係(ちょっとオフトピ） (スコア:2, 興味深い)

      by geln12 (18637) on 2004年02月21日 16時36分 (#500330) 日記
      フランス現代作曲家のオリヴィエ・メシアンは「共感覚」という特殊な感覚を持っていて、音を聞くと色彩が見える（音階によって色が変わる）という視覚・聴覚の共感覚体験を音楽にしていたそうです。
      シェア
      親コメント

      • Re:聴覚との関係(ちょっとオフトピ） (スコア:2, 興味深い)

        by Led (7726) on 2004年02月21日 18時41分 (#500370) 日記
        音楽関係者にはときどき（しばしば？）
        「あそこにファの音が見える」などと言ったり、
        「お前の音はピンク色だ」とか言ったりする奇妙な人がいます。

        # すくなくとも私は二人見ました
        シェア
        親コメント
        • 共感覚は一つの感覚が別の感覚を不随意に喚起する、と言うもので、
          共感覚者は１０万人に一人という割合だそうです。

          音や色の他に、味に形が連動したり、（このチキンは尖った味が
          する、巻き髭のついた味、等）、運動の感覚を伴うもの、複数の
          感覚が喚起されるものなど様々で、複数感覚をもとにして特異な
          記憶力を発揮することも。

          また、カンディンスキーやナボコフなど共感覚のある芸術家も
          多く、その作品に影響を及ぼしているといいます。
          シェア
          親コメント

          • 共感覚者の数(オフトピ) (スコア:1)

            by Led (7726) on 2004年02月25日 18時24分 (#502575) 日記
            私も某書に10万人に一人と書いてあるのを立ち読みした気がしますが、
            もっと多いんじゃないかと思います。

            というのも、音の色に関しては他の人と同意しかねるものの
            「丸い(柔らかい)音」「尖った(硬い)音」のような表現は
            普通に使いますし、それぞれの音と言葉の対応は一度聞けば納得できました。

            ここのコメントの数を見ても、音の色が見える人はちらほらいるようですし、
            人間誰でも多少の共感覚を備えていて、
            それだからこそ共感覚者の芸術が芸術として認められているのではないかと思います。
            シェア
            親コメント
        • え？！ ふつう、聴こえないんですか？色。 ＃「ほら、あのキミドリの曲なんだっけ」とかふつうに言っちゃう私。
          --
          ---adelie　・＞
          シェア
          親コメント
        • いまコタツで向かい合わせに座っているのがそういう奇妙な人ですが、本人曰く

          　　　「生まれてこのかた音には色がついているものなので、みんなそうだと思ってた」

          そうです。

          全盲で色聴だと何がおきるんだろうね。
          シェア
          親コメント
        • そういった変換が可能だからでしょうね .
          それらの各部品が脳内部でシームレスに扱われている証拠
          なのでしょうか .
          --
          謝々々々 台湾宮廷料理海味館 名●屋市熊の前二丁目 ( MiniStop 対面 )
          シェア
          親コメント

    • Re:聴覚との関係 (スコア:1)

      by sympathie (19803) on 2004年02月21日 13時24分 (#500253)

      それは俺もうっすら考えましたねぇ。近い音階の音が割り込んできたら大変だろうな、と。まぁその辺のことは当然作者サンも考えてるんでしょうが。

      むしろラジオなりCDなりで、通常の曲を流しつつ映像となる音階をのせると、単なる音だけのコンテンツからプロモーションビデオが頭に浮かんで楽しそうだなぁ、なんて思ったり。‥いや流石にうるさくて聴けないかなぁ？

      シェア
      親コメント
    • 音楽を音楽として認識する感受性を失わない限り、
      これで訓練したからといって情緒が欠如するとは思えない。

      ただ、ドラマ内の電話音みたいな感じで似たような音が
      入ってるCDが周囲で流れていると困るかなあ。
      ケンイシイあたり。
  • カメラ付きケータイを利用した視覚障碍者支援システムといえば、現在、FOMAのテレビ電話機能を使って「テレサポート」という運動が進められています。詳しくはこのへん参照 [google.com]。

    簡単にいえば、テレビ電話で目の前のものを映し、遠隔地の人に解説してもらう。たとえばコンビニでおむすびの種類や価格を識別することもできる。街で案内板や目印となる建築物を見ながら歩くこともできる。
    従来は視覚障碍者と介助者がペアで歩く必要があったが、テレサポートを活用すれば、視覚障碍者ひとりで街へ出ることができる。ただし、不測の緊急事態には使えない（たとえば駅のホームを歩いているときに「あっ、あぶない」と対処するのはすぐ横にいる人でないと無理）。
    現状、通信費用がかさむそうですが……。

  • 作曲してみました (スコア:2, 興味深い)

    by WATT (7709) on 2004年02月21日 16時54分 (#500338) 日記
    絵を思い浮かべる事が出来なかったので、しかたなく方向転換。
    適当に点を打ちながらループなやつを作ってみました。

    シぐらいから3オクターブ上のドぐらいまであるので、それなりに出来ます。
    ただし、聞き慣れた12音階ではなく19音階ぐらい?でしょうか。
    縦軸が対数軸になってるので、使いやすいです。

    # ずーっと聞いてるとやばい気分になるかも(笑

  • 大きな可能性 (スコア:2, 興味深い)

    by unsignedint (7810) on 2004年02月21日 19時39分 (#500389) ホームページ 日記
    これは大きな可能性を秘めているシステムであると思いました。

    というのもこれは視覚として捉えるものを音声で代替するわけであり、別にそれが可視光ではなくとも例えば赤外線とか熱源からの情報を提供することができる可能性があるわけです。

    これを応用することにより視覚を音声化することにとどまらず「第三の目」として視覚を阻害する事なしに情報を装着者に伝える事ができるわけです。（もちろん訓練は必要でしょうが）

    もちろん本来の目的とはかけ離れていますが……。
    • vOICeと画像を同時に使うことで、可視光と不可視領域を同時に「知覚」できると、何か面白い発展があるかもしれません。
      # 視覚と電波、視覚と化学活性度、視覚と磁力線、etc...

      まだまだ人間の脳による発見の余地は多いですから。
      シェア
      親コメント
  • 森博嗣の「そして二人だけになった」というミステリィで
    映像を音声に変換して認識する盲目の天才がでてきますね

    でも、それを本当につくってしまうというのはすごい
    音声は、文字より情報量が少ないけど、訓練していったら
    目の見えない人でも普通に歩けるようになるのかな

    • Re:発想じたいは前からあるのかな (スコア:2, すばらしい洞察)

      by typer (9666) on 2004年02月21日 13時07分 (#500246) 日記
      > 音声は、文字より情報量が少ないけど

      おそらく画と言う意味で文字と書いたと思うのだけれども、一応つっこんでおく。
      一般的にいえば情報量は文字＜音＜画像でしょう。
      で、動画、空間と続くかな。
      っていっても厳密にいえば量で比較しても意味ないことなので密度って意味ですが。
      さらに密度っていっても基準が違うので感覚ですが。
      シェア
      親コメント
  • 代用感覚で擬似的に視ようというアイディアという点は、ネクストジェネレーションのラフォージが装着してたバイザーも同じだけど、結局は慣れてしまえば問題ないんでしょうね。

    ただ、この場合は慣れてしまうと、感覚的には視覚というより、コウモリの聴覚と大差ない感じがしますが。（周波数帯が違うだけで)
  • でもそうなると、ぱっと見て「目の不自由な人」とわからないと思います～。 盲導犬っていうアイテム（？）があるから回りの人は気を使って動くことが出来、本人はきちんと進めるもんだと思います。 盲導犬ってのは目の不自由な人からすると、相棒であり先導者であり目印なのではないかと
    • >ぱっと見て「目の不自由な人」とわからないと思います～

      個人的には盲導犬よりも、あの白い杖であちこちを叩いているイメージの方が強いですけどね。
      （以前に一度、あの杖で背中を何発か叩かれて嫌な目に遭ってますんで。どうして地面以外も平気で叩きまくるのやら。そういや、ガラスを割ってしまったのも一度目撃。)

  • ゲームに応用 (スコア:1)

    by s02222 (20350) on 2004年02月21日 19時34分 (#500386)
    Dの食卓、エネミー0を移植。

  • これが発展すると (スコア:0)

    by Anonymous Coward on 2004年02月21日 10時27分 (#500156)
    頭環を装着すると空識覚が使えます、って感じですか。

    空識覚みたく、「新しい感覚器を作る」なんてのはできませんが、
    たとえば触覚(痛み刺激)を使って似たようなことができないかなぁ、
    とは思っていたのですが。

  • 赤ん坊の頃にトレーニングできればいいな (スコア:0)

    by Anonymous Coward on 2004年02月21日 10時34分 (#500161)
    音声情報で伝える解よりも、
    人間の脳の解析能力に期待することでコストが安くなるのがすてき。
    ＃コストと利用しにくさが普及を妨げるのでAC

    • リンク先をモニターの人は後天的な視覚障碍のようですね。つまり一度視覚的な情報の処理に脳が慣れているわけです。（モニターの人が「見えた」ときの例えとして目が見えたときの話を使っている。）生まれたときから視覚を持たない人の場合も同じような効果を得られるのかが気になります。ただ慣れるのに時間がかかるだけというなら、たいした問題ではありませんが。

      --
      # For man might be free./人は自由になれるかもしれないから。
      シェア
      親コメント

  • 後はステレオ化？ (スコア:0)

    by Anonymous Coward on 2004年02月21日 11時22分 (#500183)
    カメラを二台にして、左右の耳で、それぞれの音の映像を 聞けば、両眼立体視だ。 既に考えているかもしれないし、ここに書いたから、公知の事実。 ややこしいのはいやなので、AC

  • うーん、本当かなあ (スコア:0)

    by Anonymous Coward on 2004年02月21日 11時31分 (#500192)
    ＞タレコミ人もWebに掲載されているサンプルを聞いてみましたが、
    ＞単純なイメージならぼんやりと感じられました。

    わたしゃさっぱりわかりませんでした。ましてや文字なんか判別できそうにありません。暗闇に人がぽつりと立っているくらいならなんとか・・・？

    とりあえずでかいヘッドホンがネックでしょうか。視覚を補うヘッドホンでまわりの音が聞こえないせいで事故起こしたりして。
    • 目の見えない人は、その代わりに聴覚がものすごく発達しているそうなので、われわれが聞いて受けるイメージよりもずっと精細な情報が得られるんじゃないでしょうか。

      ただ、これをつけることで、実際に外から聞こえてくる音の方が遮断されないか、ちょっと心配ですね。
      目の見えない人は、足音や白い棒でこんこん叩く音などで、自分がいまいる部屋の広さや、障害物などを認識すると聞いたことがあるので。
      --
      use Test::More 'no_plan';
      シェア
      親コメント

      • Re:うーん、本当かなあ (スコア:1)

        by arkas (10211) on 2004年02月21日 23時55分 (#500508) 日記
        家の中でものをさがしたりするのには使えるかもしれません。

        僕の友人に一人先天性の全盲の人がいますが、彼は空気の流れや音の反響で空間感覚を持っている様子でした。また、メールを読むのにスクリーンリーダーを使うのですが、少なくとも大学ではそのためにヘッドホンを使っているのを見たことがありません。想像するに、全感覚を支配されるのはやはり危険なのではないかと。

        ただ、いろいろな可能性を感じさせる技術・事実であることは確かだとおもいます。
        シェア
        親コメント

    • The vOICeのページの右側44K WAV soundscape [seeingwithsound.com]（注:WAVファイルへのリンクです）が雰囲気をつかみやすいと感じました。

      左手の何もないところは目立った音はなく、壁の立ち上がりで音が立ち上がって、扉とおぼしきところで音がとぎれるように小さくなり、さらに右手で壁が上下に広がるところで上下の音域が広がりながら音量が上がっていくという感じになっています。

      絵を見たり、目を閉じたりしながら10回くらいヘッドフォンで聞くと雰囲気がつかめると思うんですけどいかがですか？

      シェア
      親コメント

    • Re:うーん、本当かなあ (スコア:1)

      by ntakahas (6453) on 2004年02月21日 21時13分 (#500418)
      左から右に1秒かけてスイープする際、音像定位もそれに合わせてパンしたらどうですかね。左側の画像情報は左から聞こえて、右側の画像情報は右から聞こえる。1秒じゃちょっと忙しいんで、もう少し時間をかけて。結構いいんじゃないかと思うんですが。
      シェア
      親コメント
typodupeerror

ナニゲにアレゲなのは、ナニゲなアレゲ -- アレゲ研究家