パスワードを忘れた? アカウント作成
6245 story

SF感覚のMIDIコントローラー 49

ストーリー by yourCat
アレゲな集まりに1台欲しい 部門より

Anonymous Coward曰く、 "MITの学生が開発した、MIDIフィジカルコントローラー『Audiopad』がエレクトリック・ミュージシャンの間で話題です。百聞は一見に如かず、ムービーをご覧ください。"

最近流行りの画像投影とセンサーの組み合わせによるテーブルトップUI。身体感覚に訴えやすいのが特徴だが、なかなかこれといったものを目にすることがなかった。Audiopadの場合は、これが音楽演奏のリアルタイム操作とうまく合っている。現行GUIのメニュー選択を再定義したり位置情報をうまく活用したりと、なかなかアレゲな仕上がりだ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by oltio (3848) on 2003年07月31日 13時41分 (#369540) 日記
    テーブル上のパックの位置・向き検出には、ワコムのタブレットを
    利用したものです。テーブルの下にデカいタブレットが仕込まれて
    いて、時分割スキャンをかけて複数のパックの位置と向きを検出して
    います。詳しい話は彼のページから辿れる「SenseTable」の論文を
    参照してください。

    位置検出の精度は充分です。各パックの距離や位置関係で演奏内容が
    決定されるので、再現性に問題はありません。反応速度(レイテンシ)
    については定量的評価がないので文献からはわかりませんが、理論的
    には1/100秒程度におさめられるものと思います。ただ、投影されて
    いる画面も含めると、もうちょっと遅くなるでしょう。

    現在の実装では画像投影にプロジェクタを使っているため、設置
    場所・条件には大きな制約が加わります。下のワコムタブレットの
    問題さえ真面目に解決すれば、液晶画面と組み合わせる事も可能な
    筈です。現在、複数のパックの位置検出が可能な液晶ディスプレイ
    タブレットが製品として出ていないのでこういった実装になっている
    訳なので、商品化の話が出てくれば、ワコムと協力してそうした
    製品を開発する事ができるかもしれません。(UI研究者には嬉しい逸品)
      • 現在、複数のパックの位置検出が可能な液晶ディスプレイ タブレットが製品として出ていないのでこういった実装になっている 訳なので、商品化の話が出てくれば、ワコムと協力してそうした 製品を開発する事ができるかもしれません。
      これってWacomCintio [wacom.co.jp]がintuosみたいにマウス等に対応したものって事ですね。
      でも現状でもペンと消しゴムの2種類は対応しているんだし、複数デバイス対応は(Wacom側からみると)簡単に出来そうですね(どのように認識しているのかは知らないんですが)
      #マウス出さないのはintuosとの差別化かかなぁ...

      確かにそういうデバイスは欲しい...研究者じゃなくても。
      親コメント
      • WACOMのデバイスは、確か全てユニークなIDがついていたと思うので、ドライバさえあれば既に全て実現可能なのではないかと。
        廉価版の系統はどうだか分かりませんが、少なくとも、高級機用のデバイスについては、絵筆を買い足すようにペンを買い足して、それを対応するアプリケーションなりに登録してやれば、ペンを持ち替えるだけでブラシや色や効果やらを切り替えられるようになっていたハズ。
        つまり、(認識する本数的上限はあるのでしょうが、)五本のペンがあれば、それらの五本のそれぞれ「鉛筆」「太筆」「細筆」「エフェクト呼び出し用」「消しゴム」と、割り振れると。

        今回のコレを真似するならば、卓上でスライドさせている操作用の駒にそれぞれID付きのセンサーを組み込むだけって感じかな。
        グラフィクス用 [wacom.co.jp]のツールが音楽用にも展開できるとなれば、WACOMの方もすぐにでも対応しそうだ…
        --
        -+- 想像力を超え「創造力」をも凌駕する、それが『妄想力』!! -+-
        親コメント
        • 市販されている製品に同梱されているドライバでは、同時に使用できる
          デバイスの数は2までです。関連研究で挙げられている同研究室の
          SenseTableでは、デバイス側のIDを時分割で変化させる等の涙ぐましい
          ハックを経ての事なので、そう簡単にはいきません。詳しくは
          SenseTable [mit.edu]を参照のこと。

          で、今AudioPadの論文を読んでいるのですが、どうも論文執筆時の
          実装では、Zowie IntertainmentのEnhanced Gardenの手法を採用している
          ようですね。大筋は同じで、時分割スキャンして複数のLCタグを認識する
          というやり方ですが、多分センサは自作でしょう。
          親コメント
  • 聞いている人よりも (スコア:2, すばらしい洞察)

    by ta98 (10561) on 2003年07月31日 11時08分 (#369387) ホームページ
    楽器?と、とらえていいのでしょうか?
    聞いている人にはただの演奏。演奏している人のほうが楽しそう。
    実際やる場合、演奏している手元をカメラで捉えて、大画面に映し
    て観客にも見せるのでしょうか。

    #全く違うけど「テルミン」を連想。
    #目が疲れそうなので長時間は…
    • 楽器とりうより、シーケンサじゃないですかね。
      動画を見る限りメニューから音色や演奏するフレーズを選択しているように見えます。
      親コメント
      • Acid [hookup.co.jp] みたいなループ系の音楽ソフトをリアルタイムでコントロールしているような感じですね。ぱっと見、やっていることはDJっぽいですけど、フィルターやら、ループのタイミングを合わせたりなんやらそのまんまループ系の音楽制作ソフトっぽいです。

        てなことより何より、見た目が非常にアレゲでクールなのが魅力的(うっとり)

        親コメント
        • >Acid [hookup.co.jp] みたいなループ系の音楽ソフトをリアルタイムでコントロールしているような感じですね。

          ACIDは常用しているので真っ先にそれっぽいなと思いました。ただACIDは再生中にフレーズをON、OFFしたりフィルタを弄ったりしても、かならずしもリアルタイムに出音が変化するとは限らないので、鳴らすだけならこっちのほうが面白そうです。

          >見た目が非常にアレゲでクールなのが魅力的(うっとり)

          同意。
          親コメント
          • by G7 (3009) on 2003年08月02日 14時21分 (#370760)
            >ただACIDは再生中にフレーズをON、OFFしたりフィルタを弄ったりしても、
            >かならずしもリアルタイムに出音が変化するとは限らないので、鳴らすだけならこっちのほうが面白そうです。

            せんせい!
            俺のこいつ [nifty.ne.jp]にループ機能(ループ制御Component)を追加したら、ウットリしてもらえますか?(藁

            まあこいつもMIDIイベントを結構バッファリングしてる(未来の数拍分を予めバッファに入れてる)んで
            リアルタイム編集に対するリアルタイムな追随は、いまいちかも知れないけど。

            ちなみに2枚目のScreenShotの左側は、「DelphiのFormのソース」です。
            MIDI入力を録音する機能を使った場合、コンポを自動生成するがゆえに、
            Delphiの2way開発機能とやらのゴリヤク(副作用?)で、
            Formのソースが凄まじいことになります(^^;
            どう?こういう面は見た目が非常にアレゲだと思うんだがなあ?

            #何度も同じネタ使って御免なのでG7。最近音楽ネタはあんまり作ってないんで…

            #MVCはイマイチだと思っているんでG7。Modelを直接ユーザに触らせるほうが好み。

            #つまり、今回話題のソフトの動画が、まだダウンロードできてなくて悔しいG7(ぉ
            #ここ数日、特に遅いぞAirH(T_T)
            親コメント
    • by se7en (7092) on 2003年07月31日 11時43分 (#369428) 日記
      > 楽器?と、とらえていいのでしょうか?

      奏者によるでしょう。ターンテーブルやテープレコーダをアナログ盤や
      テープのプレイヤとしかとらえられない人もいれば、楽器として
      演奏してしまう人もいるわけですから。

      Brian Eno でしたっけ? 「初めて手にした楽器はテープレコーダだった」
      と云ったのは。

      DJ 的発想ですよね。ギターやピアノなどの古来からの楽器の奏者では
      思いつかない奏法だと思います。

      MAX [opcode.com] なんかと組み合わせると面白そう。
      親コメント
  • by Anonymous Coward on 2003年07月31日 10時03分 (#369327)
    How much does audiopad cost? [mit.edu]

    Audiopad is not currently for sale. We are looking at commercialization, but a retail product is far enough away that we do not have concrete price points or release dates at this point.

    との事。
    名乗りを上げるメーカーはいないか?

    出来ればオープンハードウェア、オープンソースで出してください、、無理かな。
    でも とてとてハックしたいです。遊ぶよりそちらに強い興味がある。ハックから発展すればまた商売ネタになるワケで良いチェーンが出来ますよ、とか安易に呟いてみるテスト。

    これ、いくらでも発展出来ますよ。
    • by take0m (4948) on 2003年07月31日 14時17分 (#369570) 日記
      プロジェクター+テーブル投影用部材
        暗いところ用 98,000円
        明るいところ用 298,000円
        VGAが表示できるものなら他でも代替可能。
        ただし、設置は自分で工夫してください。

      ワコムintuos2 i-1820USBポート
        153,000円

      センステーブルパック4個+専用ソフト
        39,800円

      MIDIインタフェース
        自分で用意してください。
        市価3,000円~

      これくらいなら買う人いるかな?
      ミニマムで30万円くらいからのスタートですね。

      ノートPCと音源と各種ソフトも付けたオールインワンパックで
      598,000円でいかがでしょう?
      親コメント
    • by Anonymous Coward
      アナログ感覚で操作可能な部分は別に問題ないけど
      あまりにの偶然的要素が多すぎると今度はもう一度同じ
      感覚が作れなければコントローラーして失格である。

      オープンソースに頼るより自分でアルゴリズムを考える方がよろしいかと思います。

      #複数のポイントを読
      • Re:再現性 (スコア:1, おもしろおかしい)

        by Anonymous Coward on 2003年07月31日 11時34分 (#369418)
        >#座標くらい入力できたら画面をそのポイントを画面動かすくらいの
        >#ソースくらい書こうよ。

        すいません、そんなソース書けません。
        親コメント
      • by Anonymous Coward
        > あまりにの偶然的要素が多すぎると今度はもう一度同じ
        > 感覚が作れなければコントローラーして失格である。

        コントローラーでなく楽器として考えれば、と。
        • by Anonymous Coward
          >コントローラーでなく楽器として考えれば、と。

          これ失格、楽器と考えるとイメージの通りに動かないとだめ
          完全にタイミング通りに動かないと音楽にならない。
          マイナーなテルミンはイメージ通り弾けるので
          • by Anonymous Coward
            そうかなぁ。慣れればイメージどおりの音楽作れそうだけど。
            #確かに、これを使ってフレーズから作っていくのは無理だと思うけど。
      • by Anonymous Coward
        > ソースくらい書こうよ

        何のために?意味無いよ。
        電波増えたな、、
        • by Anonymous Coward
          > 電波増えたな、、

          同感。日本語になってないコメント多すぎ。夏だからか?

    • 名乗りを上げるメーカーはいないか?
      AppleかGriffinあたりが好きそうだよね。 # 順当にいけばMOTUか?
  • by junktest (16026) on 2003年07月31日 11時10分 (#369390) 日記
    直感的な操作っていうのもいいけれど、なによりも演奏しているプレイヤーを見ているのもすごく楽しそう。
    音楽を楽しむ要素としてこれ大事だと思うっす。
    --
    -- JuNya
  • 照明とかが暗い状況でも使いやすそう。
    --
    ------ 「俺は死ぬまで詩を謳い戦場を駆けまわるのだ」(曹操/蒼天航路)
  • by yoz (6065) on 2003年07月31日 12時03分 (#369446)
    物理的なオブジェクトにバーチャルにデータを投影しつつ、
    それを手で直接操作できる、ってのは、拡張現実の考え方ですよね?
    今まで見た拡張現実的UIの中でもコレは洗練されててカッコいいですよー。

    # って、たくさん見たわけじゃないけど

    為替とかのディーリングルームで、エアホッケーみたくメモみたいなやつを
    飛ばしまくってる画を昔よく見ましたけど(今はどうか知らん)、
    あのへんのシステムのUIとして、これ系はかなりイケるような気が。
    • by G7 (3009) on 2003年08月02日 14時38分 (#370766)
      >為替とかのディーリングルームで、エアホッケーみたくメモみたいなやつを
      >飛ばしまくってる画を昔よく見ましたけど(今はどうか知らん)、

      あくまで空想でしょうけど(まさか実現してるわきゃないよね?(藁))、
      最近のhp社のCMに、ちょうどそれ(の未来の姿?)みたいなのが有りますよね。
      舞台設定もちょうど為替とかの場みたいですし。

      なんか、キーボードを叩きまくってる手の指から「+」記号とかが空中に飛び出す、って奴。

      ああいうの欲しいなあと結構思ってしまったのでG7
      親コメント
  • おふとぴ (スコア:1, 興味深い)

    by Anonymous Coward on 2003年08月01日 2時20分 (#370058)
    最後に出てくる小林かずえさんが気になる。。。
  • by Anonymous Coward on 2003年07月31日 11時11分 (#369391)
    これ、文字やら絵やらってのは上から投射してるんだねぇ パネル側に文字が出てくるようにしない限り、一般に普及はしないと思うのだが? 設置場所選ぶし、暗くないと駄目だし
  • by Anonymous Coward on 2003年07月31日 20時15分 (#369824)
    机と電子ペンとチップを埋め込んだ紙とで、アイディアプロセッサシステムなんて
    出来ませんかねぇ? 紙を取り出して電子ペンでなんか書き込むとテキストが取り込まれて
    紙と紙の間に線を引っ張ると、光の線で関連づけられて……てな感じで。

    #……巨大液晶ディスプレイ机の方が簡単という噂も(^^;;
    • 手書きで書いた文章がテキスト化されてついでに
      系統を接続できるってのがMacOS Xのシェアであったなぁ

      アイディアで複雑かつプライオリティーが存在する場合に
      役立つであろうと

      #リンクを忘れたのでAC。欲しかったりするんだけど悔やんでいるので更にDC

      思うんだけどさ、このUIってのは同時操作性ができるのが特徴だから
      それをしないの
      • もうちっと見た目においしい実装形態をとったものでは、
        電子白板に映像を重畳したもので、ポストイットで書いた
        メモを貼り、その関連をペンで線を引いて示してやる、
        といったものがあります。メモの内容はデジカメで撮影して
        保存します(電子テキスト化もやればできるでしょう)。
        The Designer's Outpost [berkeley.edu], Scott Klemmer, 2001

        >思うんだけどさ、このUIってのは同時操作性ができるのが特徴だから
        >それをしないのであればマウスで事足りるって事なのよ。
        >ミキサーのフェーダーなんて同時に複数コントロールする必要があるから
        >専用機器であったりコントローラーであったりする。
        >とりあえず同時に複数のパラメータを動かす事に付いて考えた方が
        >新しい使い方が見つかるであろうと。

        まさしくその通り!!!!おねがい、みんな考えて… [titech.ac.jp]
        親コメント
      • なんというか、DJ/VJで利用したのが画期的なんだと思いますよ。
        直感的に面白そう、すごそう、楽しい、ってのが伝わる商品だと思います。
        使い道のない技術や売れない技術なんて開発したって意味ないですから。
        親コメント
        • by Anonymous Coward on 2003年07月31日 23時23分 (#369951)
          >使い道のない技術や売れない技術なんて開発したって意味ないですから。

          ホントはあるのよ。既存のOSに当てはめると
          インタフェイスそのものが変わってくるでしょに
          って事で専用に作る必要性がある。
          これ実はさ、入力じゃなくて出力としても
          利用できる事に気付いてない?

          対話型のAIの研究なら予算は組める(ほんとかー)
          ま、音頭が取れて説得が上手いやつに頼めば
          進められるだろう。成果をとりあえず定期的に出さないと
          だめだからシナリオだけ先行させて予定立て見ると

          #うさん臭いのAC
          親コメント
          • by oltio (3848) on 2003年08月01日 0時45分 (#370014) 日記
            そろそろ余談ですが、ホントに出力側に注目した方の研究:

            Actuated Workbench [mit.edu]

            テーブル上のパック(磁石仕込み)を、電磁石アレイを使ってコンピュータ側
            から動かしてしまうというもの。映像は必見。
            #最後のオチはその前年にMERL [merl.com]が発表した
            #DiamondTouch [merl.com]のビデオを見てないとつまらないだろうな…
            親コメント
          • >>使い道のない技術や売れない技術なんて開発したって意味ないですから。
            >
            >ホントはあるのよ。既存のOSに当てはめると
            >インタフェイスそのものが変わってくるでしょに
            >って事で専用に作る必要性がある。
            >これ実はさ、入力じゃなくて出力としても
            >利用できる事に気付いてない?

            まあ、利用できるってところで、使い道があるってことで。

            ところで私はGUI否定派です。自分がやりたい作業を画面上の位置情報に置換する行為が我慢なりません。例えばWindowをクローズするためにこのボタンを押すってのとかですね。

            将来的にはタッチパネル+3Dジェスチャー認識+音声認識+ソフトウェアキーボードってのが理想です。ジェスチャーはマイノリティリポートくらいはできてほしいです。しかもあんな小道具なしで、映像から読み取ってもらいたい。音声認識での対話では、コンピュータがAI並に考える必要はないですけど、音声とその意味は認識してもらいたいです。ちょうどスタートレックのコンピュータのようにですね。キーボードは音声が使えないとき用、タッチパネルも同じ用途と、ショートカット用ですね。
            親コメント
            • 音声認識での操作をまともにやろうとすると、AI並み(って?)の理解力は
              どうしても必要になります。「その意味を」ってところで、何らかの
              知識ベースと文脈理解が必要になります。例えば代名詞の決定なんかが
              その対象となります。「~をするにはこのボタンを押す」というような
              約束事すらおっくうだ、というような人にもストレスなく使ってもらうには
              相当高度な文章理解が必要となるかと思います。

              とはいえ、ユーザーが「こうしたい」と思っている事を機械に伝えるまでの
              経路、すなわちインターフェースの現状でのショボさを何とかする一つの
              重要な技術ですので、今後も注力されるべき分野だとは思います。
              親コメント
              • 私的な定義では、完全なAIってのは自ら情報を生成できることって思っています。それは私は求めていません。私が欲しいのはあくまでもIPOをするシステムです。人間のInputに対して適切なOutputをしてくれるだけで良いのです。

                音声認識+形態素解析+構文解析+意味解析ならば、もちろん現時点では厳しいですが、チェスと同じで、マシンパワーが今より3桁くらいあがれば力技で処理できる気がしています。ある意味、人間だってニューロンの数にもの言わせた力技といえなくもないような・・・

                ちなみに、現在の音声認識を使ったアプリでは

                「えーと、新幹線を予約したいのですが・・・
                明日、東京から大阪まで1人。
                あ、禁煙で
                できれば窓側がいいです。」

                というような程度であれば、不特定話者の電話口のノイズ交じりでも、ほぼ完璧に処理できます。もちろんこれは、チケットの手配という限られた話題のみを取り扱っているからです。

                OSの場合も、OSの操作という限られた範囲であれば、あと5年もすれば充分可能な気がします。
                親コメント
      • by G7 (3009) on 2003年08月02日 14時56分 (#370769)
        >思うんだけどさ、このUIってのは同時操作性ができるのが特徴だから
        >それをしないのであればマウスで事足りるって事なのよ。

        とりあえず知ってる範囲では、やっぱりSmartSkin [sony.co.jp]ですかねえ。
        ハードがシンプルで、これくらいシンプルなら
        「ディスプレイの画面の上」にも構築できるんじゃないか?と
        思える(ぉ)あたりが、嬉しい感じ。

        あとは、OSとかだよなあ。
        「任意のハード」を「特定の論理デバイス(例えばマウス)」だと「見なす」という
        今ありがちなやりかたじゃなく、
        「任意のハード」を「任意(新造含む)の論理デバイス(例えば…想像もつかない)」として
        受け入れる能力を持つOS、みたいなものが、普及(^^;して欲しい。

        どんな面白そうなデバイスを目にしても、それをPC(?)と接続することを考えたとき、
        ハードアクセス部分を「アプリ専用に」しこしこ作ることを考えると、
        どうにも萎えちゃってねえ。

        そういや、メジャー(^^;なOSでは、
        「1つのボタン(を任意個接続する)」や
        「1つのスライダ(を任意個接続する)」
        といった基本的(?)な概念すら、(適度に抽象化されたかたちで)用意されては、いませんね。
        画面上のGUI部品だとボタンやスライダが無いなんて言ったらどれだけ怒られるか判ったもんじゃないのに、
        それと同じものがハードウェアとのInterfaceについては全然用意されてないなんて…
        親コメント
      • denim [berkeley.edu]も、手書きのwindowと線で、構造を書いてけます。
  • by Anonymous Coward on 2003年08月01日 3時40分 (#370078)
    SFって文字を見ると"Science Fiction"でなく
    "Sex Friend"をまっさきに思い浮かべる私は
    少し病んでるのかもしれません。

    # 真実なのでACの方向で。
typodupeerror

UNIXはただ死んだだけでなく、本当にひどい臭いを放ち始めている -- あるソフトウェアエンジニア

読み込み中...