パスワードを忘れた? アカウント作成
21211 story
ソフトウェア

和音を分解、いじれちゃう Direct Note Access 44

ストーリー by mhatta
うーむこれはすごい 部門より

YOUsuke 曰く、

マイコミジャーナル、独Celemony、和音を自由に編集できる新技術「Direct Note Access」を発表より。独Celemonyが新技術「Direct Note Access」を発表した。言葉で説明するよりもリンク先のムービーを見ていただく方が早いだろう。和音を含む音源を単音に分解し、音ごとにピッチ・タイミングなどを編集できる。また一括してコードを変更するような編集も可能なようだ。タレコみ人はDTMは門外漢だが和音を分解できるというのは高度な技術であると思う。DTM界隈の反応を見るとループ音源の使い道、録音後の編集の幅が大きく広がるといったことに感嘆の声が挙がっている。分解できる音源の条件はまだわからないがこの技術、DTMに大きなインパクトを与えそうである。あと開発者がひげもじゃでプリチーだ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2008年03月17日 8時49分 (#1314168)
    高速フーリエ変換し、スペクトルのピークを抽出しているだけではないかな。
    スペクトルの複数のピークをまとめて和音として認識する方が技術的に高度だと思う。
    今までのソフトの方が高度なことをしていて、その認識する一歩前の段階まで戻しただけではないのだろうか?
    • だけ?? (スコア:5, 参考になる)

      by unnamed7 (33206) on 2008年03月17日 10時37分 (#1314245) 日記
      そんな単純な話じゃないよ、
      あのね、いままで単音で録音された歌とか、バイオリンとかベースとかのピッチを修正するソフトはあったんだけど、
      (ここ10年くらいでものすごく一般的になって、音楽の作り方を変えた。最初はAUTOTUNEていうソフト。)
      和音になってるものの内声をバラバラに分解して、好きなようにいじれるソフトっていうのはこれが最初で、
      ものすごく画期的なのね。いままでのソフトの方が全く高度、の正反対ですよ。
      単音で録音された音の基音を探すのはそんなに難しいことではないけれども、
      2つの音が混じってるとして、音Aと音Bの倍音が混じり合ってたら、各倍音がどちらの基音に属するかっていうのを
      判断しなきゃいけないからはるかに難しいよ。もう無くなってる情報を再現するんだから。

      作者がメッセでデモしてるビデオだが、最初に和音が分解された瞬間に拍手喝采が起きるんだけども、
      コンピューターを使って音楽を作ることを知ってる人なら誰でも、拍手喝采しちゃうと思う。
      http://www.sonicstate.com/news/shownews.cfm?newsid=6281

      親コメント
      • Re:だけ?? (スコア:3, 興味深い)

        by deleted user (29334) on 2008年03月17日 11時01分 (#1314257) ホームページ 日記
        何しろ「音色分析をした上」で、って話ですからね。
        音色の分析がちゃんと出来ていないと、違和感なくピッチを変えたり、部分的に取り除いて消したり時間をずらしたりなんて、出来る訳がないんですから。

        音程を和音込みで解析するだけなら採譜の達人 [dti.ne.jp]というソフト等がありましたが、それともそれともまた違う凄すぎる技術です。

        ここまで不可能が可能になると、いつか既にミキシングが終わったソースすらバラせる様になるのかも。
        今でもフィルターなどである程度分離できますし、すでに使われている技法ですが、
        単音では微妙でもミキシングして全く違和感が無い程度にまでバラせる様になったら、もっと世界が変わるだろうし。
        --
        =-=-= The Inelegance(無粋な人) =-=-=
        親コメント
        • Re:だけ?? (スコア:2, 興味深い)

          by unnamed7 (33206) on 2008年03月17日 12時57分 (#1314350) 日記
          >ここまで不可能が可能になると、いつか既にミキシングが終わったソースすらバラせる様になるのかも。

          ね、ほんと。けど、新しいメロダイン、デモ見てるとひげもじゃのおっさん、ミュートもできるって
          言ってますよ、、ひょっとするとピッチが拾えるサンプルなら単音にバラせるかもよ。
          (実際全部の基音が拾えてバラバラにピッチ変えられるんだったら、バラせるってことな気がする。)

          しかしデモはどう見ても、うまく選んだサンプルに対してやってる気がするので、
          はやく自分でいろんなもんいれてみたいです。秋出荷のようですが。

          >今でもフィルターなどである程度分離できますし、すでに使われている技法ですが、

          それは、とある特定の周波数を抜くっていうだけですから、やっぱり圧倒的に違いますよね。

          >単音では微妙でもミキシングして全く違和感が無い程度にまでバラせる様になったら、もっと世界が変わるだろうし。

          ほんと。サンプリングの概念が変わるね。昔の曲の再利用がもっともっと簡単になる。

          #そしてまた著作権どうしよう問題が・・。

          親コメント
      • by toworu (27387) on 2008年03月17日 14時04分 (#1314417)
        >>作者がメッセでデモしてるビデオだが、最初に和音が分解された瞬間に拍手喝采が起きるんだけども、

        和音の分解だけならば、こういうのはあります。使ったことないのですが。
        http://www.forest.impress.co.jp/article/2007/02/23/wavetone.html [impress.co.jp]

        これは単純に、FFTをかけて、基音を探しているように見えますね。(もちろんノウハウはいろいろありそう)

        おっしゃるように、混合している倍音を分離するのは難しそうですから、そこは画期的ですね。
        親コメント
        • Re:だけ?? (スコア:4, 興味深い)

          by unnamed7 (33206) on 2008年03月17日 15時03分 (#1314470) 日記
          ありがとうございます。

          でもこれ、単純にFFT(スペクトログラム)の周波数表示をノートにしてるっていうだけのものですね。
          そのソフトを使っても実際にノートを探して分解するは人間で、その探すアルゴリズムが難しいのです。
          (そもそもそんなソフトがあるくらいですから、人間がやっても難しいのです。)

          どうもFFTで和音を周波数成分に分解することと、和音を一つ一つの楽音に分解することを混同してらっしゃる
          方が多いようですが、この2つは全く別物です。

          たとえば、440hz (ピアノの真ん中のラ)をギターの一番上の弦で弾いたとするでしょう、
          まず音のアタックは440hz整数倍じゃないやつがいっぱい入ります。これは後ろの形から類推するか、多分無視します。
          そしてピッチの間隔を生む持続音部分=サスティンには440hzの整数倍がいっぱい入ります。
          一本だけならまだ事は簡単です。440hzと880hzと1760hzと、多分1120hzと2240hzと、それらの全部の倍音が
          周辺で揺れてるのを見れば、基音が440hz付近だ、っていうのはわりと簡単に見つけることができるでしょうよ。
          じゃあ、一番上の弦がラで、一番下の弦がその2オクターブ上のラ、1760hz、の2本の場合を
          考えてみて下さい。上に書いた周波数と、さらに1760hzからもう一度整数倍音がたくさんですよ。
          さらにギターという楽器は基音よりもオクターブ上の倍音のほうが強いとか、いろんなパラメーターがあります。
          各倍音の並びとそれぞれの音量がどうなっているのか判断しないことには、この2本でさえ分離できないのです。
          ましてやこれが普通5、6本有るわけですよ、全部ああいうふうに分離するのは並大抵のもんじゃないのです。
          ひげもじゃで英語がなまってないとできない芸当です。

          (ところで倍音については、ピッチの感覚に影響のあまりない、ある程度の周波数から上(8Khz以上とか)は
          無視していると予想します。そのへんから上はほとんどノイズですし、
          各成分の位相の関係でどういじってもものすぐ機械的になります。たぶん触らないほうがきれいな音になります。
          発売されて試せば分かると思いますが、暗いコードで弾いたギターを明るくしても、きっと少し暗さが残ると予想しますです。
          とにかく面白そう、期待してます。)
          親コメント
          • by toworu (27387) on 2008年03月17日 16時25分 (#1314531)
            なるほど、とても参考になりました。

            でも実際の話、例にあるように、ギターをオクターブで鳴らした場合、2音に分解することって可能なのでしょうか?
            「ギターの音はこういうものだ」と知っていないと、不可能な気がするのですが。
            単音で鳴っている(であろう)部分の波形から外挿・類推するのかな。それならありえるか… 誤認識もしそうですが。
            親コメント
            • by unnamed7 (33206) on 2008年03月17日 16時43分 (#1314538) 日記
              デモを見るとアコギとストリングスと声、しかやってませんから、ひょっとすると楽器を指定するかもしれませんよ。
              もしアコースティックギターだと指定しされていれば、よほどひどい録音でないかぎり
              倍音の並びと音量がだいたい分かるので検出するのが比較的楽になるでしょう。

              単音のピッチ修整ソフト(ひげもじゃおっちゃんのMelodyne,先駆者のAutotune,個人的に一番お勧めのWaves Tune,
              お手軽なAKAI PitchRight, 音はいちばん良いかもYAMAHA PitchFix.)なんかも、
              声の音域(バリトン、テナー、ソプラノ、)とか楽器(Bass, Violin, etc.)、とか、
              場合によって音色を指定しないとうまくいかないことがあります。(指定できないやつもあります。)
              まあ、プロの歌手ならたいていの場合はデフォルトで検出しますし、デフォルトで検出できないような歌を直すのは
              ちょー面倒でやな仕事なんですが、今後へたくそなギターのコードをたたき直すとか、そういうことしなきゃいけない
              場合が出ると思うと恐ろしいです。
              親コメント
      • by pinkmist (35915) on 2008年03月17日 16時33分 (#1314533)
        >作者がメッセでデモしてるビデオだが、最初に和音が分解された瞬間に拍手喝采が起きるんだけども、
        >コンピューターを使って音楽を作ることを知ってる人なら誰でも、拍手喝采しちゃうと思う。

        会社で思わず「おー、すげー」と声をあげてしまいました(恥

        ギターフレーズとか、運指不可能なフレーズも簡単にできそうで
        耳コピ泣かせなやつかも。

        親コメント
    • by Anonymous Coward
      私もリンク先動画を見ただけですがFFTだと思いました。
      単音源でしか使えないようなので用途はレコーディングスタジオでの
      修正作業用という感じですかね。
    • by Anonymous Coward
      実際の音楽製作の現場で鳴っている和音は整数倍の正弦波だけで出来ている訳ではないので ドラム、パーカッション、その他諸々に含まれる非整数次倍音まで解析して、 その上でちゃんと和音を分解出来るとしたら極めて革命的なソフトだと思います
    • by Anonymous Coward
      だけじゃないよ。他の人も説明しているように。凄過ぎます。
      わからん人にはまるでわからんのだろうな、この手の技術は。
    • by Anonymous Coward
      まず、アルファ値10%の画像を適当に10枚用意してください。
      それをおもむろに重ねて見てください。おぞましい絵ができあがりました。
      そして、レイヤを統合して1枚の絵に変換してしまいます。

      さて、この統合画像から元々の画像を抜き出したり、あまつさえ手を加えたりすることはできるでしょうか?

      # なんかビミョーじゃないくらいズレてる気もするのでもちろんAC
      • それじゃ絵描き向けなので、

        プログラムだとコンパイル済みのバイナリからコメント込みでちゃんと構造的なソースが復元できます。
        ただし複数の言語が混じっていたりDLLをたくさんリンクしていたら無理ですよと。

        料理なら、出来上がった料理をスキャンするだけで材料と分量がわかります。
        でも一食まるごと胃袋に入れてからは無理です。

        #なんかおかしくなってきた…
        --
        =-=-= The Inelegance(無粋な人) =-=-=
        親コメント
  • by ksiroi (24990) on 2008年03月17日 10時14分 (#1314230) 日記
    >あと開発者がひげもじゃでプリチーだ。
    タレコミ者はこれが言いたかっただけに違いない!!

    DTMは門外漢(:>^
    • by Anonymous Coward
      アレたまにプラスモデした理由はまさにこれでした。

      ※のでAC
    • by Anonymous Coward
      >>あと開発者がひげもじゃでプリチーだ。
      >タレコミ者はこれが言いたかっただけに違いない!!

      つまりタレコミ者は、RMSとかDK(DanKogai)とかの事を考えるとアッー
    • by Anonymous Coward
      そみんさいとか言うなよ不謹慎だな
  • これって楽器の部分だけを取り出してセンターキャンセルではないカラオケ化とかにも流用できそうな物?

    # そんな需要が制作で必要かどうかはとりあえず投棄。
    • by Anonymous Coward
      > センターキャンセルではないカラオケ化
      私も同じ事を期待してしまいました。
      これまでにも、音声周波数帯だけを省くとか、中央に定位する音だけを省くことでカラオケ化するソフトなどがありましたが、
      どれも僅かに声が聞こえてしまったり、バスドラムなど音声と同様に中央定位な音まで霞んでしまったり…。
      個人的に納得できるものが無かったので、今回のソフトにはちょっと期待しています。

      > そんな需要が制作で必要かどうかはとりあえず投棄
      考えようによっては、製作サイドでも需要はあると思います。
      たとえば、音声を消すのではなく、逆に音声だけを残して他の音を消せると考えたらどうでしょうか。
      それが可能であれば、既に亡くなられて新録できない大物歌手が残していった古いレコードから、
      その歌声だけを抽出して、現在の演奏とミックスして、リバイバルブームを興すなんてことも有り得るんじゃないかと。
      • 単一の音色で構成されたトラックの、それぞれの楽音のピッチを変えるっていうのと、
        混ざった音楽のなかからひとつを抜く、っていうのはまた別問題です。
        おっちゃんのアルゴリズムでも、混ざった音楽のなかからひとつを抜く、っていうのはまだできません。
        いかにひげもじゃでもまだ無理です。

        >既に亡くなられて新録できない大物歌手が残していった古いレコードから、
        >その歌声だけを抽出して、現在の演奏とミックスして、リバイバルブームを興すなんてことも有り得るんじゃないかと。

        これはこのソフト(Melodyne2)に関係なくすでに興っている現実だと思いますが。
        親コメント
        • by Anonymous Coward
          どこまでをもって「単一の音色」っていうのか?は、
          かなり難しく、また恐らくヒューリスティック入りまくりな
          問題でしょうね。

          人間は「習慣」として「ああこれは同一の楽器の音だ」と思うのだけど、
          ギターの弦違いの音とか、
          ピアノだって音域ごとに弦(の構造)が違うとか、
          1つの楽器の中にも色々な音色変化があるので、
          そのへんまで含めると、
          はてどうやるんだろう?ボクにはわからないや…という感じです。

          また、この問題があるせいで、
          ユーザによる音色登録方式にはちょっと無理が有るんじゃないか?と想像してます。
          というのは、もし登録した音色でマッチングさせるなんてことになったら、
          使い物になるほどの登録「件数」をユーザにやらせるという、
          すごい重労働を強いることになってしまうので、
          商品として売りにくいものになってしまう。
          (オープンソースで集合知だ!とかするつもりならニヤリとしますが)
      • >既に亡くなられて新録できない大物歌手が残していった古いレコードから、
        >その歌声だけを抽出して、現在の演奏とミックスして、リバイバルブームを興すなんてことも有り得るんじゃないかと。

        ナタリー・コールのアンフォゲッタブルとかありますね。父親(故人)のナット・キング・コールとのデュエットが話題になりました。
        既存の技術でもそれなりに可能なのでしょう。
        親コメント
  • by magrin (17834) on 2008年03月17日 16時52分 (#1314549)
    音に含まれている音程を分離する、というか、音程「で」分離するというか、そんな感じでしょうか。同じ音を2つ以上の楽器が演奏すると一つのnoteとして取り出されるのであって、各楽器に分離できるわけではないですが。それにしても画期的。
    デモでチェットベイカーのソロをオーケストラから分離したのには驚いたけれど、他のパートに無い部分はうまく抽出されていますが、ストリングパートの音と重なった音は一緒にワンノートになっている様に見えます。
    何だつまらんじゃないか、と思ったけれど、ユニゾンになったパートの音程を一まとめ(一まとめにしかならない)で編集できるので音楽的には十分有効だと思います。
    • by MT-32 (13748) on 2008年03月18日 9時05分 (#1314949)
      >音程「で」分離するというか、そんな感じでしょうか。
      なるほどねぇ。

      ミックス後のソースから抽出できるような - オーケストラの演奏からパート譜が出来るようなイメージがどうしても湧いてしまいますけど(笑)。
      #そりゃ、そんなことを心の底で期待しているから?
      レコーディング時に1トラック(=1楽器、1パート)毎に操作するって使い方なんでしょうね。
      いや、でもすごいよなぁ。

      目の前にあったら、まず始めにシンバルの音を突っ込んでみたい気がする;-p
      親コメント
    • by Anonymous Coward
      なんだ、第1バイオリンと第2バイオリンとチェロとビオラが
      同時にAを弾いたとして、それを4つに分離できるって話ではないんですな。
    • by Anonymous Coward
      >ユニゾン

      そのへんもちょっと不安要素です。
      ユニゾンといっても、電子楽器(サンプラー含む)ならまだ音が物凄く整うからいいんですが、
      生楽器、しかもピアノ以外の多くの「微妙にピッチがずれる」楽器においては、
      ユニゾンは各楽器から出る音のデチューン(ずれ)かかりまくりの音の集合です。

      そういうのも含めてきちんと期待通り取れるんだったら、もう「神」ですね。

      #Jazzっぽい曲は耳コピできないので、機械にやらせれるなら大喜びの AC
  • by SorabeAlto (35110) on 2008年03月17日 21時06分 (#1314714)
    ミックスジュースを構成果物ごとに選り分けるようなもの?
    逆(混ぜる)は簡単、てのも含めて。
    --
    ----------科学は思考の柔軟剤
  •  元の音が判るんならば基音を元に倍音成分の再生もできるはずなんだから、オーディオ用の「原音再生(再生成の方)」アダプターとかにも応用でき無くない?
     「失われた倍音成分を再生する」とか言って各社が出している奴。
    --
    ここは自由の殿堂だ。床につばを吐こうが猫を海賊呼ばわりしようが自由だ。- A.バートラム・チャンドラー 銀河辺境シリーズより
    • by Anonymous Coward
      あの手の話はオカルトなのであんまし関係ありません。
      •  ん?
         あっち(各社が出しているアダプタ)がオカルトかどうかは兎も角として、こっちの応用で「失われた高音域を復元」するならば、理論的裏付け付きでできるんじゃないって話なんだけど。
        --
        ここは自由の殿堂だ。床につばを吐こうが猫を海賊呼ばわりしようが自由だ。- A.バートラム・チャンドラー 銀河辺境シリーズより
        親コメント
  • by Anonymous Coward on 2008年03月17日 7時48分 (#1314141)
    最近/.jがDTM magazine web site [dtmm.co.jp]の追っかけをしてるような気がしてきた…
    ソニーがUSB出力付きレコードプレーヤーを発売 [srad.jp]と アナログシンセ「KORG MS-10」を再現したニンテンドーDS用ソフト発売 [srad.jp]が続いた時は単なる偶然かと思ったけど、今回のまで来るとねえ… 3/12 のところに集中してるのは謎だが。
    まあ気にしない気にしない。単にむこうのサイトがアレげ化してるだけだろ(違)

    # ミクブームになってから DTM マガジン買ってないので AC
    • by Anonymous Coward
      そりゃ、スラドは各種専門ニュースの寄せ集めだもの
      そんなん言ったら、impressやらIT mediaの追っかけにも見えるぜ?

      DTMだって、テクノロジーの塊なんだ
      /.Jerの琴線にも触れる話題があったって何もおかしかない

    • by Anonymous Coward
      今回紹介されたこれがきちんと発売(リリース)されることを祈っています。

      というのは、もしリリースできないなんてなことになると、
      スラドJはVaporWareの追っかけ、ということになってしまうので。

      #なんだってー?!
    • by Anonymous Coward

      # ミクブームになってから DTM マガジン買ってないので AC

      コメントへの返信になってしまいますが、

      ・着メロ制作の話題で多くのページが使われるようになって購入をやめた
      ・映像(動画)編集の話題で盛り上がってた時期に購入をやめた

      という人も多いようですね。

      DTMというニッチな趣味の世界で新しい話題を探すのに、
      編集部も苦労しているのでしょうなあ…。
  • by Anonymous Coward on 2008年03月17日 12時45分 (#1314339)
    Fコードがびろろろべ~んになっちゃうような人でもギターの自由な生音が入れられると思ったのはぼくだけではないはず(´・ω・`)
  • by Anonymous Coward on 2008年03月17日 13時05分 (#1314362)
    このソフトを使うことで、やまなみ沈没の録音データからクルーが脱出した声だけを洗い出したりすることが出来るんですか?
  • by Anonymous Coward on 2008年03月17日 16時52分 (#1314551)
    T/O
  • by Anonymous Coward on 2008年03月18日 12時19分 (#1315027)
    使い勝手もよさそうだし感心しますが、パイプオルガンの録音をこれで解析したら、
    和音なのかレジストレーションによるものか、区別つかないかも。
    オルガンのレジストレーションは倍音管の組み合わせなので(シンセも元々
    この原理でしょうが)、楽譜上で単音、押しているキーもひとつという音が、
    和音に聞こえる場合もあります。
    逆に、名演奏家のレジストレーションのヒミツがわかるなら とてもいいかな。
  • by Anonymous Coward on 2008年03月19日 0時54分 (#1315528)
    低域と高域でピッチ精度がほとんど変わっていないように見えますので、フーリエ系ではなくウェーブレット系でしょうね。ひとたび短時間ウェーブレット解析で分解してしまえば単なる1次元データの集合ですから、音の立ち上がりの検出はそんなに難しくないでしょう。大抵の楽音は立ち上がり+その後、という形で構成されますから。

    アイディア自体は、ウェーブレット解析を勉強した人が最初に思いつくような簡単なものだと思いますが、実際に作ろうとすると、オクターブ精度未満のウェーブレット解析の後の加工・再合成を、音楽制作に耐える品質で実現するのが難題で挫折します。今回はそこをどうにかして解決したんでしょうね。

    AutoTuneとかV-Vocalで実現されているものは、解析した情報を元に音声全体のピッチを変更することで、上記の加工・再合成を回避しているものだと考えています。(よって単音しか使えない)
typodupeerror

私はプログラマです。1040 formに私の職業としてそう書いています -- Ken Thompson

読み込み中...