+




Kinect meets music
-モーショントラッキングで音楽の新時代が始まる-
    サイボウズ・ラボ ユース   第二期生   中島 遼
                   第一期生   桐井 祐樹
+
    自己紹介
 中島   遼
     東京電機大学 情報通信工学科
     サイボウズ・ラボユース 第2期コアメンバー
     自然言語処理 趣味でDTM
     神姫神姫ー!

 桐井   祐樹
     筑波大学情報学群 情報科学類
     サイボウズ・ラボユース 第1期サブメンバー
     セキュリティ&プログラミングキャンプ2010 言語組
     ロボット開発 最近はWebアプリケーション開発など
+
    Kinect × music
    Kinect
            Xbox360 向けのゲームデバイス
      Microsoft
      RGBカメラ・深度センサ等を搭載
      コントローラ無しでゲームを操作できる

    「音」と「映像」で誰もが音楽を楽しめる
     アプリケーション
    はじめての共同開発
+
    2012年夏の開発合宿では
    Kinepad    3D
      Visual C#(.NET Framework 4)
      Kinect for Windows SDK
      midi-dot-net
       (MIDIプログラミング用ライブラリ)
      LoopBe1(仮想MIDIデバイス)

          から取得できる骨格位置情報で
    Kinect
     MIDI対応ソフトウェア/ハードウェアを
     操作する
+
    MIDIデバイスとの連携の仕組み
    Kinepad   3D
      骨格位置情報       → MIDIメッセージを送信
     対応しているシンセサイザにも送信可能

    今回の場合…

          MIDIメッセージ
                        PC      MIDIメッセージ
              送信                    送信
                      LoopBe1
    Kinepad                             FL Studio
                      仮想MIDI
       3D                                 DAW
                      デバイス
+
    MIDIデバイスとの連携の仕組み
    Kinepad   3D
      骨格位置情報       → MIDIメッセージを送信
     対応しているシンセサイザにも送信可能

    今回の場合…

              PC

                      MIDI    MIDI対応機器
    Kinepad
                     インター        シンセ
       3D
                     フェース     サイザーなど
+
    MIDIデバイスとの連携の仕組み
関節の位置情報を   Kinect から取得
                     Y    1.0
                                         Z
              -1.0
                                      2.0
                                1.0



                                 1.0 X

                         -1.0
+
    MIDIデバイスとの連携の仕組み
           MIDI Control Change
                 12
                 7




                     0
                         -1       0   1
X, Y それぞれの値を+1した値に
比例してMIDI CCの値が変化す                +1
るようにする                   0        1   2
動作デモ

Kinect meets music

  • 1.
    + Kinect meets music -モーショントラッキングで音楽の新時代が始まる- サイボウズ・ラボ ユース 第二期生 中島 遼 第一期生 桐井 祐樹
  • 2.
    + 自己紹介  中島 遼  東京電機大学 情報通信工学科  サイボウズ・ラボユース 第2期コアメンバー  自然言語処理 趣味でDTM  神姫神姫ー!  桐井 祐樹  筑波大学情報学群 情報科学類  サイボウズ・ラボユース 第1期サブメンバー  セキュリティ&プログラミングキャンプ2010 言語組  ロボット開発 最近はWebアプリケーション開発など
  • 3.
    + Kinect × music Kinect Xbox360 向けのゲームデバイス  Microsoft  RGBカメラ・深度センサ等を搭載  コントローラ無しでゲームを操作できる 「音」と「映像」で誰もが音楽を楽しめる アプリケーション はじめての共同開発
  • 4.
    + 2012年夏の開発合宿では Kinepad 3D  Visual C#(.NET Framework 4)  Kinect for Windows SDK  midi-dot-net (MIDIプログラミング用ライブラリ)  LoopBe1(仮想MIDIデバイス) から取得できる骨格位置情報で Kinect MIDI対応ソフトウェア/ハードウェアを 操作する
  • 5.
    + MIDIデバイスとの連携の仕組み Kinepad 3D  骨格位置情報 → MIDIメッセージを送信 対応しているシンセサイザにも送信可能 今回の場合… MIDIメッセージ PC MIDIメッセージ 送信 送信 LoopBe1 Kinepad FL Studio 仮想MIDI 3D DAW デバイス
  • 6.
    + MIDIデバイスとの連携の仕組み Kinepad 3D  骨格位置情報 → MIDIメッセージを送信 対応しているシンセサイザにも送信可能 今回の場合… PC MIDI MIDI対応機器 Kinepad インター シンセ 3D フェース サイザーなど
  • 7.
    + MIDIデバイスとの連携の仕組み 関節の位置情報を Kinect から取得 Y 1.0 Z -1.0 2.0 1.0 1.0 X -1.0
  • 8.
    + MIDIデバイスとの連携の仕組み MIDI Control Change 12 7 0 -1 0 1 X, Y それぞれの値を+1した値に 比例してMIDI CCの値が変化す +1 るようにする 0 1 2
  • 9.