Recommended
More Related Content
Featured
Featured (20)
Kinectでライトセーバー作ってみた
- 2. 自己紹介＋前置き １. HN：domitry 2. 二年で部長をやっているものです。 3. 担当はプログラミング。 4. 去年一年間はhtmlやjQueryでホームページを作ってみたり、C#でWpfを弄 くってみたりと色々迷走してました。 5. 学園祭にはKinect＋OpenNIで人物検出をするプログラムを出しました。
- 4. 何故ライトセーバーなのか １．スターウォーズep1リメイク版の予告編でライトセーバーを使ったアクショ ンがかっこよかったから ２．学園祭用にKinectを買ってあったから 3. 複雑なアルゴリズムを使う様な難しいシロモノを作りたかったから 4. (ぶっちゃけ)元ネタがあったから ↓ 出展：YouTube (http://www.youtube.com/watch?v=3EeJCln5KYg)
- 5. これのどこが難しいのか １．直線検出のためのアルゴリズムは数あれど、ほとんどがRGB画像用で処理が 重く、リアルタイムで処理するのに適していない。 2. 元ネタ動画の人はもちろんソース公開などしていない。 3. よってアルゴリズムは自分で考えないと行けない。 4. Kinect Hackはごく最近始まったので情報が少なく、そのほとんどは英語であ る。
- 6. 使ったもの １. Microsoft VisualC# 2010 Professional ＋ KinectSDK 2. Kinect for Xbox360 3. ホームセンターで購入した棒切れ(1mくらい)
- 7. 検出方法１ １. プレイヤーまでの距離は公式SDKで取得できる。 2. その付近の距離にある点のみを抜き出すと、その中に棒も含まれているは ず。 3. 実際にテストプログラムでプレイヤーの深度付近の点だけ抜き出してみた↓
- 8. 検出方法１ １. 棒も含まれているであろう点の集合を抜き出すことに成功した。 2. ここで検出する棒の条件を挙げてみる。 a.手の平の中心を始点とした直線 b.方向は手のひらからひじまでの方向とは全く違う 3. プレイヤーの骨格は取得できるので、aの条件は簡単に反映することができ る。 棒の方向 腕の方向
- 9. 検出方法１ １. SDKで検出できる点の中で使えそうなのは以下の二点。(手のひらと手首) 2. 選んだ点の内、手のひらの点から一定距離の点を選び出す。 3. そして下図のベクトルを考える。 4. 青いベクトルの内、その単位ベクトルと赤いベクトルの単位ベクトルとの内 積がcos60°以上のものはおそらく腕の一部なので除外する。
- 11. 検出方法１ 1. その後、選ばれた点と手のひらの点を結んだ直線と他の点との距離を求め、 距離が一定範囲内に収まった点の数をカウントする。 2. カウントした数が一番多かったものが一番もっともらしい直線。 y 0 x
- 13. 検出方法１の問題点 １．精度が低い(50%くらいしか当たらない) ２．処理が重すぎる(検出を始めたらユーザーの動きがカックカク) ３．以上の問題点を軽減しようと修正を繰り返したが、速度は改善されても精 度が なかなかよくならなかった。
- 14. 検出方法２ １．煮詰まったので何か見つからないかと思い再び元ネタの動画を見てみる。 ここで大変な記述を発見。 この人OpenCV使ってるwwww
- 15. 検出方法２ 1． OpenCVの何が悪いのか。 2. OpenCVとはRGB画像用のライブラリ。つまり、この動画のプログラムでは Kinectの深度データを使って棒を検出しているわけではない。 3. これじゃあ普通すぎる…つーかそれでできるんかい！！ (爆
- 16. 検出方法２ 1. そこでOpenCVを使ってRGB画像での直線検出も併用することに。 2. 調べてみたところハフ変換というものがあるらしい。 3. ハフ変換では元の画像を二層化した後、関数にその画像を渡して直線を検出 してもらう。 出展：opencv v2.1 documentation (http://opencv.jp/opencv-2.1/cpp/feature_detection.html)
- 17. ～ここでお詫び～ 1. このスライドを書いているのが 3/30 21:16 2. ハフ変換を調べたのが同日20:10 3. マメ会は3/31 13:00～ 4. つまり … 終わんね＼(^o^)／ｵﾜﾀ 5. というわけでハフ変換についてはこれ以上書けません… 6. 今日は徹夜する予定ですがそれでも実装が終わるかどうかわかりませんw
- 18. デモ #ifdef CODING_FINISHED demoProgram(); #else kenbuTime(); #endif
- 19. 最後に 1. 来年度はいよいよ受験なのでプログラミングは一時休止します。 2. C言語をなんとか思い出すところから始めて、この2年間でプログラミングの 腕は割と上達したんじゃないかと思います。 3. プログラミング以外にもこのクラブではいろいろなことが学べたと思いま す。 4. 1年生の皆さんがんばってください！