福岡発！最新のAI/VR/AR技術動向と最新の技術体験
•
0 likes•2,270 views
弊社が行なっているKinectなどを使ったモーションコントロールシステムやAR・VR・MRシステム、さらには人工知能（AI：DeepLearning）を使った最先端システムの研究・開発例を交えてお話ししました。 ※この資料は株式会社ギークス様主催の、エンジニアの好奇心を満たす出会いが見つかるリアルイベント「TECH VALLEY」にて発表した資料を公開用に修正したものです。
More Related Content
Similar to 福岡発！最新のAI/VR/AR技術動向と最新の技術体験
Similar to 福岡発！最新のAI/VR/AR技術動向と最新の技術体験 (20)
福岡発！最新のAI/VR/AR技術動向と最新の技術体験
- 2. 会社概要 株式会社ネクストシステム 英表記：NEXT-SYSTEM Co.,Ltd 所在地：福岡県福岡市南区井尻 資本金：80,750,000円 設立日：2002年８月28日 代表者：藤田義生（代表取締役 最高経営責任者：CEO） 社員数：53名 事業概要：AI／AR／VR／MR開発 スマートフォンアプリ開発 WEBシステム開発 他 最先端のテクノロジーとコンテンツを駆使 して最高のサービスを社会に提供し、誰も が豊かで快適で便利な未来社会を創ること を目指すソフトウェア開発会社。 @next_kinesys /nextsystem https://next-system.com/
- 4. 福田 哲志（フクダ テツシ） ・システムエンジニア リーダー ・九州大学大学院 システム情報科学府卒 ・ロボコンに出場し、九州大会優勝 ・使用言語はC#、C++、JAVA、 Objective-C、Swift、python、等 ・主にiOS、Androidアプリ開発、AI開発に 関わり『VisionPose』開発にも関わる ・好きな食べ物は肉 九州大学大学院システム情報科学府卒。大学時代にロボットコンテストに 出場し、九州大会で優勝する。スマホアプリに興味があり、ネクストシス テムに入社したのは2012年。現在はリーダーとして、多数の案件を担当す る。もともとはiOS、Androidのアプリ開発が主であったが、近年AI （人工知能）開発にも柔軟に対応。『VisionPose』では、主に DeepLearning部分を担当。地元は福岡。
- 13. VRになると距離感はこのくらい。
- 19. 52 Chat 五 十二 12 V R Chat ※その他諸説あり。
- 23. 1. VR（仮想現実）活用事例 実はトライ&エラーで試作品がたくさん生まれているので変革を少しだけ。 ↓今年の3月ぐらい。とりあえずPC（VR）ユーザーとスマホユーザーで同時接続ができるか確認。
- 26. ・今後のVR業界はどうなっていく？ ■質問コーナー Q Q ・52Chatの開発をしてみてどうだった？ 最近は触感や匂いを再現するデバイスが登場してきており、今後は五 感を使ってVRをすることができるので、没入感が増す。 スタンドアロンのHMD（Oculus Go）などお手軽なハードが出てきて より一般層に広がっていくと考えられる。 Shader Graphで52Chatは開発しているが、CGデザイン、ビジュアル プログラムなど勉強しないといけないことが多かった。またスマホで 動かすために軽量化する必要があり試行錯誤した。
- 27. 2. AR（拡張現実）活用事例
- 30. ■AR業界の最近の傾向 ・AppleやGoogleからAR用のフレームワーク が登場し、開発しやすくなった。 『Tango』『ARKit』『ARCore』 が登場。 2. AR（拡張現実）活用事例
- 35. 3. AI（人工知能）活用事例
- 44. もう自社で作ってしまうしかない！
- 48. ■VisionPoseの特長 1.AI（人工知能）活用事例 1. 圧倒的な精度の高さ。目的に合わせて精度をチューニング、ブラッシュアッ プが可能。 2. 深度測定にも対応。 3. 人数の制限なく複数人のボーン検出が可能。 4. 用途制限なく、類似製品よりお求めになりやすい価格で提供予定。 5. ハードウェアに頼らず、使いやすさ抜群。KinectライクなSDKでのご提供。 6. 赤外線を利用しないため、赤外線センサーを利用したデバイスにありがちな デメリットを解消。 7. AI（DeepLearning）を使用した骨格検出システムの中で唯一の国産製品。 8. 将来的にはCloud上やスマートフォン上でも利用可能に。
- 49. 1.AI（人工知能）活用事例 カコミ スポーツ 医療現場 食事 工場 さまざまなシーンでお問い合わせいただいています。 野球のスイングのフォーム、工場での人の動き、車椅子に乗った人の動きの検出など
- 50. ■ちなみに新しいKinect（第４世代）が発売されるらしい 1.AI（人工知能）活用事例 ↓Microsoft Project Kinect for Azure しかしもういいかげんハードだけに頼りたくないので、 今後もVisionPoseの開発を全力で進めていきたい ※Microsoft webサイトより拝借
- 52. 4. 少しだけ告知
- 54. ご静聴ありがとうございました。
Editor's Notes
- 今日はお呼びいただきありがとうございます。 きっかけとしては、20代スタートアップの会に参加したところ、ギークスの楠本さんから登壇のお誘いをいただき、 みんな登壇経験０ということで数を集めました。緊張したり聞き辛い点などあるかもしれませんが、このあと雑談のお時間とか設けられているようなので、そちらでもゆっくり聞いてもらえれば嬉しいです。 ちなみに回答に困ったら、「企業秘密」という魔法の言葉で切り抜けるつもりです。よろしくお願いします。 ■スライド撮影とSNSへの投稿はご自由にどうぞ
- ■会社概要 青枠しゃべる
- ・好きなチョコレートとかあるんですか？ チョコレートが大好きで、社内のデスクに"天井を衝くチョコレートの空き箱タワー"を建造したことがある（バベルの塔よろしく大掃除で破棄を余儀なくされた）。 ・
- 登壇することになった理由は、一番幅広く知っていて且つ、対話ができるから。 ・弊社の中で一番オールラウンドプレイヤー ・乃木坂の誰が好きなんでしたっけ？ ・肉の意味広い ■福田さん VisionPoseでDeepLearning担当 ■加藤もVisionPoseちょっとやってます
- ・Unityはいつから触り始めたんですか？ ■デモにする人 強調 ■メイン！52Chatの企画・デザイン・開発 全部
- 今日の難易度としては イベント的にAR・VR・AIに興味を持ってこれから仕事にされたいという方向けの内容になっています。 結構幅が広いので各セクションごとに質問タイムを少し設けようかと思います。懇親会でもご質問等受け付けますので直接お話し出来たら幸いです。 AIの活用事例の後に少しデモの時間を取りたいと思います。
- まだ現実空間に出社しているの？ ってことで、もうご存知の方も多いかもしれませんが（次ページ）
- 家から出ないで出社できる未来が近づいてきてますね。 VRChatの中にオフィスを作って、お仕事する人が登場してきましたね Cluster.：家から出たくない人のためのVRイベントルームです ■まだ出社してるの？うちもまだしてるけど
- そもそもVRChatって 今年の一月くらいから、Vtuberと一緒に爆発的なブームになったゲームソーシャルVRシステムです。 ■広報の田中のリアルアバター
- 仲良くなる説は次のページにあるので、最後に話す。（これは個人的な意見なんですが、VR上だとクライアントさんと仲良くなりやすい気がしました） ・基本的に口頭での会話になりますが、ジェスチャーによる表現が可能ですので、 コミニケーション自体は思ったより取ることができました。 ・やる方法はあるのですが基本的にVRChat内に資料を表示できない。 ・移動時間のコストがないのはもちろんですが、会議としてとても盛り上がりやすく、意見を言いやすい空間であると感じました。 ・デメリットとしてはHMDを被っているためメモを取ることは難しいという点と、 また基本的には資料を参照できない点。 ただ参照する方法はあります） ・詳しい話は弊社のブログにまとめてますので、見てみてください。 資料をVRChatに持ち込む方法はいくつかあります。 ・VRChat付属のVRC_WebPanel（WebページをVRChatの中で表示するもの）を使って固定オブジェクトとして表示する ・VRChatの自作ワールドに資料のパネルを予め用意しておく 外部からの情報を異なるレイヤー間で共有する方法は基本的には上記の2つです。 発展途上の技術ですが、レーザーポインターを使ってスライドパネルのようなものも1か月後くらいには完成していると思います。（他のプレイヤーが現在試作中） ■株式会社アイ・エム・ジェイのR&D（研究開発）チームの「すまのべ！」さん ■ワールドはすまのべさんのオフィス！ ■リップシンク重要、つけないと誰が話しているかわからない ■ブログ記事参照
- というのも、通常のクライアントさんとの距離感ってこのくらい
- でもVRならこの距離感
- これが現実空間ならパーソナルスペースに入られることで、嫌悪感を感じる方も多いと思いますが、 VRならパーソナルスペースがない（に等しい）のです。 すまのべ！さんが話しやすかったからという可能性も大いにあるんですが、 もしかしたら、パーソナルスペースの概念を取り払った上で、距離が近すぎるから心理的に話しやすいのかもしれませんね。 まあ、何の根拠もないですけど。
- 基本的にVRChatはPCでかつVIVEかOculus rift、windowsMR 参入のハードルが高い！！
- つまり、
- というわけで、VRでなんか面白いことできないかな〜と思っていた時に、VRChatが流行りだして、これをもっと他の人でも操作できるようにしようってことで董さんが企画して実験的に 取り組んでみたのが52Chatなんですね。ちなみになぜ52Chatなのかっていうと
- まあダジャレなんですけど。 もともとマルチデバイスに対応するということで、より多くの人が自由に体験できるっていうコンセプトだったんですね。
- 他にも５２の中に謎（X）を入れると、５×２になって52から10を引くと、42という数字が出てくるのですが、 この数字が「生命、宇宙、そして万物についての究極の疑問の答え」っていうのご存知です？ 銀河ヒッチハイク・ガイドっていうSF映画の中でとある宇宙人が「生命、宇宙、そして万物についての究極の疑問の答え」を計算するためにスーパーコンピュータを作って、750万年かけてスーパーコンピューターが[42]という数字を導き出すっていう話がある。 つまり52Chatは究極の答えにも通じる・・・ 宗教勧誘ではありませんよ。 すごいみなさんの「胡散臭い」っていう心の声が聞こえてきます
- キャラメイクが自由にできる。 広報田中っぽい感じにもできた。VR空間では基本的に音声チャットなので、 ジェスチャーがかなり重要。VRユーザーであれば、豊かな感情表現が可能 通常、スマホ上では単純な動きしかできないが、52Chatでは指の形や奥行き、手首の回転、目の向きなど様々なジェスチャーが可能。触ってみて
- ・５２ChatCard リリースはまだ未定だが、もうそろそろ今回のデモをリリース用に整えてリリースするつもり。 Android版のみリリース。 VR版は社内やお問い合わせがあった企業に渡すように作る。 ↓重要 会社での実験的な開発なのでとりあえずAndroid版だけ。 リリース時にもし多くの反応をいただけたら、追加開発でiOS版やPC版を整備するかも。 応援お願いします。
- このときはキャラメイク機能が入ってません。 同じアバターは２種類だけだった。（VRユーザーと、スマホユーザー）
- スマホ（Android）で操作した時に重かった。操作が難しく、デザインがよくなかった。
- ARの開発した例で一番弊社での主力商品こちら。 ・カメラに映った人の顔にマスクをつける
- 導入例 ・複合施設の子供向けの休憩スペースなどでキャラクターに変身できたりエンタメ向け ・着るのが面倒な、ウェディングドレスや着物などを仮想試着させることで効率よく選んでいただく、など実用的な使い方も
- ARマーカーがなくても適切な場所を判断してオブジェクトを置いたりより簡単にARできるようになりました Tangoは今年の3月にサポート終了 2014年2月：Project Tango始動。人間と同じような空間把握能力を与えるプロジェクト 2016年11月 ：Tango一般公開。Lenovoの499ファブレットと、Phab2 Proに対応 2017年8月：ARCoreを発表。と一本化を発表。プレビュー版1を公開 2017年9月：AppleからiOS11にARkitがリリース 2017年12月：ARCore SDK のプレビュー版2が公開。Android NDKへのAPIの追加、ARアプリの一時停止機能、いくつかのAPI向上が加えられた 2018年2月：ARCore公式版が発表 ■2018年3月：Tangoのサポートが終わる 2018年5月：Cloud Anchors 、Plane Detection
- ARKitとTangoについては弊社でも試しに董さんがデモで開発をしてるのですが、ARKitのデモをいくつか紹介すると、（で次のページ）
- ■チェッカーズベースの大土井裕二さん ■対応端末iOS11以上、AppStoreから無料ダウンロード可能 ■空間上に3Dオブジェクトを配置して動画を撮影できる
- ■董→ARKitやTangoで開発してみての感想（どっちが作りやすいとか） ■加藤→今後のAR業界について思うところ 他にご質問ある方いらっしゃいますか？
- ■福田さんGO!
- ■Kinesys 3.0に搭載予定の機能
- Kinectの販売中止が起こりました。いわゆるKinectショックが起こったんですね。
- Kinecysとは：サイネージの前で体を動かすとその動きに合わせて画面が変化するシステムのパッケージ名です。 画像はいくつかあるコンテンツのうちのバーチャルファッションというコンテンツ。 ガッツリ使ってたし、なんだったら主力商品なので、株主から割と強めに連絡がかかってきたりしていました
- ■50セットほど在庫を確保
- 25000 ドル（270万円）
- ■もともと画像認識のノウハウがあったため
- 従来のKinectや他の深度センサー付きカメラに頼らず、ディープラーニングを使用し、WEBカメラのみで人間の骨格や深度情報を検出することが可能です。
- 1、圧倒的な精度の高さ。目的に合わせて精度をチューニング、ブラッシュアップが可能。 ディープラーニング(深層学習/DeepLearning)を使い骨格を推定することで 従来のセンサー付きカメラでの骨格検出よりも精度の高い測定が可能です。 さらに自前でデータをコントロールしているため、目的に合わせた精度の調整ができます。 また、同時開発されたアノテーションツールで作成した学習済みモデルを、追加学習で進化させる続けることが可能です。 2、深度測定にも対応。 WEBカメラのみで骨格情報を抽出可能のため、深度センサーに依存しません。 ステレオカメラ(WEBカメラ2台)を使用して深度を測定できます。使用する際は現在のところ事前にキャリブレーションが必要です。 3、人数の制限なく複数人のボーン検出が可能。 一回の処理で複数人まとめて骨格の検出を行なっているため、人が増えても処理速度が一定で す。そのため、複数人のボーン検出にかけての処理に秀でています。 また、カメラに映っている範囲なら人数の制限なく骨格を検出可能です。 4、用途制限なく、類似製品よりお求めになりやすい価格で提供予定。 当社自体に類似製品の使用用途の制限や価格で悩んだ背景があるため、 用途制限をなくし、ご利用しやすい価格帯での提供を目指しています。 利用用途に応じて、さまざまなライセンスでの提供が可能です。 5、ハードウェアに頼らず、使いやすさ抜群。KinectライクなSDKでのご提供。 ソフトウェアサービスであるため、ハードウェアに依存しません。そのため、利用していたハー ドウェアが途中で販売が中止になるリスクを軽減できます。 KinectのSDKに近いインターフェースで提供予定のため、 特にKinectをご経験された方にとってプログラムが作りやすい形で提供します。 6、赤外線を利用しないため、赤外線センサーを利用したデバイスにありがちなデメリットを解消。 背面を認識すると正面として認識されがちな点や、正面から背面へ切り替わる真横からの視点で ボーンが乱れやすい点などを解消され、真上からのボーンも学習次第で検出可能になりました。 また、赤外線を利用しないため、障害物と人との区別がつき辛く、体の一部が隠れたりモノを持 つ動作に弱いという事象や、屋外の認識、赤外線を吸収する服装に弱いなど、赤外線センサーを 利用したデバイスにありがちなデメリットを解消しました。 7、AI（DeepLearning）を使用した骨格検出システムの中で唯一の国産製品 リアルタイムでの計測だけではなく動画からも骨格の検出が可能です。 また、AI（DeepLearning）を使用した骨格検出システムの中で唯一の国産製品のため、お気軽にさまざまなご相談に対応できます。 8、将来的にはクラウド上やスマートフォン上でも利用可能に。 VisionPoseのAIエンジンをクラウド上に乗せ、スマートフォンなどからあらかじめ撮影した動画 などをアップして解析した結果を返すサービスを将来的に検討中です。 今後スマートフォン上でも動作できるように現在モデルの軽量・高速化を行いたいと考えています。
- ■ゴルフの野球のスイングのフォーム、最近オリンピックもあるので、体操競技なんかで人間によるジャッジで差が出ないようにVisionPoseを使えないかっていう相談 ■老人ホームのリハビリでご飯の食べる時の動きを検出できないかとか、 ■工場での人の流れや動作をチェックして品質の向上や危機管理に役立てたい ■車椅子に乗った人の動きの検出とか、ベビーカーを押している人の動きの検出とか、研究目的とか（ここでクリック）
- まあ、私としては（で次のページ）
- ■福田→今後のAIについて、エンジニアに求められるもの 他にご質問ある方いらっしゃいますか？ じゃあ少しだけ52Chatのデモを行います。
- ■AIの知識がないという方でも、AIに関わるWeb開発からお願いさせていただくことで、AIの知識を得ながら開発することができます。 ■VR、ARにも力を入れていますが、現在特にAI系の開発エンジニアを募集しております！ ■VR、AR、AI、引き続き注力して参りますので、少しでもご興味のある方はお気軽に！
- ■なぜVRは唐揚げなのか？