More Related Content
Similar to 本場レドモンド仕込み！Holo lens開発ノウハウ20連発！
Similar to 本場レドモンド仕込み！Holo lens開発ノウハウ20連発！ (6)
More from Shingo Mori
More from Shingo Mori (20)
Recently uploaded
Recently uploaded (12)
本場レドモンド仕込み！Holo lens開発ノウハウ20連発！
- 1. 本場レドモンド仕込み！ HoloLens開発ノウハウ20連発！ 2017/12/16 HoloLens Meetup Tokyo Vol.6 TIS株式会社 森真吾
- 2. 自己紹介
- 4. 2016年1月 某所にてある男と出会う・・・ 長髪を後ろで束ねた怪しい男。 のちのHoloLab COO 伊藤武仙であった。 その数か月後に新宿の路上にて 偶然の再開を果たすことになったのである。 それからさらに数か月後・・・
- 8. さらに、、
- 9. 何の話をするのか
- 11. 開発プロセス編
- 19. その６：フレームレートを開発初期から 気にしよう。 ・フレームレートが一番大事。 ・アンカーがずれたりすると、現実との不一致を誘発。 「Mixed」できてなくね？となる。 ・林さんが日本語訳してくれてるのでこれを見ようね。 Hologram Stability (ホログラムの安定性) の日本語訳 http://littlewing.hatenablog.com/entry/2017/11/14/221648
- 21. 優れたデモから学ぼう編
- 26. 170,000
- 30. 実装編
- 43. その１７：Dong Yoon Parkさんのお話 ・本社のUXデザイナーの方。 ・Developer Experienceというチーム所属。 ・最近だとMRDesignLabを公開した。 ・日本の記事を読んで感動している。 コミュニティからのフィードバックもほしい。 ・GithubにIssueをOpenしてもらうのが一番いい。 日本語でもいいので出して。 @cre8ivepark
- 45. おわり
Editor's Notes
- この出会いによって頭がやられてしまった私は、 真冬の代々木公園のTMCN忘年会に参加。 寒かったしその後ちゃんと風邪もひきましたが、ここでの出会いがなかったら今ここにはいなかったと思います。 ホロラボの初音さんや前本さんにはこの日に初めてお会いしました（お二人はさすがに公園にはこなかったけど） 中村さんにはこの日は会えませんでしたが、共通の知人がいたので無理やり調布のCoderDojoに押しかけてお話を聞かせて頂きました。
- この出会いによって頭がやられてしまった私は、 真冬の代々木公園のTMCN忘年会に参加。 寒かったしその後ちゃんと風邪もひきましたが、ここでの出会いがなかったら今ここにはいなかったと思います。 ホロラボの初音さんや前本さんにはこの日に初めてお会いしました（お二人はさすがに公園にはこなかったけど） 中村さんにはこの日は会えませんでしたが、共通の知人がいたので無理やり調布のCoderDojoに押しかけてお話を聞かせて頂きました。
- イベントにはとにかくたくさん出ましたね。スタートが遅かった（37歳）ので、量でカバーしようと思って。
- MVPいただきました！ありがとうございます。 「どういう使い方ができるのか想像できない」といってます。そんなMVPいたでしょうか？ 一応補足しておくと、日経のは2/2にはじめてアプリを作ったときに「何に使えるか想像できましたか？」と聞かれた際に「いや、そのときは想像できなかったですね」と答えたんです。 それがなぜか妙な編集をされた結果、初心者代表のような記載になってしまってます。
- １０月にレドモンドに行ってきました。 ５日間のHoloLensの研修です。 ここでは主にHoloLensを使用したシステム、ソリューションの開発プロセスやベストプラクティスについて学んできました。 実装の細かいことを教えてもらうような場ではなく、ビジネスをイメージした場でした。 最初にこのようなことを言われました。 HoloLensの力を信じてもらうための場 トレーニングではない。 結果を持って帰ってほしい。 ＜大事なこと＞ ・スキルを身に着ける ・MRのピッチを理解する ・ビジネスを前に進める このカリキュラムの詳細をお話しすることはできないのですが 日本に持ち帰って広く伝えてほしいということもありました。 個人的に学んだことも多くあります。 なのでそれを少しでも伝えないといけないという思いでこの超強力なメインスピーカーの中に飛び込んだわけです。 開発プロセスの話から実装の部分まで、いろんなことを話します。 時間の都合上、個別の細かい説明まではいたらないかもしれませんのでご容赦ください。 できるだけ参考URLもつけてますし、資料は後程公開いたします。
- ウォーターフォールモデルの成果物であれば、みなさん想像つきやすいでしょう。 要件定義フェーズではユースケース一覧書いて外部設計では画面や帳票の設計したり。 HoloLensではなにかそういう決まったものあるの？ と聞いてみました。 かっちりしたものはないが、OLCとストーリーボードがそれに近いということです。 OLC、ストーリーボードについて紹介します。
- OLCとは、ワンラインコンセプトの略で、「このシステムは何をするものなのか」を定義した数行のコンセプトです。 開発中、「我々は何を作るべきなのか」の認識をチーム内で一致させるために作ります。 もしぶれそうになった場合はこのOLCの立場に立って考えることになります。 ストーリーボードは、HoloLensがどのように使用されるのかを図示した文書です。 漫画みたいなものをイメージするとわかりやすいかもしれません。 HoloLensを誰が手に取り、どうアクションするのか、例えばアプリケーションは誰が起動するのか、といったことも考えながら作ります。 この二つを開発初期の成果物として作成し、後続工程を進めることになります。 とはいえ開発を進める中で見直しが発生するでしょう。 適宜調整していきましょう。その際にOLCを中心に置くことによって、コアから離れないようにするのです。
- OLC、ストーリーボードを理解するためにぴったりな文書が2016年4月にすでに公開されています。 詳しく話す時間はないのですが、こちらはぜひ参照ください。 Youtube,SlideShareのほかに、文字に書き起こしたblogもあります。 ご一読を強くおすすめします。 we’re starting with holograms 1.0. 我々はホログラム1.0から始めている。
- 該当分野をリサーチして、アイデア出し、ホワイトボードに書き写したりしてブレストをします。 その後、ボディーストームというプロセスを行うことで、実際に動きます。 これは本当にストロービーズのようなもので実際のオブジェクトを模倣した物体を並べて検証するのです。 それでものを上に上げてみるとか、操作するとかが考えられる。そういうのが重要。座っている人とか、カメラビューで座ってみるとか、演じてみることが重要。 演じてみることでどんなフィーチャーが必要かがわかってくる。 動いてみて、どんな問題があるかを探してみてほしい。 これによってHoloLensを使用したプロセスの課題、たとえば視野角がこれくらいだからその位置にあっても見えないよ、といった課題が出てくるのです。 こちらのHoloLensパートナー企業afternowさんのページを見るとイメージがわくと思います。
- 正式にこのような話をされたのは初めてな気がして、印象的でした。 「なぜHoloLensでやるのか」をすごく聞かれます。 問題解決のためにHoloLensが有効な場合に、HoloLensを使用しましょう。 「タブレットでいいのでは？」って、実際に現地で聞かれました。 ・正しい視野でビジネスチャンスを見つけて、 問題解決をすること。
- 「この技術を使いたい」とか「こうしたほうが豪華に見える」ではなく、あくまで問題解決のために必要な機能を少しずつ追加していくこと。 でないと不必要な実装が混入してしまう。処理も重くなる。
- ちょっとだけ開発プロセスとはずれますが、このようなお話もありました。 こういうことも考えているんだというのが意外だったんですが、お客さんに受けるためにはきちんと「わかってる風」でいることを説かれました。 ロゴの件は、後程お話するボルボのデモなどにも適用されていて、徹底しているなあと思いました。
- FPSのやーつ
- FPSの簡単な見方はネクストスケープさんの記事をみましょう PJの最初に入れないとだめ。あとからだとどこを直したらよいのかわからなくなってしまう。 ここまで10分
- デモを見ましょう。 よくできたデモを見るのはものを作っていく中で大事です。 現地で色んなデモ（というか本番にリリースされたもの）を体験してみました。 いずれも完成度がすさまじく、非常に参考になりました。
- 視線誘導についてはこの開始直後のが近いのですが、動画内には見つけられませんでした。 角度によって説明箇所を変えるというのはこれです。立つ位置によって、特に操作は必要なくセンサーの情報を出すんですね。これは非常にわかりやすかったです。 ボルボデモはアメリカでトラックにデモ環境積んで回ってた。もうやってないかも。
- 視線誘導についてはこちらのUnityテクノロジーズの高橋啓次郎さんのがよく似ています。これ誰かHoloで試してください。
- デザインの共有なので、IPDの設定が非常に重要だった。 事前に登録していればそれを使うし、登録されていない人はIPDを計って保存。 次はデザイナーでの視点に切り替わった。基礎としてのスリーラインデザインというのがあり、それが反映されているかを確認できる。 それぞれの立場によって、見ないといけない情報が変わるので、それがかわるのが利点。 エンジニア支店 グリルをどんどん変えていくシナリオ。グリルをABCDと比較していく。今までは多くのモデルを打ち出して７時間くらいかかって切り替えていたのを、瞬時に切り替えることができるようになった。 見た目を見るだけでなく、その属性、メタデータも一緒に見られるようになり、コストや性能での比較も一緒にできる。 ナンバーをVuforiaで撮ってポジション取ってる。位置ずれはXBOXで微調整することが可能。それもGithubで公開されている。 SpatisalMapping使ってない。 ある角度から見た反射がどうこうといっても、必ずしもその角度からみているわけではないので、その解決策として、音声でメモを残す。その視点のままで残るので、どの視点から見た感想なのかがわかる。 ミラーのところ、 このような機能はHoloの開発者から出てくるとは思えないが、フォードのほうから「こういうのを見たい」というのが出てきたのか。→そう ある程度粘土で作ってから３Dも使うというのか、Holoだけなのか。 なぜ粘土も必要なのか。 →１つ目は産業界はどうしても物理的に触りたがる。 ２つ目は、FOVの問題。車全体を見ようとするとかなり離れないといけない。 ３つ目は、性能面。ポリゴンの問題もある。パフォーマンスを考えると、全体というわけにもいかない。 あと、機密性の問題もある。フロントだけ入手するというのにも時間がかかった。全体を手に入れるのは難しい。 光の反射も重要視されていて、それができるのかどうかとかもあり、物理的においているのもある。 粘土も、素人が見たら窓が黒いだけで本物かと思うくらいのものを作っている。光の映り込みも。
- 一瞬なのでわかりづらいですが、マウスカーソルがそのまま外に出てます。 この人Holoかけてませんが。 建物のイメージを共有するためのプロダクトです。壁の向こうの配管とか見えたり。
- こちらのTrimbleSketchUp Viewerはなんとストアに出てます。 17万円。 Holoと合わせたら50万円ですね。わかりやすい。誰か買ってください。
- これを実際にやってみた人がいるそうです。 で、このマウスカーソルが出てくるやつは公式でHoloToolkitに入れようとしているらしいです。いつかは不明ですし、もしかしたらやめるかもしれません。
- ・モーキャプ これはMRキャプチャスタジオで撮られたもの。目線で追ってくる。 →このスタジオを使うことも可能。また、このテクノロジーを使ってライセンスしたい場合は協力する。 ・Skyboxの中に3Dオブジェクトを置いている模様。
- http://www.moguravr.com/microsoft-dimension/ OculusRiftでプレイできるBlade Runner 2049: Memory Labのキャラクターたちもこのスタジオで撮影されています。 エンドクレジットにWindows Mixed Reality Capture と出てきますよ。
- 実装です。
- デジタルな世界は物理的な世界と同じようなかかわりをするべき。 ホログラムに触れたらそこには感触があるべき。だがそれは大きなビジョンなので、到達するには始まったばかり。 すぐにできるものではない。 エアタップは仮システムと考えていい。 ハンズフリーなので当然身振り手振りしながらの使用も想定しているわけですね。 その際、普通に話しているときに行う動作だとそれを検知してしまったら困ると。 なのでこんな動きになったわけですね。
- ひとつは研修中につくった顔を動かして選択するデモ。 これは現地の人も「クール」と言ってくれた。 もう一つは井出が作った視線入力。 これはカードボード時代のVRでは大事だった入力。 それと、HolotoolkitのExamplesに視線吸着するサンプルもあるので、確認してみるのもよさそう。
- 何を飛ばせるの？→基本的にはUnityで飛ばせるものはなんでも。3Dゲームのノウハウと一緒。 スペックは気にしてね。 仮に3Dオブジェクトであれば頂点情報とかすべて送ってあげて受信側で再生成すればできるとは思うけど、 それは大変だし、処理も重い。 推奨するのはあらかじめPrefab化しておいて位置とかスケールの情報を送ってあげること。 もともとシェアリング240はクラサバモデルで作ってたのでストアに上げられなかった。 サーバ側をどう準備するのかという問題があったので。 なので250はUNET使った。これならP2Pで飛ばせる。サーバでも別にいいよ。 https://developer.microsoft.com/en-us/windows/mixed-reality/coordinate_systems#see_also
- OSS的な使い方を今後もしていく。
- 法線を利用した実装。 Yの値に注目してください。 天井に視線がぶつかったとき、値はマイナス１になっています。逆に、床に視線がぶつかったときは値が１になります。 壁のばあいは0になってます。 実装する上で「簡易的な方法」として紹介されたのがこの方法でした。 Hitinfo.normalのyの値が0に近ければそれを「壁である」とみなすという方法です。
- イメージはこんな感じ。
- ※rotationのほうだと、すこしX軸がぶれがちだったかも。
- 普通のTapToPlaceだと常に自分のほうをLookatしてしまうのですが、それだと壁にポスターを貼ったように見えないので こんな風にしました。 天井や床に貼ることを想定してなかったので、ちょっと軸がずれちゃいますが 横向きの方向については壁に貼りつくようにできています。
- イメージはこんな感じ。 Transform.upをVector3.upにするのも入れました。
- ちなみに取得した法線ベクトルをそのままオブジェクトのY軸方向に入れると垂直に配置できます。
- 最終日にお話に来てくれました。 Parkさんは日本語も話せる物腰の柔らかな方でした。 アプリを作るときにサンプルが必要なら リクエストほしい。GithubにIssueをOpenしてもらうのが一番いい。★日本語でもいいので。出して。