Recommended
More Related Content
What's hot
What's hot (20)
Similar to はじめようARCore：自己位置推定・平面検出・FaceTracking
Similar to はじめようARCore：自己位置推定・平面検出・FaceTracking (20)
More from Takashi Yoshinaga
More from Takashi Yoshinaga (20)
Recently uploaded
Recently uploaded (16)
はじめようARCore：自己位置推定・平面検出・FaceTracking
- 3. ARコンテンツ作成勉強会の紹介 2013年5月に勉強会をスタートし、100回以上開催 ARコンテンツの作り方をハンズオン形式で学ぶ 人数は5~10名程度の少人数で実施 参加条件はAR/VRに興味がある人(知識不要) 各地で開催 (福岡、熊本、宮崎、長崎、大分、 鹿児島、山口、広島、関東)
- 5. ARCore Googleが提供する次世代ARプラットフォーム。普通のスマホでマーカーレスARを実現。 【主要機能】 (1) 自己位置推定 (Motion Tracking) (2) 平面認識 (Environmental Understanding) (3) 明るさ推定 (Light Estimation) (4) マーカー認識 (Augmented Image) (5) 空間共有 (Cloud Anchor) (6) 顔認識 (Augmented Faces) ← New!
- 6. 今日の内容 (1/2) Googleが提供する次世代ARプラットフォーム。普通のスマホでマーカーレスARを実現。 【主要機能】 (1) 自己位置推定 (Motion Tracking) (2) 平面認識 (Environmental Understanding) (3) 明るさ推定 (Light Estimation) (4) マーカー認識 (Augmented Image) (5) 空間共有 (Cloud Anchor) (6) 顔認識 (Augmented Faces) ← New!
- 8. 事前準備 • Unity2017.4.15 or later • ARCore SDK 1.7 https://github.com/google-ar/arcore- unity-sdk/releases/tag/v1.7.0 • Sample http://arfukuoka.lolipop.jp/arcore_pan asonic/sample.zip
- 9. 今日の内容 (2/2) ① CGを表示 ② 平面検出とCGの配置 ③ 空間にドローイング ④ 顔認識
- 10. 開発ツール：Unity Unityとは マルチプラットフォーム対応のゲームエンジンおよび開発環境 GUI上で視覚的にCGを配置したり機能を追加したりできる C#によるプログラミングで細かい挙動も記述可能 アセットストアで高品質なCGやアニメーションを入手できる
- 13. まずはUnityの簡単な使い方
- 19. CGの詳細情報の編集：位置の指定 オブジェクトの詳細の表示・追加・変更 はInspectorで行う 例えば、TransformのPositionを 変更すると位置が変わる Positionを0 0 0に変更
- 22. CGの詳細情報の編集：色の設定 (3/3) オブジェクト(Cube)のマテリアルを開き、作成したマテリアルを割り当て (2) Materialsの横の▼ (1)Cube (3) Element0に ドラッグ&ドロップ
- 28. スクリプトを使って立方体を回転 public class NewBehaviourScript : MonoBehaviour { // 初期化のために初回に一回だけ実行される void Start () { } // 毎フレーム(数10ミリ秒おきに)実行される void Update () { } }
- 29. スクリプトを使って立方体を回転 public class NewBehaviourScript : MonoBehaviour { // 初期化のために初回に一回だけ実行される void Start () { } // 毎フレーム(数10ミリ秒おきに)実行される void Update () { //毎フレームY軸を中心に1度ずつ回転 transform.Rotate(0, 1, 0, Space.Self); } }
- 34. ARCoreのインポート ①Assets ②Import Package → Custom Package ③arcore-unity-sdk-xxx ④開く
- 36. ARCore用のカメラの設定(2/2) ①GoogleARCore → Prefabs ② ARCore Device ③ドラッグ&ドロップ
- 37. 表示オブジェクトの追加(1/2) ①GoogleARCore → Examples → Common → Prefabs ② Andy Green Diffuse ③ドラッグ&ドロップ
- 39. 実機にインストール
- 43. ビルドの準備 ①Product Nameを入力 ② Resolution and Presentation ③ Default OrientationをLandscape Left ※画面を自動で回転させたくない場合のみ向きを固定
- 44. ビルドの準備 ① Other Settings ② Multithreaded Renderingをオフ※ ※最新版ではオフにしなくてもOKのようなので、ビルドエラーにならないならオンのままで問題なし
- 45. ビルドの準備 ①Package Nameを設定 例) com.arfukuoka.test1 ② Minimum API Levelを Android 7.0に設定
- 46. ビルドの準備 ①XR Settings ② ARCore Supportedをオン
- 47. ビルドと実機インストール ①File ② Build & Run
- 49. 動作確認
- 54. Environmental Understandingを有効化(4/5) ①sample1.assetをクリック 【Plane Finding Mode】 (1)Disabled:平面認識なし (2)Horizontal And Vertical： 水平面と垂直面を認識 (3)Horizontal： 水平面のみ認識 (4)Vertical 垂直面のみ認識 今回は(2)～(4)から好きなのを選択
- 55. Environmental Understandingを有効化(5/5) ①ARCore Deviceをクリック ②Sample1フォルダ ③sample1.asset ④Session Configに ドラッグ&ドロップ
- 56. 認識した平面の可視化 (1/4) ①空白を右クリック ② Create Empty
- 59. 認識した平面の可視化 (4/4) ①GoogleARCore → Examples → Common → Prefabs ③DetectedPlaneVisualizer ②Controller ④Detected Plane Prefabにドラッグ&ドロップ
- 60. 動作確認 水平面 垂直面
- 62. タップした平面にCGを置く ①New Script ③Create and Add ②PutScript
- 64. スクリプトの記述 using System.Collections; using System.Collections.Generic; using UnityEngine; using GoogleARCore; public class PutScript : MonoBehaviour { public GameObject andy; //CG(Andy)を扱う変数 void Start () { } void Update () { //タップの検出 //タップした画面の座標と3D空間座標の対応付け //Andyをその位置に置く } }
- 65. スクリプトの記述 void Update () { //タッチしていないならreturn if (Input.touchCount < 1 ){ return; } Touch touch = Input.GetTouch(0); //画面をなぞっていなければreturn if (touch.phase != TouchPhase.Moved ){ return;} //タップした座標にAndyを移動。 TrackableHit hit; TrackableHitFlags filter = TrackableHitFlags.PlaneWithinPolygon; Frame.Raycast(touch.position.x, touch.position.y, filter, out hit) } touch.position hit Moved→画面をなぞる 平面を構成するポリゴンの 内側をタップ判定の対象に
- 66. スクリプトの記述 void Update () { //タッチしていないならreturn if (Input.touchCount < 1 ){ return; } Touch touch = Input.GetTouch(0); //画面をなぞっていなければreturn if (touch.phase != TouchPhase.Moved ){ return;} //タップした座標にAndyを移動。 TrackableHit hit; TrackableHitFlags filter = TrackableHitFlags.PlaneWithinPolygon; if(Frame.Raycast(touch.position.x, touch.position.y, filter, out hit) ) { //Andyの3D座標を指定するコードを記述(次頁) } } touch.position hit Moved→画面をなぞる 平面を構成するポリゴンの 内側をタップ判定の対象に
- 67. スクリプトの記述 if (Frame.Raycast(touch.position.x, touch.position.y, filter, out hit)) { //平面にヒットしたならAndyを置く if (hit.Trackable is DetectedPlane) { //Andyの位置・姿勢を指定 andy.transform.position = hit.Pose.position; andy.transform.rotation = hit.Pose.rotation; andy.transform.Rotate(0, 180, 0, Space.Self); //Anchorを設定 var anchor = hit.Trackable.CreateAnchor(hit.Pose); andy.transform.parent = anchor.transform; } } ※Anchor設定は指を離したときだけで十分。今回はコード量を減らすため同時に行っている
- 69. 動作確認
- 70. Next：空間ドローイング
- 71. その前にCtrl+Sで現状を保存
- 78. 平面認識機能が働くことを確認
- 87. TrailRendererを用いた線描画 ①New Script ③Create and Add ②DrawScript
- 89. スクリプトの記述 using System.Collections; using System.Collections.Generic; using UnityEngine; using GoogleARCore; public class DrawScript : MonoBehaviour { public GameObject obj; //軌跡を描くオブジェクトの元データ GameObject drawObj; //実際の軌跡描画に使うオブジェクト void Start () { } void Update () { //タップの検出 //タップ開始時に線を描くオブジェクトを生成 //その後はスマホの位置にオブジェクトを追従させて線描画 } }
- 90. スクリプトの記述 void Update () { if (Input.touchCount == 1) { //カメラ手前10cmの位置を取得 Vector3 p = Camera.main.transform.TransformPoint(0,0,0.1f); //タッチスタート if ( Input.GetTouch(0).phase == TouchPhase.Began) { drawObj = GameObject.Instantiate(obj, p, Quaternion.identity); } //押下中 else if (Input.GetTouch(0).phase == TouchPhase.Stationary){ drawObj.transform.position = p; } } }
- 92. 動作確認
- 93. 線を消す List<GameObject> lines = new List<GameObject>(); void Update () { if (Input.touchCount == 1) {//カメラ手前10cmの位置を取得 Vector3 p = Camera.main.transform.TransformPoint(0,0,0.1f);//タ if ( Input.GetTouch(0).phase == TouchPhase.Began) { drawObj = GameObject.Instantiate(obj, p, Quaternion.identity); GameObject tmp = GameObject.Instantiate(obj, p, Quaternion.identity); lines.Add(tmp); drawObj = tmp; } //押下中 else if (Input.GetTouch(0).phase == TouchPhase.Stationary){ drawObj.transform.position = p; } } }
- 94. 線を消す void Update () { if (Input.touchCount == 1) { //線の描画をする/カメラ手前10cmの位置を取得 } else if (Input.touchCount == 2) { if (Input.GetTouch(0).phase == TouchPhase.Ended) { for(int i = 0; i < lines.Count; i++) { Destroy(lines[i]); lines[i] = null; } lines.Clear(); } } }
- 103. フロントカメラを使用 ①ARCoreDevice ②Device Camera Direction をFront Facingに変更
- 115. 動作確認
- 121. 顔のパーツの位置情報を使用 FOREHEAD_LEFT FOREHEAD_RIGHT NOSE_TIP 今のところ、取得できるのはFOREHEAD_LEFT/RIGHTとNOSE_TIPの3点
- 131. 顔のパーツの位置情報を使用
- 135. 今日の内容 Googleが提供する次世代ARプラットフォーム。普通のスマホでマーカーレスARを実現。 【主要機能】 (1) 自己位置推定 (Motion Tracking) (2) 平面認識 (Environmental Understanding) (3) 明るさ推定 (Light Estimation) (4) マーカー認識 (Augmented Image) (5) 空間共有 (Cloud Anchor) (6) 顔認識 (Augmented Faces) ← New!
- 136. Fin.