2018-07-21　札幌HoloLens ミートアップ vol.2　～夏編～ にて公開したスライドとなります。 1.SfM概論 (2.空撮全天球画像の作成方法) 3.UAV操縦方法に関するFAQ&お勧めの機体 上記に関して纏めたスライドです。

1. UAVを使用した3Dスキャンと、あとドローン。
2018-07-21 でちでち(@takaoyome3)

2. 自己紹介
(@takaoyome3)
• 元電材卸問屋の設計
者。BIM&3次元照度
解析が大好物。
• 現在無職&求職中!!
• 主に十勝地方南部で
ドローン+xR+観光
に関して模索を行っ
てます。
• 専門分野は後ほど。

3. 今回の登壇が
•ハロワに月イチ提
出する、所謂就職
活動実績になると
の事で…。

4. •日本で初めて、
•失業保険認定日に提出する
•求職活動履歴欄に
•ミートアップ登壇と書く実績解除
•…の先駆者を目指しております

5. 専門分野
紹介
•#1.SfMを使用した3Dスキャ
ン(UAVを使用)
•#2.UAVを使用した全天球画
像の作成
•#3.UAVの操縦。
•本日は上記三点に関して、初
めて触る方向けTips集的なお
話を行います。

6. #1.SfMを使用した3Dス
キャン(ザックリと)
• Structure from Motionの略。
• 専門的な解説は左記QRコードリン
ク先を参照下さい。
• ざっくり言うと、一連の動画、な
いしは重なり合った複数枚の画像
から特徴点を検出しステレオ測量
の要領でXYZ3軸の値を与え、計
算機上で再構築する仕組み。
• 可能な限り自動化された仕組みで
もある。
https://jp.mathworks.com/help/vision/ug/structure-
from-motion.html

7. もっとざっくり。
• 現実空間をスキャンする仕組み。
• iPhoneXの顔認証やFaceRigは親
戚筋の技術。
• リアルアバター作成の為の3Dス
キャンに使われている技術と同じ。
• 対象物がデカいから、リグを組む
事は非現実的。なら、カメラを動
かしゃいいじゃない!!
• 動かすために、UAVを使います。

8. VR分野での先行事例
• 出水享(@DemizuAkira)氏の軍艦島３Ｄプ
ロジェクトが有名。
• 遺構や地形等の形の有る大規模な文化遺産
の保存・広報用に最適な手法。
• 現在私も、それを北海道で行う術を模索し
ています。機材が欲しい…
• 北海道で適用出来た場合、観光分野への
VR活用時に強い力と、なる。
https://skfb.ly/JxXw

9. じゃあでちでちは?
• 十勝地方南部の地形をスキャン、三次元モ
デル作成。SketchFabで公開してます。
• 主に、UAVとiPhoneを使用し、地形ス
キャンを行ったデータを公開します。
• 幾つか無料ダウンロード可能な物も用意し
ています。
• Unityで扱い易いよう、リトポしておりま
すので是非触ってみて下さい。
https://sketchfab.com/takaoyome3

10. 日本列島VRとの違い
主に地形を扱う
点で@VoxelKei
氏の日本列島VR
と外形的には一
見被ります。
しかし、下記の4
点にて明確な違
いが存在します。

11. 日本列島VRとの違い
• オープンデータが元
• 飛行機が飛ぶ高度が対象
• 広範囲が対象(県レベル)
• 比較的粗。1.5mの視点からでは不明瞭
日本列島VR
• クローズドなデータが元
• 鳥が飛ぶ高度が対象
• 狭い範囲が対象(東京ドームn個分）
• 高精細。1.5mの視点から見て満足できる。
UAV+SfM

12. 日本列島VRと、
UAV+SfMは
• 対立する関係には成りません。
• むしろ、お互い補完関係と成り
うる。
• 例)地域全体マップを日本列島
VRで構築、詳細説明時に
UAV+SfMで作成したモデルに
切り替える運用が可能。
• 故に、@VoxelKei さん美味し
いお酒のみましょー!!

13. #1-①.具体的な作成手順。
①-1.プラン作成
• フライトプランを作成します。
• 適切な位置で画像を取得するため、対象と
なる地物周辺を現地調査の上、撮影ポイン
ト及び飛行ルートを設定します。
• 手動操縦でも一応可能ですが、自動航法を
適切に使用する事でクオリティを上げる事
が可能です。
• DJI純正アプリとしてGS-Proが存在します
ので、私は主にそれを使用しています。航
空局の定める目視外飛行時に使用可能なソ
フトウェアの一つ。
https://www.dji.com/jp/ground-station-pro

14. GS-Proの
特長
• 使用機体(カメラ)と撮影高度、目標とする画像重な
り率を入力する事で自動的に経路と撮影ポイントを
設定してくれます。
• 精度に関しては撮影高度依存。高度をキメた段階で、
算出されます。Phantom3Advance、高度47mで
2.0cm/px。公称誤差が2cm程度となります。
• 起伏の差が激しい場所は不向き。発着点からの相対
高度から飛行高度を設定するため、地形追従飛行は
不可能。
• その為、対地距離が短くなった場合に備え画像重な
り率を上げる必要あり。
• SfMで最低60%となっている場合は70%程度が目安。
(高低差10m内外)
• アプリ内課金を行えば複雑な飛行パターンも設定可
能。

15. 撮影ポイントの例(四角錐が撮影地点)

16. 自動航法ソフトウェアは、
他にも幾つか。
• Litchi
• 多機能な自動航法ソフトウェア。
• Orbitモードを使うことで建物計測に適した目
標物周辺を移動しながらの自動撮影を行う事
が可能。立体物側面のテクスチャを取得する
際に便利。
• 独自に飛行経路を設定する事で複雑なミッ
ションを行う事ができる。
• ただし、設定が結構面倒くさい。また、撮影
ポイントまでは手動操縦する必要有り。安全
性を考えると後者は利点に成りうる。
https://flylitchi.com/

17. 自動航法ソフトウェアは、
他にも幾つか。
• Altizure
• 自動航法機能にSfM機能が統合されたアプ
リ。
• 飛行時に取得した画像をクラウド側で処理
し、三次元モデルを作成する。
• 詳細に使い込んだ事が無いので、多くは語
りません。
https://www.altizure.com/

18. ①-2.ミッションフライト
• ①-1で作成したプランに従い、各種法規を遵
守した上で現地にてフライトを行います。
• 手順自体は離着陸地点を確保した上で機体側
に経路データを流し込み(アプリ上で出来ま
す)、あとは自動航法。手動操縦でも一応可
能ですが、自動航法を適切に使用する事でク
オリティを上げる事が可能です。
• 人間の仕事は、機体を見失わない様に監視し
続ける事となります。コレが大変。

19. 目視監視が
必要な理由。
• 現在DJI社製ドローンに搭載され
ている障害物検出用のセンサー
類では直径5mm以下の物体を検
出する事が不可能。
• 木の枝の先や電線、網等の障害
物を機体側で搭載するセンサ類
のみで回避する事は出来ません。
• 原則目視外飛行は避けるべき。
目視外飛行のリスクは、現時点
では非常に大きい。

20. 北海道特有のTips
• 積雪期は設定する画像重なり率を+10%程度上乗せし
た方が良い。積雪により地上の特徴点を拾いにくく
なっている為、積雪の無い時期と同様の設定では再構
築出来ない。
• 10月下旬～4月上旬にかけて、UAVのバッテリは直前
まで十分に保温する必要が有る。バッテリ温度が
+15℃を下回るとGS-Proは低温異常を上げ、離陸する
事が出来ない。
• なお、本当の厳冬期(1～2月、周囲温度-15℃程度)に
ミッションフライトを行った実績は私には有りません。
低温によるバッテリ容量低下の為、ミッション達成す
るまで飛行可能か怪しい。
• 野鳥との接触に注意。UAVの飛行高度は野鳥の飛行範
囲と重なります。猛禽類等は縄張りに進入すると邀撃
してくる可能性有り。
• オオワシクラスに襲われた場合、撃墜されます。マジ
で。(本州以南低山・森林地帯も同様)

21. 十勝地方南部特有のTips
• ミッション開始前にFlightRadar24(以下FR24)を使用
し、周囲を飛行する有人機の有無を必ず確認します。
• 羽田発帯広便着の発着は要注意。18km(10海里)以内
に進入中の機体が有る場合は安全の為飛行取りやめ。
上空航過後に離陸しましょう。3分で飛んでいきます
から。
• 航空大学校の練習機には要注意。低高度を飛行する機
体ですので、驚かせる事が重大な事故に繋がりかねな
い。見かけたらまずは降ろして下さい。
• 第5旅団の自衛隊ヘリには厳重警戒。FR24では確認不
能。目視にて対空警戒を厳とするより他には無い。
• ヘリの場合、約45°の角度の円錐状に強烈なダウン
ウォッシュが発生します。巻き込まれたら制御不能と
なる恐れ。音を聞いたら、降ろせ。

22. ①-3.SfMへの取り込み
• ミッションフライト完了後、画像をSfMに取り込
みます。
• 取り込みの際は特に指定の無い限りはJPEG形式
にて行います。
• Exif内に記録されている緯度経度、高度の情報を
SfM側で読み取り、再構築時の画像位置合わせの
補助に使用します。
• Exif情報が無い場合、似たようなパターンが多い
地表面のスキャンの場合にカメラ位置の取り違い
が発生し、作成されるモデルが破綻します。

23. 取り込み完了後は…
• 処理開始のボタンを押したら、人間側で行うお仕事は一旦終了
します。
• ローカルのみで計算すると、使用するPCのスペックにもよりま
すが50時間程度掛かる事もあります。
• SfM全てに共通する特徴として、計算負荷がとんでもなく大き
い事が上げられます。極論すると1pixel毎に複数枚の画像を比
較し、合致判定が出た所にXYZ三軸方向の位置を与える訳です
ので、そりゃ負荷高い。
• UAVを使用し、大規模なモデルを作成される場合は、可能であ
ればクラウド側の潤沢な計算資源をご利用される事をオススメ
します。

24. 私が使用するSfMはこち
ら。
• ReCap Photo(Autodesk)
• モデル生成はクラウド側で行います。
• クラウドクレジットを1モデルに付き2,000円～程度
消費しますが、1モデルに付き2h程度で作る事が可
能です。
• 出力形式も、GIS屋さんにはお馴染みとなるGeoTIFF
から汎用的なファイルフォーマットであるOBJ、
FBX等多種多様な形式に対応しております。
• 平面直角座標系に基づく補正も可能です。札幌近郊
は12系、道東地方は13系となる例のアレ。
• UAVによる3Dスキャンに特化したSfMとなります。
• 49,680円/年のサブスクリプション。
https://www.autodesk.co.jp/products/recap/overview

25. 他のSfMその一。
• PhotoScan(Agisoft)
• マトリョーシカからシベリアの大地まで再構
築可能な汎用SfM。
• UAVを使用した大規模なモデル作成からフィ
ギュア等の小型のモデルまで対応可能。歴史
も長い&測量系でシェアも大きい。GISをやら
れている方なら、一度は耳にされた or 使用さ
れているかと思います。
• 動作は全てローカルで行われますので、ハイ
スペックなワークステーションが必要となり
ます。
• 貧弱なスペックのPCでやろうとすると…作成
まで50時間コースも十分に有りえます。
• 1ライセンス3,500$程度と高価。 http://www.agisoft.com/

26. 他のSfMその二。
• RealityCapture(Capturing Reality)
• 手持ちカメラを使用した空間の再構築向け
• ノーベルチョコ氏(@nobelchoco)が使用して
いるSfM。手持ちカメラでサクッと撮影する
だけで高精度な町並みを再構築可能なソフト
ウェアです。
• 動作は全てローカルで行われますので、ハイ
スペックなワークステーションが必要となり
ます。
• 99€/3moから多彩な料金体型有り。
https://www.capturingreality.com/

27. 他のSfMその三。
• 3DF zephyr(3Dflow)
• 動画からの再構築が出来るなど、非常に高機
能。
• 機能限定版は無償で使用可能ですのでまずは
触って見る際にオススメのソフトウェアです。
• 動作は全てローカルで行われますので、ハイ
スペックなワークステーションが必要となり
ます。
• 空撮向けは高価。3,900€也。
https://www.3dflow.net/3df-zephyr-pro-3d-models-from-photos/

28. ①-4.モデルの修
正、VRアプリ向
け調整
• SfMから出力されたば
かりのデータには、大
抵の場合穴が空いてま
す。
• あるいは、完全に再構
築出来なかった地物の
残骸が浮かんでます。
• それらを除去する為、
修正作業を行う必要が
あります。

29. 結構シンドい…修正
作業。
• 私の使用しているReCap Photoの場合
はパーティクル、メッシュの穴、メッ
シュの裏返りを自動的に検出、修正を
リコメンドする機能が付いております。
• 問題点を自動検出し、強調表示を行う
事で作業者に知らせます。
• 作業者側は、リコメンドに従い対処を
行います。塞ぐか、無視をするか。塞
ぐ場合はスムーズに塞ぐか、フラット
に塞ぐか等。
• 一番、時間が掛かる作業です。

30. リトポロジー。
• SfMから出力されたばかりの
メッシュはかなりのハイポリモ
デルとなります。
• 5ha程度のモデルで面の数は25
万程度。頂点数は15万程度。
• 起伏の多い場所の場合、更に膨
れ上がります。
• そのため、リトポロジーを行い
最適なメッシュ密度に調整しま
す。

31. エキスポート
• パーティクル等の修正を行った上で任意の形
式に出力します。
• Recap Photoの場合はエキスポート時にリト
ポロジーを行う事が可能ですので、面数を2
～3万程度(VRCのルーム向けを想定)まで減
らした上で出力します。
• 以上が、UAV+SfMを使用した地形の三次元
スキャン手順となります。

32. #2.全天球パノ
ラマ画像作成
• Oculus Goの登場で
注目される全天球画
像を
• ドローンを使用して
作ります。
• 北海道の空を飛ぶ、
鳥の目線に乗り移る
事が可能です。

33. 当初の予定では
• Microsoft ICEを使用したパノラマ画像の作成方法を紹介予定
だったのですが…止めます。
• Mavic Airに、タップ一発で全天球パノラマを作成する為の機能
が搭載されました。
• これからドローンを購入される、全天球画像に取り組まれる方
は、そちらを使用下さい。早くて、キレイに仕上がります。
• ドローンの進化は恐ろしい…

34. 仕様確認は、こちらから。
https://www.dji.com/jp/mavic-air
お値段104,000円～

35. タップするだけで全天球画像が出来る。
MAVIC AIR 日本語マニュアルより。

36. 買うしか、無い。
空撮全天球画像の取得に関しては、以上です。

37. #3.UAVの操縦(ざっくり)
• これからドローン始めたい方を想定し、
• 関係法令、練習方法等がまとまった資料、機
材の入手方法等を
• FAQ形式で纏めます。
• そして、コード書いてりゃメシ食べる事も面
倒くさい方向けに
• 最適なオモチャも、ご提案させて頂きます!!

38. #3-①関連法令
• Q.ドローンに関する関連法令がま
とまってるサイトを教えて?
• A.まずは航空局のWEBサイトを
参照下さい。飛んじゃいけない所、
各種飛行申請のやり方、ヘルプデ
スクまで情報が集約されています。
• 無人航空機（ドローン、ラジコン
機等）の安全な飛行のためのガイ
ドラインは必読。図表を交えて体
系的に纏まってます。
ガイドライン 航空局WEBサイト
http://www.mlit.go.jp/commo
n/001228024.pdf
http://www.mlit.go.jp/koku
/koku_tk10_000003.html

39. お勧めアプリ(法規・安全関連)
• 飛行可能区域を調べる際は下記のアプリがお勧めです。
• ドローンフライトナビ(@1SSIE)
• 飛行禁止区域、制限区域、日の出日没時間がワンストップで標
示される良アプリ。ドローンパイロットが個人で開発していま
す。
• 周辺を飛行する有人機情報を取得する為、FR24導入を推奨しま
す。
• https://www.flightradar24.com/

40. #3-②参考書籍
• Q.初学者向けに機体の構造、構成、操縦方法等が
体系的に纏まってる書籍は無いの?
• A.動物が表紙となっている鈍器こそ存在しません
が、上記内容がよく纏まっているおすすめ書籍が
存在します。
• ドローンで北海道を撮ろう(北海道新聞社) ISBN
13 : 9784894539013
• 紙書籍のみ。練習方法の記載も有る、独習向きの
書籍です。
• 作例集も充実しています。

41. なお。
• オライリー・ジャパンの書籍では
• Make: Technology on Your Time
Volume 09(2010年1月発行)に
UAVに関する記載が有ります。
• (2018-07-19時点で在庫有り)

42. #3-③機体の入手
• Q.機体はどこで手に入れれば
良いの?Amazon?
• A.Amazonは転売品が紛れて
いる可能性がありますので、
安易にお勧め出来ません。
• ドローンメーカーと直接取引
の有る販売店をお勧めします。
• 札幌近郊であれば、白石区に
SkyLink 札幌が存在します。
http://www.skylinkjapan.com/

43. WEB通販も対応しています。
Amazon 自社ECサイト
https://shop.skylinkjapan.com/https://www.amazon.co.jp/s?me=A15XOG7X0LDE6T

44. #3-④練習場所
• Q.どこで練習したらいいの?
• A.練習場所、講習会等の情報
は、3-③にてご紹介した
ショップに集約されます。是
非店頭へ足をお運び下さい。
• Skylink札幌は練習場も保有
し、初心者向けからプロパイ
ロット向けまで各種スクール
を開催しております。

45. その他札幌
近郊
• 北海道ドローン協会 当別ドローン練習場
(当別町)
• 各種講習会が充実している屋外練習場です。
• PRC飛行場(北広島市)
• ラジコンクラブが経営している飛行場です。
敷居高いかも…
• 模型のジョー飛行場(北広島市)
• 昔ながらの模型店の飛行場です。

46. #3-⑤お勧め機体(DJI製品)
• Q.お勧め機体は?用途毎に得手不得手はあるの?
• A.用途別のお勧め機体は下記となります。
• 1.SfM(地形3Dスキャン):Phantom4proVer2.0 or INSPIRE2
• 航続時間とカメラ解像度が重要となるSfM向けには上記以上の
機種を選定下さい。予算があればMATRICEシリーズ。RTK使
えます。
• 2.全天球画像作成:MAVIC Air or SPARK
• 上記2機種はパノラマ生成機能が付いています。全てアプリ内
で完結。
• 航続時間が短い為、SfM用途には適用困難。

47. そして、
最初の1機に
オススメは。
• Tello(Ryze Tech)
• 安価です。安定してます。
• Scratchでプログラミング、出来
ます。
• SDK、用意されてます。
• 室内で、飛ばせます。
• サードパーティアプリで、スマ
ホでプログラミング飛行する為
のツール、用意されています。

48. 大人げない
大人のオモチャに
なる運命(さだめ)
を背負った機体です。

49. https://shop.skylinkjapan.com/produc
ts/detail.php?product_id=1010

50. Telloプログラミングツール纏め
• 本ページより各種ドキュメントをダウ
ンロード下さい。
• https://www.ryzerobotics.com/jp/tello/downloads
• Scratch README
• https://dl-
cdn.ryzerobotics.com/downloads/tello/0222/Tello+Scratch+
Readme.pdf
• Tello SDK README
• https://dl-
cdn.ryzerobotics.com/downloads/tello/0228/Tello+SDK+Rea
dme.pdf

52. • Android&iOSからは、
こちら。
• DRONE BLOCKS(Android & iOS)
• http://www.droneblocks.io/curricul
um-1

53. それでは皆さん、
空に、浮かぼうよ。

54. 本スライドに、
• 価値を感じて頂けましたら、
• 投げ銭頂けますと幸いです。
• https://polca.jp/projects/Ra9IXeMAbjq
• でちでち(@takaoyome3)