Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

空に、浮かぼうよ。

1,166 views

Published on

2018-07-21 札幌HoloLens ミートアップ vol.2 ~夏編~ にて公開したスライドとなります。
1.SfM概論
(2.空撮全天球画像の作成方法)
3.UAV操縦方法に関するFAQ&お勧めの機体
上記に関して纏めたスライドです。

Published in: Software
  • Be the first to comment

空に、浮かぼうよ。

  1. 1. UAVを使用した3Dスキャンと、あとドローン。 2018-07-21 でちでち(@takaoyome3)
  2. 2. 自己紹介 (@takaoyome3) • 元電材卸問屋の設計 者。BIM&3次元照度 解析が大好物。 • 現在無職&求職中!! • 主に十勝地方南部で ドローン+xR+観光 に関して模索を行っ てます。 • 専門分野は後ほど。
  3. 3. 今回の登壇が •ハロワに月イチ提 出する、所謂就職 活動実績になると の事で…。
  4. 4. •日本で初めて、 •失業保険認定日に提出する •求職活動履歴欄に •ミートアップ登壇と書く実績解除 •…の先駆者を目指しております
  5. 5. 専門分野 紹介 •#1.SfMを使用した3Dスキャ ン(UAVを使用) •#2.UAVを使用した全天球画 像の作成 •#3.UAVの操縦。 •本日は上記三点に関して、初 めて触る方向けTips集的なお 話を行います。
  6. 6. #1.SfMを使用した3Dス キャン(ザックリと) • Structure from Motionの略。 • 専門的な解説は左記QRコードリン ク先を参照下さい。 • ざっくり言うと、一連の動画、な いしは重なり合った複数枚の画像 から特徴点を検出しステレオ測量 の要領でXYZ3軸の値を与え、計 算機上で再構築する仕組み。 • 可能な限り自動化された仕組みで もある。 https://jp.mathworks.com/help/vision/ug/structure- from-motion.html
  7. 7. もっとざっくり。 • 現実空間をスキャンする仕組み。 • iPhoneXの顔認証やFaceRigは親 戚筋の技術。 • リアルアバター作成の為の3Dス キャンに使われている技術と同じ。 • 対象物がデカいから、リグを組む 事は非現実的。なら、カメラを動 かしゃいいじゃない!! • 動かすために、UAVを使います。
  8. 8. VR分野での先行事例 • 出水享(@DemizuAkira)氏の軍艦島3Dプ ロジェクトが有名。 • 遺構や地形等の形の有る大規模な文化遺産 の保存・広報用に最適な手法。 • 現在私も、それを北海道で行う術を模索し ています。機材が欲しい… • 北海道で適用出来た場合、観光分野への VR活用時に強い力と、なる。 https://skfb.ly/JxXw
  9. 9. じゃあでちでちは? • 十勝地方南部の地形をスキャン、三次元モ デル作成。SketchFabで公開してます。 • 主に、UAVとiPhoneを使用し、地形ス キャンを行ったデータを公開します。 • 幾つか無料ダウンロード可能な物も用意し ています。 • Unityで扱い易いよう、リトポしておりま すので是非触ってみて下さい。 https://sketchfab.com/takaoyome3
  10. 10. 日本列島VRとの違い 主に地形を扱う 点で@VoxelKei 氏の日本列島VR と外形的には一 見被ります。 しかし、下記の4 点にて明確な違 いが存在します。
  11. 11. 日本列島VRとの違い • オープンデータが元 • 飛行機が飛ぶ高度が対象 • 広範囲が対象(県レベル) • 比較的粗。1.5mの視点からでは不明瞭 日本列島VR • クローズドなデータが元 • 鳥が飛ぶ高度が対象 • 狭い範囲が対象(東京ドームn個分) • 高精細。1.5mの視点から見て満足できる。 UAV+SfM
  12. 12. 日本列島VRと、 UAV+SfMは • 対立する関係には成りません。 • むしろ、お互い補完関係と成り うる。 • 例)地域全体マップを日本列島 VRで構築、詳細説明時に UAV+SfMで作成したモデルに 切り替える運用が可能。 • 故に、@VoxelKei さん美味し いお酒のみましょー!!
  13. 13. #1-①.具体的な作成手順。 ①-1.プラン作成 • フライトプランを作成します。 • 適切な位置で画像を取得するため、対象と なる地物周辺を現地調査の上、撮影ポイン ト及び飛行ルートを設定します。 • 手動操縦でも一応可能ですが、自動航法を 適切に使用する事でクオリティを上げる事 が可能です。 • DJI純正アプリとしてGS-Proが存在します ので、私は主にそれを使用しています。航 空局の定める目視外飛行時に使用可能なソ フトウェアの一つ。 https://www.dji.com/jp/ground-station-pro
  14. 14. GS-Proの 特長 • 使用機体(カメラ)と撮影高度、目標とする画像重な り率を入力する事で自動的に経路と撮影ポイントを 設定してくれます。 • 精度に関しては撮影高度依存。高度をキメた段階で、 算出されます。Phantom3Advance、高度47mで 2.0cm/px。公称誤差が2cm程度となります。 • 起伏の差が激しい場所は不向き。発着点からの相対 高度から飛行高度を設定するため、地形追従飛行は 不可能。 • その為、対地距離が短くなった場合に備え画像重な り率を上げる必要あり。 • SfMで最低60%となっている場合は70%程度が目安。 (高低差10m内外) • アプリ内課金を行えば複雑な飛行パターンも設定可 能。
  15. 15. 撮影ポイントの例(四角錐が撮影地点)
  16. 16. 自動航法ソフトウェアは、 他にも幾つか。 • Litchi • 多機能な自動航法ソフトウェア。 • Orbitモードを使うことで建物計測に適した目 標物周辺を移動しながらの自動撮影を行う事 が可能。立体物側面のテクスチャを取得する 際に便利。 • 独自に飛行経路を設定する事で複雑なミッ ションを行う事ができる。 • ただし、設定が結構面倒くさい。また、撮影 ポイントまでは手動操縦する必要有り。安全 性を考えると後者は利点に成りうる。 https://flylitchi.com/
  17. 17. 自動航法ソフトウェアは、 他にも幾つか。 • Altizure • 自動航法機能にSfM機能が統合されたアプ リ。 • 飛行時に取得した画像をクラウド側で処理 し、三次元モデルを作成する。 • 詳細に使い込んだ事が無いので、多くは語 りません。 https://www.altizure.com/
  18. 18. ①-2.ミッションフライト • ①-1で作成したプランに従い、各種法規を遵 守した上で現地にてフライトを行います。 • 手順自体は離着陸地点を確保した上で機体側 に経路データを流し込み(アプリ上で出来ま す)、あとは自動航法。手動操縦でも一応可 能ですが、自動航法を適切に使用する事でク オリティを上げる事が可能です。 • 人間の仕事は、機体を見失わない様に監視し 続ける事となります。コレが大変。
  19. 19. 目視監視が 必要な理由。 • 現在DJI社製ドローンに搭載され ている障害物検出用のセンサー 類では直径5mm以下の物体を検 出する事が不可能。 • 木の枝の先や電線、網等の障害 物を機体側で搭載するセンサ類 のみで回避する事は出来ません。 • 原則目視外飛行は避けるべき。 目視外飛行のリスクは、現時点 では非常に大きい。
  20. 20. 北海道特有のTips • 積雪期は設定する画像重なり率を+10%程度上乗せし た方が良い。積雪により地上の特徴点を拾いにくく なっている為、積雪の無い時期と同様の設定では再構 築出来ない。 • 10月下旬~4月上旬にかけて、UAVのバッテリは直前 まで十分に保温する必要が有る。バッテリ温度が +15℃を下回るとGS-Proは低温異常を上げ、離陸する 事が出来ない。 • なお、本当の厳冬期(1~2月、周囲温度-15℃程度)に ミッションフライトを行った実績は私には有りません。 低温によるバッテリ容量低下の為、ミッション達成す るまで飛行可能か怪しい。 • 野鳥との接触に注意。UAVの飛行高度は野鳥の飛行範 囲と重なります。猛禽類等は縄張りに進入すると邀撃 してくる可能性有り。 • オオワシクラスに襲われた場合、撃墜されます。マジ で。(本州以南低山・森林地帯も同様)
  21. 21. 十勝地方南部特有のTips • ミッション開始前にFlightRadar24(以下FR24)を使用 し、周囲を飛行する有人機の有無を必ず確認します。 • 羽田発帯広便着の発着は要注意。18km(10海里)以内 に進入中の機体が有る場合は安全の為飛行取りやめ。 上空航過後に離陸しましょう。3分で飛んでいきます から。 • 航空大学校の練習機には要注意。低高度を飛行する機 体ですので、驚かせる事が重大な事故に繋がりかねな い。見かけたらまずは降ろして下さい。 • 第5旅団の自衛隊ヘリには厳重警戒。FR24では確認不 能。目視にて対空警戒を厳とするより他には無い。 • ヘリの場合、約45°の角度の円錐状に強烈なダウン ウォッシュが発生します。巻き込まれたら制御不能と なる恐れ。音を聞いたら、降ろせ。
  22. 22. ①-3.SfMへの取り込み • ミッションフライト完了後、画像をSfMに取り込 みます。 • 取り込みの際は特に指定の無い限りはJPEG形式 にて行います。 • Exif内に記録されている緯度経度、高度の情報を SfM側で読み取り、再構築時の画像位置合わせの 補助に使用します。 • Exif情報が無い場合、似たようなパターンが多い 地表面のスキャンの場合にカメラ位置の取り違い が発生し、作成されるモデルが破綻します。
  23. 23. 取り込み完了後は… • 処理開始のボタンを押したら、人間側で行うお仕事は一旦終了 します。 • ローカルのみで計算すると、使用するPCのスペックにもよりま すが50時間程度掛かる事もあります。 • SfM全てに共通する特徴として、計算負荷がとんでもなく大き い事が上げられます。極論すると1pixel毎に複数枚の画像を比 較し、合致判定が出た所にXYZ三軸方向の位置を与える訳です ので、そりゃ負荷高い。 • UAVを使用し、大規模なモデルを作成される場合は、可能であ ればクラウド側の潤沢な計算資源をご利用される事をオススメ します。
  24. 24. 私が使用するSfMはこち ら。 • ReCap Photo(Autodesk) • モデル生成はクラウド側で行います。 • クラウドクレジットを1モデルに付き2,000円~程度 消費しますが、1モデルに付き2h程度で作る事が可 能です。 • 出力形式も、GIS屋さんにはお馴染みとなるGeoTIFF から汎用的なファイルフォーマットであるOBJ、 FBX等多種多様な形式に対応しております。 • 平面直角座標系に基づく補正も可能です。札幌近郊 は12系、道東地方は13系となる例のアレ。 • UAVによる3Dスキャンに特化したSfMとなります。 • 49,680円/年のサブスクリプション。 https://www.autodesk.co.jp/products/recap/overview
  25. 25. 他のSfMその一。 • PhotoScan(Agisoft) • マトリョーシカからシベリアの大地まで再構 築可能な汎用SfM。 • UAVを使用した大規模なモデル作成からフィ ギュア等の小型のモデルまで対応可能。歴史 も長い&測量系でシェアも大きい。GISをやら れている方なら、一度は耳にされた or 使用さ れているかと思います。 • 動作は全てローカルで行われますので、ハイ スペックなワークステーションが必要となり ます。 • 貧弱なスペックのPCでやろうとすると…作成 まで50時間コースも十分に有りえます。 • 1ライセンス3,500$程度と高価。 http://www.agisoft.com/
  26. 26. 他のSfMその二。 • RealityCapture(Capturing Reality) • 手持ちカメラを使用した空間の再構築向け • ノーベルチョコ氏(@nobelchoco)が使用して いるSfM。手持ちカメラでサクッと撮影する だけで高精度な町並みを再構築可能なソフト ウェアです。 • 動作は全てローカルで行われますので、ハイ スペックなワークステーションが必要となり ます。 • 99€/3moから多彩な料金体型有り。 https://www.capturingreality.com/
  27. 27. 他のSfMその三。 • 3DF zephyr(3Dflow) • 動画からの再構築が出来るなど、非常に高機 能。 • 機能限定版は無償で使用可能ですのでまずは 触って見る際にオススメのソフトウェアです。 • 動作は全てローカルで行われますので、ハイ スペックなワークステーションが必要となり ます。 • 空撮向けは高価。3,900€也。 https://www.3dflow.net/3df-zephyr-pro-3d-models-from-photos/
  28. 28. ①-4.モデルの修 正、VRアプリ向 け調整 • SfMから出力されたば かりのデータには、大 抵の場合穴が空いてま す。 • あるいは、完全に再構 築出来なかった地物の 残骸が浮かんでます。 • それらを除去する為、 修正作業を行う必要が あります。
  29. 29. 結構シンドい…修正 作業。 • 私の使用しているReCap Photoの場合 はパーティクル、メッシュの穴、メッ シュの裏返りを自動的に検出、修正を リコメンドする機能が付いております。 • 問題点を自動検出し、強調表示を行う 事で作業者に知らせます。 • 作業者側は、リコメンドに従い対処を 行います。塞ぐか、無視をするか。塞 ぐ場合はスムーズに塞ぐか、フラット に塞ぐか等。 • 一番、時間が掛かる作業です。
  30. 30. リトポロジー。 • SfMから出力されたばかりの メッシュはかなりのハイポリモ デルとなります。 • 5ha程度のモデルで面の数は25 万程度。頂点数は15万程度。 • 起伏の多い場所の場合、更に膨 れ上がります。 • そのため、リトポロジーを行い 最適なメッシュ密度に調整しま す。
  31. 31. エキスポート • パーティクル等の修正を行った上で任意の形 式に出力します。 • Recap Photoの場合はエキスポート時にリト ポロジーを行う事が可能ですので、面数を2 ~3万程度(VRCのルーム向けを想定)まで減 らした上で出力します。 • 以上が、UAV+SfMを使用した地形の三次元 スキャン手順となります。
  32. 32. #2.全天球パノ ラマ画像作成 • Oculus Goの登場で 注目される全天球画 像を • ドローンを使用して 作ります。 • 北海道の空を飛ぶ、 鳥の目線に乗り移る 事が可能です。
  33. 33. 当初の予定では • Microsoft ICEを使用したパノラマ画像の作成方法を紹介予定 だったのですが…止めます。 • Mavic Airに、タップ一発で全天球パノラマを作成する為の機能 が搭載されました。 • これからドローンを購入される、全天球画像に取り組まれる方 は、そちらを使用下さい。早くて、キレイに仕上がります。 • ドローンの進化は恐ろしい…
  34. 34. 仕様確認は、こちらから。 https://www.dji.com/jp/mavic-air お値段104,000円~
  35. 35. タップするだけで全天球画像が出来る。 MAVIC AIR 日本語マニュアルより。
  36. 36. 買うしか、無い。 空撮全天球画像の取得に関しては、以上です。
  37. 37. #3.UAVの操縦(ざっくり) • これからドローン始めたい方を想定し、 • 関係法令、練習方法等がまとまった資料、機 材の入手方法等を • FAQ形式で纏めます。 • そして、コード書いてりゃメシ食べる事も面 倒くさい方向けに • 最適なオモチャも、ご提案させて頂きます!!
  38. 38. #3-①関連法令 • Q.ドローンに関する関連法令がま とまってるサイトを教えて? • A.まずは航空局のWEBサイトを 参照下さい。飛んじゃいけない所、 各種飛行申請のやり方、ヘルプデ スクまで情報が集約されています。 • 無人航空機(ドローン、ラジコン 機等)の安全な飛行のためのガイ ドラインは必読。図表を交えて体 系的に纏まってます。 ガイドライン 航空局WEBサイト http://www.mlit.go.jp/commo n/001228024.pdf http://www.mlit.go.jp/koku /koku_tk10_000003.html
  39. 39. お勧めアプリ(法規・安全関連) • 飛行可能区域を調べる際は下記のアプリがお勧めです。 • ドローンフライトナビ(@1SSIE) • 飛行禁止区域、制限区域、日の出日没時間がワンストップで標 示される良アプリ。ドローンパイロットが個人で開発していま す。 • 周辺を飛行する有人機情報を取得する為、FR24導入を推奨しま す。 • https://www.flightradar24.com/
  40. 40. #3-②参考書籍 • Q.初学者向けに機体の構造、構成、操縦方法等が 体系的に纏まってる書籍は無いの? • A.動物が表紙となっている鈍器こそ存在しません が、上記内容がよく纏まっているおすすめ書籍が 存在します。 • ドローンで北海道を撮ろう(北海道新聞社) ISBN 13 : 9784894539013 • 紙書籍のみ。練習方法の記載も有る、独習向きの 書籍です。 • 作例集も充実しています。
  41. 41. なお。 • オライリー・ジャパンの書籍では • Make: Technology on Your Time Volume 09(2010年1月発行)に UAVに関する記載が有ります。 • (2018-07-19時点で在庫有り)
  42. 42. #3-③機体の入手 • Q.機体はどこで手に入れれば 良いの?Amazon? • A.Amazonは転売品が紛れて いる可能性がありますので、 安易にお勧め出来ません。 • ドローンメーカーと直接取引 の有る販売店をお勧めします。 • 札幌近郊であれば、白石区に SkyLink 札幌が存在します。 http://www.skylinkjapan.com/
  43. 43. WEB通販も対応しています。 Amazon 自社ECサイト https://shop.skylinkjapan.com/https://www.amazon.co.jp/s?me=A15XOG7X0LDE6T
  44. 44. #3-④練習場所 • Q.どこで練習したらいいの? • A.練習場所、講習会等の情報 は、3-③にてご紹介した ショップに集約されます。是 非店頭へ足をお運び下さい。 • Skylink札幌は練習場も保有 し、初心者向けからプロパイ ロット向けまで各種スクール を開催しております。
  45. 45. その他札幌 近郊 • 北海道ドローン協会 当別ドローン練習場 (当別町) • 各種講習会が充実している屋外練習場です。 • PRC飛行場(北広島市) • ラジコンクラブが経営している飛行場です。 敷居高いかも… • 模型のジョー飛行場(北広島市) • 昔ながらの模型店の飛行場です。
  46. 46. #3-⑤お勧め機体(DJI製品) • Q.お勧め機体は?用途毎に得手不得手はあるの? • A.用途別のお勧め機体は下記となります。 • 1.SfM(地形3Dスキャン):Phantom4proVer2.0 or INSPIRE2 • 航続時間とカメラ解像度が重要となるSfM向けには上記以上の 機種を選定下さい。予算があればMATRICEシリーズ。RTK使 えます。 • 2.全天球画像作成:MAVIC Air or SPARK • 上記2機種はパノラマ生成機能が付いています。全てアプリ内 で完結。 • 航続時間が短い為、SfM用途には適用困難。
  47. 47. そして、 最初の1機に オススメは。 • Tello(Ryze Tech) • 安価です。安定してます。 • Scratchでプログラミング、出来 ます。 • SDK、用意されてます。 • 室内で、飛ばせます。 • サードパーティアプリで、スマ ホでプログラミング飛行する為 のツール、用意されています。
  48. 48. 大人げない 大人のオモチャに なる運命(さだめ) を背負った機体です。
  49. 49. https://shop.skylinkjapan.com/produc ts/detail.php?product_id=1010
  50. 50. Telloプログラミングツール纏め • 本ページより各種ドキュメントをダウ ンロード下さい。 • https://www.ryzerobotics.com/jp/tello/downloads • Scratch README • https://dl- cdn.ryzerobotics.com/downloads/tello/0222/Tello+Scratch+ Readme.pdf • Tello SDK README • https://dl- cdn.ryzerobotics.com/downloads/tello/0228/Tello+SDK+Rea dme.pdf
  51. 51. • Android&iOSからは、 こちら。 • DRONE BLOCKS(Android & iOS) • http://www.droneblocks.io/curricul um-1
  52. 52. それでは皆さん、 空に、浮かぼうよ。
  53. 53. 本スライドに、 • 価値を感じて頂けましたら、 • 投げ銭頂けますと幸いです。 • https://polca.jp/projects/Ra9IXeMAbjq • でちでち(@takaoyome3)

×