Using machine learning object detection

1. 個人プロジェクト
夜空からの星座検出
2019/10/28 角田

2. 【やりたいこと】
・満点の星空から星座を見つけ出したい
【きっかけ】
・子供の頃アニメ・漫画でやっていた『聖闘士星矢』が好
きだった（推しキャラは水瓶座アクエリアスのカミュ）
・一人旅が好きだが星がキレイな場所に行って星空を眺め
てもどこに星座があるか（オリオン座しか）わからない
・スマホで画面越しに星座を探せるアプリがあるだろうと
思ったが意外となかった

3. 【完成したら役立ちそうなこと】
・○○流星群などの時期は目印になり家族で楽しめる
・星空が綺麗な場所での写真撮影に役立つ（インスタグラ
マーが喜びそう）
・カメラの高精細化が進むと星も綺麗に撮影できるのでカ
メラの撮影補助機能として付加価値を高められる
・学校の授業や地域活動にも使える（課外授業のプラネタ
リウムなどでも）

4. 【現時点の課題】
・データセット集めが難しい（東京では星が見えず、カメ
ラで撮影するのは難しい）
・データ画像から星座を見抜くには熟練の技が必要（オリ
オン座しか分からない）
【そこで、今回やったこと】
・家庭用プラネタリウムの画像から機械学習モデルを使い
星座を物体検出

5. ・星座線ありとなしの原板で家庭の天井
に投影し、自分で写真撮影してデータ集
めが可能
星座線なし原板 星座線あり原板
ホームスタークラシック

6. １．星座線がある原板から静止画を撮影し星座検出
４３クラスの物体検出
２．星座線がある原板からスマホカメラで動画撮影しリア
ルタイムで検出
３．星座線がない原板から静止画を撮影し星座検出
まずはオリオン座、北斗七星、夏の大三角の３クラス
で試した。

7. • モデルはCOCOデータセットを事前学習したmobilenet
v2 SSDモデル（Tensor Flow使用）を使用
• 自宅でスマホで撮影した１４３枚４３クラス（４２星座
+流れ星）の画像（静止画）を水増しし学習
• スマホで動画を撮影し画像として取り込み推論し、GIF
ファイルで出力
• スマホでのリアルタイム物体検出では学習したモデルを
Tensowflow lite用のデータにコンバートし、Android
Studioというアプリケーションを使ってビルド

8. 北斗七星
はくちょう座
カシオペア座
ケフェウス座 こぐま座
りゅう座
ペガスス座
みずがめ座
ペルセウス座

9. ・比較的検出できていた。原板の周縁部の星座は線がぼや
けていたりデータが少なかったりして検出できていないも
のもあった。

10. ・中央に近い星座は検出できているが周縁部に近いものは
できていない。

11. ・検出できず。モデルの問題の可能性もあるが手持ちのス
マホの動画モードだと暗すぎて画面越しでもほとんど見え
ない。
・GIFの例ではリアルタイム検出だとバウンディングボッ
クスの動きが激しいので実用性にかけるかも。
失敗のため画像なし

12. ・検出できたものもあるがバウンディングボックスの範囲
が外れているものが多い。何か他のアプローチが必要か。
・動画でも試したが検出できず。
正しく検出できた例 範囲が狭い
※赤線は正解を示すための参考で実際は星座線なしです

13. ・星座線なしのデータでの検出、データを増やすか別のア
プローチを考える。
・リアルタイム検出ではなく写真を撮影して推論させるよ
うなプログラムにトライ
・本物の星空でも検出できるようにしたい