SB Tech Festival 2022の講演資料です。

1. AIで空間を自由に結ぶトラッキング光無線技術
ソフトバンク株式会社 テクノロジーユニット
IT-OTイノベーション本部 サービス基盤統括部
サービス基盤企画部
今井弘道

2. 2
自己紹介
2015年
2019年
ソフトバンクに中途入社（ワイモバイルから転籍）
トラッキング光無線通信プロジェクト立ち上げ
2020年 陸上のトラッキング通信実証に成功（世界初①）
2021年 水中のトラッキング通信実証に成功（世界初②）
経歴
最近の趣味
津軽三味線 とんぼ玉作り ヘアドネーション
ここ
（そろそろ収穫期）

3. 今日お話しすること
・光無線通信について
・光無線通信の大きな課題
・トラッキング光無線通信技術の開発状況
3

4. 今日お話しすること
・光無線通信について
・光無線通信の大きな課題
・トラッキング光無線通信技術の開発状況
4

5. そもそも光無線通信とは
世界初の無線通信は“光”だった！
1880年 グラハム・ベルがフォトフォンを発明
(引用:Wikipedia)
電波のほうが拡散・透過するので使いやすい
豪雨や濃霧、障害物で遮蔽されると使えない
光ファイバのほうが安定するし高速
・リモコンの赤外線通信
・ビル間などの固定設置回線
・衛星通信 etc...
ベルは自身の最も重要な発明と信じていたが...
今では一部の限られた用途で使われるのみ
5

6. だがしかし！
6

7. 『6Gでは光が重要な技術となる』
電波の届かない
水中での無線通信
電磁ノイズ耐性／
不干渉性
1Tbpsを超える
大容量／低遅延
高セキュリティ
（量子通信技術）
(出典：総務省2019第5回成長戦略WG)
7

8. 電磁波攻撃に強く隠密性の高い
データリンク／航空機管制
セキュアで高速低遅延な
V2X通信
水中ロボットの連携による
設備保守／環境観測
光ならではの先進的なアプリケーション
8

9. さらに！
9

10. 極超短波
(UHF)
センチ波
(SHF)
ミリ波
(EHF)
サブミリ波
(EHF)
赤外線
(IR)
超短波
(VHF)
可視光
5G
4G
光なら有限希少な電波を節約し、持続可能な社会を実現できる
電波法の縛りがない（免許不要）
数百G〜1Tbps超の大容量通信が可能
6G
持続可能な社会の発展に向けて
10

11. 今日お話しすること
・光無線通信について
・光無線通信の大きな課題
・トラッキング光無線通信技術の開発状況
11

12. 指向性の高い“光”を汎用的な通信技術として社会実装するには
高速・精密かつ汎用的なトラッキング技術の研究開発が重要
これまでにないアクティブな
トラッキング技術が必要
動くと切れるので
主に固定通信でしか使えない…※
※軌道が計算できる衛星通信では使われている
12

13. 今日お話しすること
・光無線通信について
・光無線通信の大きな課題
・トラッキング光無線通信技術の開発状況
13

14. 原理実証に成功
（特許3件を取得！）
2019
陸上での実証実験に成功
（世界初！）
2020
水中での実証実験に成功
（世界初！）
2021 2022
Coming Soon!
当社におけるトラッキング光無線通信技術の研究開発状況
14

15. 原理実証に成功
（特許3件を取得！）
2019 2020 2021 2022
15
Coming Soon!
当社におけるトラッキング光無線通信技術の研究開発状況
陸上での実証実験に成功
（世界初！）
水中での実証実験に成功
（世界初！）

16. 内製したトラッキング実験装置にて、
短距離トラッキング光無線通信の試験に成功した様子
2019年7月 SB独自のトラッキング技術の原理実証に成功！
内製したトラッキング技術で
基本特許3件を権利化済
パテントスコアA- (上位 7%以内)：2件
パテントスコアB+(上位30%以内)：1件
株式会社パテント・リザルト※が、国内の特許を
<1>出願人の権利化への注力度
<2>審査官の判定結果、後続特許の審査への影響度
<3>競合他社への牽制度
を総合的に加味してスコア付けしたもの
※特許権保有件数1万件以上の企業24社のうち22社と取引
16

17. カメラと同軸あるいは
並行設置の送受信ポート
Pitching
カメラの
画角
3軸交点上のカメラ
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
通信装置
通信装置
17

18. カメラと同軸あるいは
並行設置の送受信ポート
Pitching
カメラの
画角
3軸交点上のカメラ
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
通信装置
通信装置
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
18

19. Yawing
Rolling
Pitching
カメラと同軸あるいは
並行設置の送受信ポート
3軸交点上のカメラ
通信装置
通信装置
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
19

20. Yawing
Rolling
Pitching
カメラと同軸あるいは
並行設置の送受信ポート
3軸交点上のカメラ
通信光
通信装置
通信装置
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
20

21. Yawing
Rolling
Pitching
カメラと同軸あるいは
並行設置の送受信ポート
3軸交点上のカメラ
通信装置
通信装置
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
・スタンドアロンから外部の補助なしで捕捉追尾可能
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
光学的に探知できる条件なら
どこでも（屋内や水中でも）
広い視野角でトラッキング可能
21

22. ・スタンドアロンから外部の補助なしで捕捉追尾可能
・複数対象を同時にトラッキングして切り替え可能
・画像認識なので人や障害物の検知＆回避が容易
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
22

23. ・スタンドアロンから外部の補助なしで捕捉追尾可能
・複数対象を同時にトラッキングして切り替え可能
・画像認識なので人や障害物の検知＆回避が容易
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
23

24. ・スタンドアロンから外部の補助なしで捕捉追尾可能
・複数対象を同時にトラッキングして切り替え可能
・画像認識なので人や障害物の検知＆回避が容易
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
24

25. ・画像認識なので人や障害物の検知＆回避が容易
SBが独自に開発した画像認識AIによるトラッキング技術の“超”概要
・スタンドアロンから外部の補助なしで捕捉追尾可能
・複数対象を同時にトラッキングして切り替え可能
1. 一対の通信装置がそれぞれ自装置のカメラで
対向装置を画角内にとらえる
2. 画像認識技術を用いて対向装置自身や通信ポート、
もしくはマーカーを識別する
3. 識別された対象が撮像素子中央に位置するように
３軸（２軸）の回転制御を行う
4. 向き合った通信ポートどうしの光無線通信を行う
25

26. 原理実証に成功
（特許3件を取得！）
2019 2020 2021 2022
Coming Soon!
当社におけるトラッキング光無線通信技術の研究開発状況
26
陸上での実証実験に成功
（世界初！）
水中での実証実験に成功
（世界初！）

27. 距離100m／時速20kmで動く物体との
光無線通信に成功！
2020年12月、株式会社ニコンと合同で
”陸上における”トラッキング通信実証の成功（世界初※）
※ランダムに動き回る通信対象との光無線通信の確立・維持において世界初
27

28. 光無線通信機
マーカ(ターゲット)
トラッキングカメラ
2軸ジンバル
外乱模擬ロボット
700
650
Φ200
370
APDIS(Laser Radar※
)の
H/W・制御技術を応用
※大規模空間非接触測定機
28
ｃ
ニコンはすでに超精密ジンバルを用いた製品を持っており、こちらを流用。トラッ
キングを阻害する外乱要素となるロボットに装置を搭載して実験。
株式会社ニコンとの共同開発概要
28

29. 29
ジンバル制御量を決めるための “距離”と”マーカ中心座標”を“深層学習”によって推定
特徴的なマーカを用いることでロバスト性向上を実現
学習に用いたマーカ画像は反転画含め1320枚用意
＜深層学習データ作成例＞
最終的には、異なる照度条件・装置周辺の配線を含んだ実機画像
・誤認識しやすい物体などの外乱要素も学習データに含めた
＜深層学習データ作成例＞
株式会社ニコンとの共同開発概要

30. 30
距離推定
（主にジンバル首振り制御量に関わる量）
4m地
点
52m地
点
24m地
点
正対姿勢マーカを4～52(m)の26地点で撮影した時の認識精度
50m離れたマーカに対して継続的にトラッキングするための十分な画像処理精度が得られた
遠距離になるほど悪化傾向だが
推定誤差は10%以下
得られた距離情報と光無線通信機の中心
座標を用いて制御サンプル 30(Hz)で逐次ト
ラッキング制御を実現
ジンバル姿勢制御
（光無線通信機を軸として制御）
マーカ中心推定誤差
（主に通信許容角に収める制御に関わる量）
3σ＝3.25(px)
角度換算
0.07度
X (px)
Y
(px)
0 6
-6
-6
0
6
マーカ中心を角度換算で
全角0.07度（ 3σ≦3.25px ）で推定
※光通信可能角は、全角１
.0度以下（Φ176px）
株式会社ニコンとの共同開発概要

31. トラッキングしながらの光無線通信実験
ライブ映像
（汽車の玩具）
通信量表示
（≒74Mbpsを維持）
Task manager/ Windows10
※光無線通信機を正対制御していることを視覚的に表すために
通信光を赤線で描画合成している
ロボットによって通信を阻害する外乱動作を与えても
トラッキングを維持して通信できることを確認した
通信を阻害することを目的として、双方の通信機を搭載するジン
バル部をロボットで縦横無尽にランダムに動かしているが、画像
処理トラッキングで相手のマーカを捕捉して逐次姿勢制御を行っ
て通信を維持している
設置距離＝5m
ライブ映像（受信側） ライブ映像（送信側）
実証実験の結果｜短距離検証
装置本体 装置本体
31

32. ニコン熊谷製作所敷地内にて実施
LANケーブルで接続 LANケーブルで接続
PC1
192.168.xxx.1
PC2
192.168.xxx.2
光無線通信
通信が絶えず確立しているので
応答時間は数十(msec)を維持
●ネットワークコマンド（PING）にて相手機の応答を逐次確認
●トラッキング中の通信状態の確認
通信機の限界距離100mでターゲット識別に成功
トラッキングを維持してデータ送受信に成功
【 課 題 】
ロバスト性の向上
画像処理の高速化（制御サンプル周波数の向上）
実証実験の結果｜長距離検証
32

33. 原理実証に成功
（特許3件を取得！）
2019 2020 2021 2022
33
Coming Soon!
当社におけるトラッキング光無線通信技術の研究開発状況
陸上での実証実験に成功
（世界初！）
水中での実証実験に成功
（世界初！）

34. 水中を自由に動き回る物体との
光無線通信に成功！
2021年9月、東京海洋大学と合同で
“水中における”トラッキング通信実証の成功（世界初※）
※水中ロボットが自由に動き回る状態での通信の確立・維持において世界初
34

35. 実証時の構成
水中では通信装置のポジションを一定に保つことが困難である。
そこで、トラッキング装置と本体の分離構成により移動中の水中光無線通信が可能となることを実証
トラッキング制御が
本体の動きに制限されない
短いケーブルで本体に接続され、
本体に随伴しながら
ポジションを自由に変えて
トラッキングを維持
コンセプト
光
独立分離構成での
トラッキング通信実証を行う
35

36. 36
20m
水中ロボット
トラッキング装置
トラッキング距離20mを達成
（装置は吊り下げてロープで揺動）
トラッキング光無線通信経由で
水中ロボットの遠隔操作に成功
２台のトラッキング光無線通信装置
が向かい合っている状況
水中ロボットおよび随伴型の
トラッキング光無線通信装置

37. 原理実証に成功
（特許3件を取得！）
2019 2020 2021 2022
37
Coming Soon!
（現在の特許出願数は22件、
取得数は8件になりました）
当社におけるトラッキング光無線通信技術の研究開発状況
陸上での実証実験に成功
（世界初！）
水中での実証実験に成功
（世界初！）

38. ご静聴ありがとうございました！

39. EoF