日本の手話研究の現状は?  未解決問題の資料提供と解析ツールの提供 色々な角度からのデータを分析する  日本も共同利用データベース構築して議論する必要性 研究者の共通で利用できるデータベースがない 手話の音節も確定して無い,音節数も未確定 加速度を伴った1動作が1音節? モダリティが解明されていない 手話研究コンソーシアムの設立希望 これまでの研究の経緯 sIGNDEXによるNMMの記述の試み(手話工学研究会) NVSG要素モデルによる形態素レベル記述の提案  3次元動作データの収集  医療系手話単語と解説文の収集  観光案内文の収集 解析ツールとビュアーの開発 動作合成エディタの開発 電子情報通信学会 HCG内に2016年から リアルタイムコミュニケーション研究会(LARC) もし共通利用データベースがあると  言語・認知系の研究者 正確な3次元データ解析から使用空間,運動解析 音素,音節の確定が可能となり,文法規則の解明 モーションキャプチャからのビッグデータ解析にはAI技術の活用が有用 従来の機械学習やDeep Learning(第三のAI)を手話研究へ導入可能  工学系の研究者  正確な3次元データと 粗い距離画像(粗い3次元データ) ステレオ画像(2.5次元) 画像(2次元) 同期データ解析により3次元の縮退特徴解析 新たな認識手法の確立 音素・音韻確定  3次元データの組み合わせで新たな手話動作生成可能  全ての研究者  研究で必要なメディア,様々な解像度の手話の3次元データが利用可能  データの分析・解析ツールの提供  3次元データ合成による新たな情報保障方法の確立が可能 議論・評価の共通土台作り

1. 2018/ 6/ 2
手話単語データベースの構築
長嶋祐二(工学院大学)
手話動画同期EPUBカンファレンス

2. 2018/ 6/ 2
日本の手話研究の現状は?
 未解決問題の資料提供と解析ツールの提供
色々な角度からのデータを分析する
 日本も共同利用データベース構築して議論する必要性
研究者の共通で利用できるデータベースがない
手話の音節も確定して無い，音節数も未確定
加速度を伴った1動作が1音節?
モダリティが解明されていない
手話研究コンソーシアムの設立希望

3. 2018/ 6/ 2
これまでの研究の経緯
 sIGNDEXによるNMMの記述の試み(手話工学研究会)
 NVSG要素モデルによる形態素レベル記述の提案
 3次元動作データの収集
 医療系手話単語と解説文の収集
 観光案内文の収集
解析ツールとビュアーの開発
動作合成エディタの開発
 電子情報通信学会 HCG内に2016年から
リアルタイムコミュニケーション研究会(LARC)

4. 2018/ 6/ 2東映 ツークン研究所 2012～2017/ 2
高精度な手話の3次元動作の収集
光学式モーションキャプチャ
カメラの種類 VICON T-160
解像度 1600万画素
カメラ台数 42台
設置範囲 2m×2m×2m
フレームレート 120fps
再帰性反射マーカー数 112点
世界最高水準の精度(±0.5㎜)
部位 直径 マーカー数
顔 3mm 33点
手 3mm 24点×2
その他全身 10mm 31点
合計 112点

5. 2018/ 6/ 2
日本語ラベル数 手話単語数(含む異動作同義語)
1,118語 1,276語
医療系手話単語と解説文の収集
 医療用単語
 解説文: 126単語用の122解説文

6. 2018/ 6/ 2

7. 2018/ 6/ 2
【ジェネリック医薬品】
製薬会社が開発した医薬
品の特許が切れた後に、
別のメーカーが同じ有効成
分でつくる薬のことを言い
ます。後発医薬品とも言い
ます。開発費用がかからな
いため、価格が安くなって
います。

8. 2018/ 6/ 2
観光案内文の収集
鹿児島市の観光案内文
101文(総単語数:3,395単語)

9. 2018/ 6/ 2
研究目的
共通データの提供で手話研究の更なる進展
日本の海外での存在感を示す
多次元･多用途なデータベースの構築
 公開し全ての研究者で共同利用
 解析支援ツール付きで公開
目指す
音声言語データの解析のように
には
手話の

10. 2018/ 6/ 2
もし共通利用データベースがあると
 言語・認知系の研究者
正確な3次元データ解析から使用空間,運動解析
音素,音節の確定が可能となり,文法規則の解明
モーションキャプチャからのビッグデータ解析にはAI技術の活用が有用
従来の機械学習やDeep Learning(第三のAI)を手話研究へ導入可能
 工学系の研究者
 正確な3次元データと
粗い距離画像(粗い3次元データ)
ステレオ画像(2.5次元)
画像(2次元)
同期データ解析により3次元の縮退特徴解析
新たな認識手法の確立
音素・音韻確定
 3次元データの組み合わせで新たな手話動作生成可能
 全ての研究者
 研究で必要なメディア,様々な解像度の手話の3次元データが利用可能
 データの分析・解析ツールの提供
 3次元データ合成による新たな情報保障方法の確立が可能
議論･評価の共通土台作り

11. 東映 ツークン研究所 2018/ 1
高精度な手話の3次元動作の収集
光学式モーションキャプチャ
カメラの種類 VICON T-160
解像度 1600万画素
カメラ台数 42台
設置範囲 2m×2m×2m
フレームレート 120fps
再帰性反射マーカー数 112点
世界最高水準の精度(±0.5㎜)
部位 直径 マーカー数
顔 3mm 33点
手 3mm 24点×2
その他全身 10mm 31点
合計 112点

12. 2018/ 6/ 2
カメラ3台+1台による映像収録
映像撮影HDカメラ
カメラの種類 SONY PWX-X200
カメラ台数 3台(正面・右側・左側)
センサー ½インチ RGB3板式
フォーマット MPEG-4 AVC/H.264
フレームレート 60fps
映像撮影HDカメラ
カメラの種類 SONY PWX-Z90
カメラ台数 1台(正面)
センサー 1インチ
フォーマット XAVC
フレームレート 120fps

13. 2018/ 6/ 2
距離センサーによる3次元手話動作の収集
奥行情報を取るセンサー ：Kinect Ver2
奥行画像解像度 512×424
フレームレート 30fps
奥行測定範囲 500 ~ 4500mm
奥行の視野 70度(水平) 60度(垂直)

14. 2018/ 6/ 2
同期撮影の概要

15. 2018/ 6/ 2
言語資料提供者
 日本手話のネイティブ家系
 ろう者
 母語:日本手話
 男性 1名, 女性 1名
 映像を含め全言語資料公開
人を対象とする研究計画倫理審査委員会
承認番号: H29-A-17

16. 東映東京撮影所での撮影風景 2018/1/27

17. 2018/ 6/ 2
言語データベースの規模
 目標:4~5,000単語
対話も視野に
2017年度は400単語(545動作)終了
2018年度は400~800単語
2019年度は4,000単語前後
参考: NHK放送技術研究所は3次元動作約7,000単語
「日本語-手話辞典」全日本ろうあ連盟を基に撮影

18. 2018/ 6/ 2
多用途データのために開発すべきもの
 ビュアー
映像データ(60fps)
3次元データ c3d,BVH(120fps)
Kinect(30fps)
 アノテーションツール
定評のある音声/画像ファイルのアノテーションツール
ELAN(EUDICO Linguistic ANnotator)
EUROPEAN DISTRIBUTED CORPORA PROJECT
https://tla.mpi.nl/tools/tla-tools/elan/

19. 2018/ 6/ 2
女性言語資料提供者による撮影例：{同じ}
正面映像
BVH c3d
深度データ

20. 2018/ 6/ 2
女性言語資料提供者による撮影例：{予定}

21. 2018/ 6/ 2
男性言語資料提供者による撮影例：{同じ}
右側映像 正面映像
IRデータ深度データ

22. 2018/ 6/ 2
手話母語者に対する
新たな情報保障方法の確立
などQOL(生活の質) の向上に大きく寄与を目指して
人にやさしい未来へ向かって!