Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

オフライン手書き文字数式化手法の提案と大規模平均文字の比較

747 views

Published on

第101回グループウェアとネットワークサービス研究発表会で使用したスライドです。
The Proposal of A Method to Mathematize A Handwritten Stroke in Off-Line and The Comparison of Large Averaged Handwritten Characters

Published in: Technology
  • Be the first to comment

  • Be the first to like this

オフライン手書き文字数式化手法の提案と大規模平均文字の比較

  1. 1.   新納  真次郎郎、⻫斉藤  絢基、久保⽥田夏美
 中村  聡史、  鈴鈴⽊木  正明
 (明治⼤大学  総合数理理学部  先端メディアサイエンス学科) 第101回グループウェアとネットワークサービス研究発表会
  2. 2. •⼿手書きを利利⽤用する機会は今現在でも多い!   •⽂文化庁の世論論調査によると⼿手書きを利利⽤用する機会が
 「ある」と答えた⼈人は73% 平成  26  年年度度「国語に関する世論論調査」   ⽇日常⽣生活において,
 ⽂文字を⼿手書きする機会があるか?    背景 #1 73% 27% ! 26$ はい 73%
  3. 3. •ペンタブレットなどが普及し、
 コンピュータ上でも⼿手書きが⾏行行える機会が増加   •しかし、紙とペンによる⼿手書きも未だに⼀一般的! 背景 #2 オンライン⼿手書き オフライン⼿手書き
  4. 4. •ペンタブレットなどが普及し、
 コンピュータ上でも⼿手書きが⾏行行える機会が増加   •しかし、紙とペンによる⼿手書きも未だに⼀一般的!  背景 #2 オンライン⼿手書き オフライン⼿手書き これらの⼿手書きを⽀支援する   研究は数多く存在する
  5. 5. •dePENd  [⼭山岡  2013]   -‐‑‒ ⼿手書きにおける正確な描画を磁⼒力力によって⽀支援  背景(関連研究) #3
  6. 6. •⾳音声ペン  [栗栗原  2005]   -‐‑‒ ⾳音声認識識によって関連した予測変換を提⽰示  背景(関連研究) #4
  7. 7. •平均⽂文字は美しい  [中村  2014]  背景(関連研究) 中村,鈴木,小松! 平均文字は美しい,EC2014! 平均⽂文字 みんなが書いた   オンライン⼿手書き⽂文字 #5
  8. 8. •平均⽂文字は美しい  [中村  2014]  背景(関連研究) 中村,鈴木,小松! 平均文字は美しい,EC2014! 平均⽂文字 みんなが書いた   オンライン⼿手書き⽂文字 #5 ⼿手書きの1画1画(ストローク)を
 数式化することで実現している
  9. 9. •フーリエ級数展開によるストロークの数式化  ⼿手書きストロークの数式化 http://satoken.nkmr.io/2015/Char2Fourier/convert.html #6 272.08cos(0t)  +  0sin(0t)  +  16.62cos(1t)  +  -‐‑‒0.09sin(1t)  +  29.81cos(2t)  +  -‐‑‒0.32sin(2t)  +   -‐‑‒2.91cos(3t)  +  0.05sin(3t)  +  -‐‑‒37.67cos(4t)  +  0.8sin(4t)  +  18.93cos(5t)  +  -‐‑‒0.5sin(5t)  +   3.17cos(6t)  +  -‐‑‒0.1sin(6t)  +  8.71cos(7t)  +  -‐‑‒0.33sin(7t)  +  -‐‑‒0.03cos(8t)  +  0sin(8t)  +  ・・・ 𝑥 𝑦 229.95cos(0t)  +  0sin(0t)  +  42.82cos(1t)  +  -‐‑‒0.23sin(1t)  +  4.75cos(2t)  +  -‐‑‒0.05sin(2t)  +   44.24cos(3t)  +  -‐‑‒0.7sin(3t)  +  16.89cos(4t)  +  -‐‑‒0.36sin(4t)  +  -‐‑‒2.51cos(5t)  +  0.07sin(5t)  +   3.11cos(6t)  +  -‐‑‒0.1sin(6t)  +  0.71cos(7t)  +  -‐‑‒0.03sin(7t)  +  0.6cos(8t)  +  -‐‑‒0.03sin(8t)  +  ・・・ ! =
  10. 10.  ⼿手書きを応⽤用した研究 中村,鈴木,小松! 平均文字は美しい,EC2014! 平均化による⼿手書きの美化 ⼿手書きの上達⽀支援 ⼿手書きのアニメーション表現 ⼿手書きの認知科学的解明 #7  [中村  2014]  [新納  2015]  [久保⽥田  2016]  [佐藤  2015]  [斎藤  2016]
  11. 11.  ⼿手書きを応⽤用した研究 中村,鈴木,小松! 平均文字は美しい,EC2014! 平均化による⼿手書きの美化 ⼿手書きの上達⽀支援 ⼿手書きのアニメーション表現 ⼿手書きの認知科学的解明 #7  [中村  2014]  [新納  2015]  [久保⽥田  2016]  [佐藤  2015]  [斎藤  2016] しかし、これまではオンライン⼊入⼒力力された
 ⼿手書きに対してしか数式化できなかった オフライン⼿手書き⽂文字を数式化することで ⼿手書きをより様々なことに応⽤用!!
  12. 12. •オンライン:筆順情報を持っている   •オフライン:筆順情報を持っていない オンラインとオフラインと違い #8
  13. 13. •オンライン:筆順情報を持っている   •オフライン:筆順情報を持っていない オンラインとオフラインと違い #8 ストロークの筆順を復復元し   それらを数式化する!!
  14. 14. •今回対象とするのはひらがなに限定   •応⽤用の1つとして⼤大規模なオフライン⼿手書き⽂文字の
 平均化に応⽤用  本研究の⽬目的 画像から⼿手書き⽂文字を数式化し
 様々な応⽤用を! #9 平均化 ?
  15. 15.  オフライン数式化⼿手法 1 サンプルデータの構築 #10 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 2 画像処理理によって中⼼心線抽出
  16. 16. 1  オフライン数式化⼿手法 #10 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 2 画像処理理によって中⼼心線抽出 サンプルデータの構築
  17. 17. •サンプルデータの構築  オフライン数式化⼿手法  1 #11 オンライン⼊入⼒力力されたサンプルデータの構築によって
 始点・終点やストローク情報をある程度度把握する
  18. 18. 1  オフライン数式化⼿手法 #12 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 2 画像処理理によって中⼼心線抽出 サンプルデータの構築
  19. 19. •ストロークの中⼼心線を抽出するため画像処理理  オフライン数式化⼿手法  2 オリジナル   画像 細線化   画像 グレイスケール処理理 Zhang  Suenの細線化処理理 ⼤大津の2値化処理理 #13
  20. 20. •ストロークの中⼼心線を抽出するため画像処理理  オフライン数式化⼿手法  2 オリジナル   画像 細線化   画像 グレイスケール処理理 Zhang  Suenの細線化処理理 ⼤大津の2値化処理理 #13
  21. 21. •ストロークの中⼼心線を抽出するため画像処理理  オフライン数式化⼿手法  2 オリジナル   画像 細線化   画像 グレイスケール処理理 Zhang  Suenの細線化処理理 ⼤大津の2値化処理理 ⼤大津展之:  判別および最⼩小2乗規準に基づく⾃自動しきい値選定法
 電⼦子情報通信学会論論⽂文誌,  pp.  349–356,  1980. #13
  22. 22. •ストロークの中⼼心線を抽出するため画像処理理  オフライン数式化⼿手法  2 オリジナル   画像 細線化   画像 Zhang  Suenの細線化処理理 ⼤大津の2値化処理理 グレイスケール処理理 T.  Y.  ZHANG  and  C.  Y.  SUENA.  Fast  Parallel  Algorithm  for  Thinning  Digital  Patterns
 Communications  of  the  ACM  CACM  Homepage,  1984. #13
  23. 23. 3 2 1  オフライン数式化⼿手法 #14 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 画像処理理によって中⼼心線抽出 サンプルデータの構築
  24. 24. •始点・終点の抽出  オフライン数式化⼿手法  3 端点 細線化画像 8近傍に点が1つのみの箇所を
 端点とし、端点集合を作成 端点集合 P1 P2 P3 P4 P5 P6 #15
  25. 25. •始点・終点の抽出  オフライン数式化⼿手法  3 端点集合 P1 P2 P3 P4 P5 P6 サンプルデータ ⼤大きさや位置を揃える サンプルデータと⽐比較するため
 ⼤大きさと位置を正規化する #16
  26. 26. •始点・終点の抽出  オフライン数式化⼿手法  3 P1 P2 P3 P4 P5 P6 得られた端点とサンプルデータの始点・終点が   最⼩小距離離になるようなパターンを選出 1画⽬目の   始点:P2   終点:P3 2画⽬目の   始点:P1   終点:P5 3画⽬目の   始点:P4   終点:P6 順列列 #17
  27. 27. 3 4 2 1  オフライン数式化⼿手法 #18 始点・終点抽出 ストローク抽出 5 ストローク数式化 画像処理理によって中⼼心線抽出 サンプルデータの構築
  28. 28. •ストロークの抽出  オフライン数式化⼿手法  4 P1 P2 P3 P4 P5 P6 始点から終点まで
 点列を っていく 例例)  3画⽬目:P4  →  P6 分岐が生じた場合は 複数経路を る パ   タ   |   ン
 A パ   タ   |   ン
 B 始点から終点まで
 点列列を辿っていく 分岐が⽣生じた場合は   複数経路路を辿る #19
  29. 29. •ストロークの抽出  オフライン数式化⼿手法  4 候補ストロークの中からサンプルストロークと
 もっとも距離離が近いものを選抜 サンプルデータ 複数の候補ストローク   #20
  30. 30. 4 5 3 2 1  オフライン数式化⼿手法 #21 始点・終点抽出 ストローク抽出 ストローク数式化 画像処理理によって中⼼心線抽出 サンプルデータの構築
  31. 31. •ストロークの数式化  オフライン数式化⼿手法  5 #22 得られたストロークを
 フーリエ級数展開によって数式化 得られたストロークを
 フーリエ級数展開によって数式化
  32. 32. •評価に関しては我々の主観によって⾏行行う  評価実験 本提案⼿手法によってどの程度度の精度度で
 正しく数式化が⾏行行えるかを評価する 評価システム #23
  33. 33. •オフライン⼿手書き⽂文字データセットを構築  データセット構築 5(⼈人) ひらがな46(語) 3(回) ⾹香蘭⼥女女学校の中・⾼高⽣生から協⼒力力者を集め
 5⼈人を無作為に選定 #24 = 計690
 (データ)
  34. 34. •オフライン⼿手書き⽂文字データセットを構築  データセット構築 5(⼈人) ひらがな46(語) 3(回) = 計690
 (データ) ランダムな順に指定された
 ⽂文字をプリントに記⼊入 #24
  35. 35. •オフライン⼿手書き⽂文字データセットを構築  データセット構築 5(⼈人) ひらがな46(語) 3(回) = 計690
 (データ) ボールペンやえんぴつなどで
 3試⾏行行繰り返し書いてもらった #24
  36. 36.  各ひらがなの評価結果 •平均70%の精度度で数式化 をすること可能としていた   •上⼿手くいっていた例例
 
 •失敗していた例例 のセルは10%以下のもの のセルは80%以上のもの #25
  37. 37. •特に精度度が悪かった「あ・ぬ・む・め」について   -‐‑‒ 交差点を多く含み、間違った経路路を辿ってしまう   -‐‑‒ ストローク集合からもっともらしいストロークを
 選抜する際に、点列列の距離離だけでなく曲率率率なども
 サンプルと⽐比較することによって改善できる? Curving t 候補ストローク サンプルストローク  結果に対する考察   #26
  38. 38.  結果と考察   •ユーザごとの精度度の違い   •「き」「さ」「そ」「ふ」などの書き⼿手によって
 書き⽅方が変わるものについては複数のサンプルを⽤用 意することによって改善 サンプル #27
  39. 39. • 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成   -‐‑‒ ⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字   -‐‑‒ 3試⾏行行分を使⽤用し、総データ数は約600データ!   -‐‑‒ 学年年ごとの平均⽂文字や平均⽂文字の収束性を分析  ⼤大規模平均⽂文字をつくってみた 「う」 「け」 「さ」 「せ」 #28
  40. 40. • 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成   -‐‑‒ ⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字   -‐‑‒ 3試⾏行行分を使⽤用し、総データ数は約600データ!   -‐‑‒ 学年年ごとの平均⽂文字や平均⽂文字の収束性を分析 #28  ⼤大規模平均⽂文字をつくってみた #28 「う」 「け」 「さ」 「せ」
  41. 41. • 学年年ごとの平均⽂文字の推移
             (各学年年  約40⼈人分のデータを使⽤用)  ⼿手書き⽂文字の分析(1) 中2 中3 ⾼高2 中1 ⾼高1 学年年 #29
  42. 42. • 学年年ごとの平均⽂文字の推移
             (各学年年  約40⼈人分のデータを使⽤用)  ⼿手書き⽂文字の分析(1) 中2 中3 ⾼高2 中1 ⾼高1 学年年 #29 中学1年年⽣生は⼩小学⽣生時代の⼿手書き練習に
 よって⽂文字を⼤大きく書いてしまっている? ⾼高校⽣生で⼩小さくなるのは試験の解答⽤用紙に
 ⼩小さく書かなければならないため?
  43. 43. •平均⽂文字の収束性   -‐‑‒ 100⼈人分(無作為に選定)のグループごとの
 平均⽂文字の⽐比較  ⼿手書き⽂文字の分析(2) グループAの
   平均⽂文字 グループBの     平均⽂文字 #30
  44. 44. •平均⽂文字の収束性   -‐‑‒ 100⼈人分(無作為に選定)のグループごとの
 平均⽂文字の⽐比較  ⼿手書き⽂文字の分析(2) グループAの
   平均⽂文字 グループBの     平均⽂文字 #30
  45. 45. •平均⽂文字の収束性   -‐‑‒ 100⼈人分(無作為に選定)のグループごとの
 平均⽂文字の⽐比較  ⼿手書き⽂文字の分析(2) グループAの
   平均⽂文字 グループBの     平均⽂文字 #30 100⼈人もの⼿手書き⽂文字データを集めれば, その平均⽂文字は収束する!!
  46. 46.  本研究の応⽤用可能性 中村,鈴木,小松! 平均文字は美しい,EC2014! 例例)⼿手書きを⾃自動に綺麗麗にしてくれるスキャナ SCAN 平均化による⼿手書きの美化 例例)スマホ撮影によるお⼿手本サンプリング 例例)拡張現実による⽂文字アニメーション表現 ⼿手書きのアニメーション表現 ⼿手書きの上達⽀支援 = 例例)オンラインで書いても
 オフラインで書いても平均⽂文字は⼀一緒? ⼿手書きの認知科学的解明 #31
  47. 47. •紙上の⼿手書きの平均化や⼿手書きアニメーションを
 実現するため、紙上の⼿手書き⽂文字の数式化⼿手法を提案   •数式化の精度度は今のところ約70%   •オフライン⼿手書き⽂文字を平均化に応⽤用    [今後の課題]   •数式化の精度度の向上   •600⼈人のデータを利利⽤用した平均⽂文字の特徴分析   •ひらがなだけではなく漢字やイラストに応⽤用  まとめ #32

×