Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

自他との平均化により手書きをきれいにするシステムの提案

784 views

Published on

第10回WI2研究会 発表資料(又吉康綱)

Published in: Education
  • Be the first to comment

  • Be the first to like this

自他との平均化により手書きをきれいにするシステムの提案

  1. 1. 明治大学総合数理学部先端メディアサイエンス学科 又吉康綱,久保田夏美,斉藤絢基,大島遼,中村聡史,鈴木正明 第10回WI2研究会 2017.07.08 @京都大学
  2. 2. デモ
  3. 3. 背景 情報端末に専用ペンが付属するようになった 手書きする機会が増えてきた https://www.microsoft.com/ja-jp/surface/accessories/surface-pen https://www.apple.com/jp/apple-pencil/
  4. 4. 背景 学習のノートやメモを情報端末でとる https://www.microsoft.com/en-au/store/d/surface-pen/ https://itunes.apple.com/jp/app/myscript-memo/
  5. 5. 背景:手書きとタイピング 日本語のメモ書き作業における手書き入力の有効性 [ムハマド ズルキフリー 2008] 入力速度,認知的負荷に着目し,日本語メモ書き作業における 手書きとタイピングの比較実験を行った. 手書きの方がタイピングよりも 速く正確に書ける
  6. 6. 背景:手書きに関する意識調査 自分の手書きが恥ずかしいと 感じたことがある? もっとキレイだったらと 後悔したことがある? http://www.zebra.co.jp/press/news/2015/0403.html ある 63.2% ない 36.8% ある 64.3% ない 35.7% ゼブラ株式会社 2015年
  7. 7. 背景:手書きの抵抗感 原因 自身の満足する手書き文字が書けない!
  8. 8. 背景:先行研究 平均文字は美しい[中村ら 2014] 手書き文字を数式化することで,複数文字を平均化 平均した文字を実際に書いた文字よりも高く評価される
  9. 9. 背景:先行研究 手書き文字に対する書き手識別と好感度に関する調査 [斉藤ら 2016] 他者の手書き文字と融合すると自身の文字の特徴を残しつつ 字形やバランスが整うため好印象になる
  10. 10. 背景:手書きの抵抗感の解決 原因 自身の平均文字や他者との融合文字を提示 自身の満足する手書き文字が書けない!
  11. 11. 仮説:背景より 手書き文字を,自他の手書き文字とリアルタイムに 融合することで評価が高い文字にできノートテイク に対する満足感が得られる?
  12. 12. 本研究では 1. 自他の手書き文字に対し融合手法を用いた プロトタイプシステムの提案と実装 2. システムの利用テストから仮説に関する検討
  13. 13. 関連研究 Handwriting Beautification Using Token Means [Zitnick 2013]
  14. 14. 関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] • 漢字などの画数が多く,バランスをとるのが難しい文字には 適していない • 同一人物のストローク曲率が似てることを前提としており、 曲率が異なる他者との融合には適していない 文字認識と数式化により解決
  15. 15. 提案手法:概要 1 : 2 : 3 : 4 : : : : 文字認識「あ」 手書き文字 データベース 融合文字提示 数式化 融合 ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡) ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2(𝑡) ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡)
  16. 16. 提案手法:手書き文字の数式化 ストロークの 点列座標を取得 フーリエ級数展開 により数式化 スプライン補間 (点間を狭める) ቊ 𝑥 = 𝑓 𝑡 𝑦 = 𝑔(𝑡)𝑥, 𝑦 = { 𝑥1, 𝑦1 , … , 𝑥 𝑛, 𝑦 𝑛 } 𝑥, 𝑦 = { 𝑥1, 𝑦1 , 𝑥1.1, 𝑦1.1 , 𝑥1.𝑚, 𝑦1.𝑚 , … , 𝑥 𝑛, 𝑦 𝑛 }
  17. 17. 提案手法:手書き文字の数式化 http://satoken.nkmr.io/2015/Char2Fourier/convert.html ൞ 306.83cos 0𝑡 + 0sin 0𝑡 + 10.08cos 1𝑡 − 0.04sin(1𝑡) +15.07𝑐𝑜𝑠 2𝑡 −0.13𝑠𝑖 𝑛(2𝑡)− 15.63𝑐𝑜𝑠 3𝑡 +0.2𝑠𝑖 𝑛 3𝑡 −43.31𝑐𝑜𝑠 4𝑡 − 0.75𝑠𝑖 𝑛(4𝑡)+24.23𝑐𝑜𝑠 5𝑡 − 0.52𝑠𝑖 𝑛(5𝑡)… ൞ 285.23cos 0𝑡 + 0sin 0𝑡 + 86.7cos 1𝑡 −0.37sin(1𝑡) −6.63cos 2𝑡 + 0.06sin 2𝑡 +16.44cos 3𝑡 − 0.21sin 3𝑡 6.82cos 4𝑡 − 0.12sin(4𝑡)− 26.07cos 5𝑡 +0.56sin(5𝑡)… 𝒚 = 𝒙 =
  18. 18. 提案手法 A : B : C : D : : : : 文字認識「あ」 手書き文字 データベース 融合文字提示 数式化 融合
  19. 19. 平均化手法:自身の手書き文字の融合 手書き文字データベースに存在する 数式化した文字と平均化を行う + + +・・・・ N N = 入力された手書き文字 平均文字
  20. 20. 平均化手法:自身の手書き文字の融合 http://avgchar.nkmr.io/
  21. 21. 平均化手法:他者の手書き文字の融合 入力した手書き文字 𝛼 ∗ 他者の平均文字 (1 − 𝛼) ∗ + = 他者の手書き文字データ 平均化 融合文字 ( 𝜶 を0から1に設定)
  22. 22. 実装 プロトタイプシステム: Mojirage - 平均文字ノート http://mojirage.com
  23. 23. 実装
  24. 24. 実装
  25. 25. 実装 ポスターセッション やります!⑫番
  26. 26. 利用テスト •協力者:学生5人(21歳~23歳) •機器:iPad Pro(12.9inch) & Apple Pencil •内容:文章を4回模写 •文章:宮沢賢治作「ポラーノの広場」(一部) http://www.aozora.gr.jp/cards/000081/files/1935_19925.html あのイーハトーヴォのすきとおった風、夏でも底に冷 たさをもつ青いそら、うつくしい森で飾られたモリー オ市、郊外のぎらぎらひかる草の波。
  27. 27. 利用テスト内容:自身との融合 自身との融合の利用テスト 文章を3回模写 1回目 2回目 3回目 = = =+ + + /1 /2 /3 ) ) ( ( 提示文字
  28. 28. 利用テスト結果:自身との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後
  29. 29. 利用テスト結果:自身との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後
  30. 30. アンケート結果:自身との融合 「平均化された漢字が特にバランスがよく,好きだった」 「やたら大きく書いた文字でも,平均化することでいい 大きさになった」 →先行研究の「ユーザが実際に書いた文字よりも, 自身の平均文字の方を高く評価する」と同じような 傾向がみられた 肯定的な意見
  31. 31. アンケート結果:自身との融合 「字のバランスなどの違いを感じなかった」 →筆跡の恒常性:ブレがない文字を書く協力者には, 平均化が限定的なものになっていると考えられる →書きにくい環境なら,よりシステムの効果がある? 否定的な意見
  32. 32. 利用テスト考察:自身との融合 利用回数が増えるほど,きれいな手書き文字に変換される 580回分3回分
  33. 33. 利用テスト内容:他者との融合 他者が過去に書いた手書き文字との融合 文章を1回模写 融合相手は自身で選択 「自身との融合」で入力した3回分の平均文字を使用
  34. 34. 利用テスト結果:他者との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後
  35. 35. アンケート結果:他者との融合 「自身の字がすごい勢いで変換されて,自身の字の汚さを 実感し,融合後の字が好きであると感じた」 「他者と融合することで,いつも上手く書けなかった文字も 納得いく文字になった」 肯定的な意見
  36. 36. アンケート結果:他者との融合 書き順の違い 選べる対象が少なかったから 「形が崩れた」 「融合相手が気に入らなかった」 否定的な意見
  37. 37. 利用テスト考察:他者との融合 好みの手書き文字を書く人が好きなら もっと満足感が得られるのでは? 「他者の文字が混ざっていると思ったら面白くなってしまった」 「融合後の字が好きである」 「好きな文字と融合すると満足感が高い」 アンケートより
  38. 38. 利用テスト:仮説の確認 アンケートで肯定的な意見が多かった もっと使いたいという意見が得られた 仮説:自他の手書き文字と融合することでノートテイク に対する満足感が得られる? 👉アンケート結果より肯定的な意見が多かったので 仮説の立証が見込まれる 仮説の確認
  39. 39. まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された
  40. 40. 今後の応用例 好きな人が書く文字と 融合したらもっと満足度が上がるのでは?
  41. 41. 今後の応用例 応援しているアイドルの文字と 融合したらもっと満足度が上がるのでは?
  42. 42. 今後の応用例 応援しているアイドルの文字と 融合したらもっと満足度が上がるのでは?
  43. 43. 今後の応用例 アイドルにとって手書きメッセージは 自身を表現し,ファンを喜ばせる パフォーマンスの一つ アイドルのパフォーマンス 顔 歌声 ダンス 手書き文字 http://www.keyakizaka46.com/s/k46o/search/artist
  44. 44. 今後の応用例 アイドルとノートをとる体験? アイドル https://ameblo.jp/bigcatstudio/entry-12249712162.html
  45. 45. 今後の応用例 アイドルとノートをとる体験? アイドル https://ameblo.jp/bigcatstudio/entry-12249712162.html
  46. 46. 今後の応用例
  47. 47. まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された 今後の予定 システムの改良 自他との平均化によりきれいにノートやメモを とることができるかの実験 http://mojirage.com

×