Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

平均手書きノート

230 views

Published on

タブレットや電子黒板などのようにペン入力によって手書き可能なシステムは増えているが,コンピュータならではの良さが十分に発揮されていない.そこで本研究では,ひとは平均化された自身の手書き文字や,他者と融合した手書き文字を高く評価するという特徴を活かし,ユーザの手書き文字を自身の過去の手書き文字や他者の手書き文字とリアルタイムに調合および平均化することによって,電子ノートや電子黒板といったペン入力可能なデバイスにおける手書きをより良いものとする手法を提案する.また,提案手法をウェブシステムとして実装し,その有用性について検討を行う.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

平均手書きノート

  1. 1. 明治大学総合数理学部先端メディアサイエンス学科 3年 又吉康綱,久保田夏美,斉藤絢基,大島遼,中村聡史,鈴木正明 WISS2017 2017.12.07 @八ヶ岳
  2. 2. 背景 情報端末に専用ペンでメモをとる機会が増えている 手書きに関する意識調査 (ゼブラ株式会社 2015年) • 自分の手書きが恥ずかしいと感じたことがある 64.3% • 字がもっとキレイだったらと後悔したことがある 63.2% 自身の満足する手書き文字が書けない! 満足する手書きが可能なノートの実現
  3. 3. 背景:先行研究 自身の平均文字は美しい[中村ら 2014] 他者との融合文字は好感度が向上[斉藤ら 2016]
  4. 4. 背景:先行研究 自身の平均文字は美しい[中村ら 2014] 他者との融合文字は好感度が向上[斉藤ら 2016]
  5. 5. 目的:満足する手書きノートの実現 問題 自身との融合:よりきれいな文字 他者との融合:好感を持てる文字 自身の満足する手書き文字が書けない!
  6. 6. 本研究では 自他の手書き文字に対し融合手法を用いた プロトタイプノートシステムの提案と実装
  7. 7. 関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] 漢字など画数が多く,バランスが難しい文字は適していない 曲率が異なる他者との融合には適していない
  8. 8. 関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] 漢字など画数が多く,バランスが難しい文字は適していない 曲率が異なる他者との融合には適していない 文字認識と数式化により解決
  9. 9. 手書き文字 データベース 提案手法:概要 文字認識「あ」 数式化 融合文字 融合 ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡) 1 : 2 : 3 : 4 : : : : ቊ 𝑥3 = 𝑓3(𝑡) 𝑦3 = 𝑔3(𝑡) ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2(𝑡) ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2(𝑡) ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡)
  10. 10. 手書き文字の数式化 ストロークの 点列座標を取得 フーリエ級数 展開により数式化 スプライン補間 (点間を狭める) ቊ 𝑥 = 𝑓 𝑡 𝑦 = 𝑔(𝑡)𝑥, 𝑦 = { 𝑥1, 𝑦1 , … , 𝑥 𝑛, 𝑦𝑛 } 𝑥, 𝑦 = { 𝑥1, 𝑦1 , 𝑥1.1, 𝑦1.1 , 𝑥1.𝑚, 𝑦1.𝑚 , … , 𝑥 𝑛, 𝑦𝑛 }
  11. 11. 手書き文字の数式化 http://satoken.nkmr.io/2015/Char2Fourier/convert.html ൞ 306.83cos 0𝑡 +0sin 0𝑡 +10.08cos 1𝑡 −0.04sin(1𝑡) +15.07𝑐𝑜𝑠 2𝑡 −0.13𝑠𝑖 𝑛(2𝑡) −15.63𝑐𝑜𝑠 3𝑡 +0.2𝑠𝑖 𝑛 3𝑡 −43.31𝑐𝑜𝑠 4𝑡 −0.75𝑠𝑖 𝑛(4𝑡)+24.23𝑐𝑜𝑠 5𝑡 −0.52𝑠𝑖 𝑛(5𝑡)… ൞ 285.23cos 0𝑡 +0sin 0𝑡 +86.7cos 1𝑡 − 0.37sin(1𝑡) −6.63cos 2𝑡 +0.06sin 2𝑡 +16.44cos 3𝑡 −0.21sin 3𝑡 6.82cos 4𝑡 −0.12sin(4𝑡)−26.07cos 5𝑡 +0.56sin(5𝑡)… 𝒚 = 𝒙 =
  12. 12. 手書き文字 データベース 提案手法:概要 文字認識「あ」 数式化 融合文字 融合 ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡) 1 : 2 : 3 : 4 : : : : ቊ 𝑥3 = 𝑓3(𝑡) 𝑦3 = 𝑔3(𝑡) ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2(𝑡) ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2(𝑡) ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡)
  13. 13. 手書き文字 データベース 提案手法:概要 文字認識「あ」 数式化 融合文字 融合 ቊ 𝑥1 = 𝑓1(𝑡) 𝑦1 = 𝑔1(𝑡) 1 : 2 : 3 : 4 : : : : ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2(𝑡) ቊ 𝑥3 = 𝑓3(𝑡) 𝑦3 = 𝑔3(𝑡)
  14. 14. 平均化手法:手書き文字の融合 入力した手書き文字 𝛼 ∗ 平均文字 (1 − 𝛼) ∗ + = 過去の手書き文字データ 平均化 融合文字 ( 𝜶 を0から1に設定)
  15. 15. 平均化手法:自身の手書き文字 http://avgchar.nkmr.io/ + + +・・・ N
  16. 16. 実装 プロトタイプシステム: Mojirage - 平均手書きノート http://mojirage.com (Chrome推奨)
  17. 17. 実装
  18. 18. 実装
  19. 19. 利用テスト • 協力者:学生5人(21歳~23歳) • 機器:iPad Pro(12.9inch) & Apple Pencil • 内容:文章を4回模写し、自由記述アンケート • 文章:宮沢賢治作「ポラーノの広場」(一部) http://www.aozora.gr.jp/cards/000081/files/1935_19925.html あのイーハトーヴォのすきとおった風、夏でも底に 冷たさをもつ青いそら、うつくしい森で飾られた モリーオ市、郊外のぎらぎらひかる草の波。
  20. 20. アンケート結果:肯定的な意見 「平均化された漢字が特にバランスがよく,好きだった」 自身との融合 他者との融合 「他者と融合することで,いつも上手く書けなかった文字も 納得いく文字になった」 先行研究と似た傾向 自身の平均文字で美しく/他者との融合文字に好感を抱く
  21. 21. アンケート結果:否定的な意見 自身との融合 書き順の違い 選べる対象が少なかったから 「形が崩れた」 「融合相手が気に入らなかった」 他者との融合 「字のバランスなどの違いを感じなかった」 →安定した字を書く人にはあまり効果がない 不安定な場所なら効果がある?
  22. 22. 利用テスト考察 利用回数が増えるほど,きれいな手書き文字に変換される 580回分3回分
  23. 23. オープンキャンパスなどでの展示 明治大学オープンキャンパス 115名 イノベーションジャパン-大学見本市 約300名 「今後も使いたい」 「お礼状を書くときに使いたい」 「走り書きを自分のきれいな字にしてほしい」
  24. 24. 応用例 • Scrapboxとの連携
  25. 25. システムの利用からの知見 ノートを取ると文字全体の字間に違和感
  26. 26. まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された 今後の予定 システムの改良 自他との融合文字できれいにノートやメモを とることができるかの実験 自身と他者の融合文字の使用頻度の調査 手書きノートの字間調査  http://mojirage.com

×