Recommended
More Related Content
Recently uploaded
Recently uploaded (12)
Featured
Featured (20)
2018 jsai-aizawa
- 1. 漫画処理と学術データセット （Manga109）の構築 相澤清晴 東京⼤学⼤学院情報理⼯学系研究科 電⼦情報学専攻 12018/6/5 元・現メンバー 松井勇佑，佐藤和博，伊東浩太，荒巻祐司，S. Kovanen 藤本東， ⼩川徹，成⽥嶺，⼤坪篤史，坪⽥亘記、P. Hensman，⼭崎俊彦 JSAI2018 OS コミック⼯学 招待講演
- 2. Content • 電⼦漫画の現状 • 漫画画像処理に関しての取り組み • データセット Manga109 • “近”未来の漫画考察 2018/6/5 2 109冊のアノテーションのリリース 2018.6.1
- 5. 全国出版協会統計 • 紙媒体の漫画 – 2,963億円（2016) – 前年⽐9.3%減 • 電⼦媒体の漫画 – 1,491億円（2016)* – 前年⽐27.5%増 – 紙と対照的 電⼦媒体としての漫画を より便利により楽しくする技術の需要 漫画の市場動向 電⼦漫画は栄えている 2018/6/5 5
- 6. 電⼦漫画の流通 どうしてこんなに増えてるのか 著作者 E-Commerce Amazon Kindle / Rakuten KOBO / Line Manga / GANMA etc 取次 読者 印刷会社 書店出版社直営EC ジャンプ+ etc 電⼦取次 Source : 漫画出版関係数名 2018/6/5 6 出版社
- 11. 11 © ⼤友克洋 / 講談社 0 255 0 0 0 0 0 0 255 255 255 255 255 255 255 255 255 255 255 255 255 255 255 255255 • 書籍だったこともあり， ⾃然画像に⽐し，画像 処理が⼗分に検討され ていない． • 漫画は2値の画像で， 勾配が役⽴つ⾃然画像 とかなり性質が異なる．2018/6/5
- 12. (A）学術データセットの整備と活⽤ －漫画画像のデータセットManga109の構築と公開 －Manga109のアノテーションの構築（公開予定） －漫画のアノテーションツールの作成 (B) マルチモーダル検索 －スケッチに基づく漫画の⼤規模検索 －スケッチに基づく深層特徴を⽤いた漫画の検索 (C) データドリブンな作画⽀援 －スケッチデータベースを⽤いたイラスト描画の⽀援 －データドリブンなラフ画からの線画の⽣成 (D) 漫画に特化した基盤的画像処理 －セリフ領域の検出 －セリフの読み順推定 －インタラクティブなセグメンテーション －インタラクティブな漫画オブジェクトの詳細セグメンテーション －スクリーントーンの分離 －参照画像を⽤いた彩⾊⽀援 －キャラクター、セリフ、コマの深層学習を⽤いた⾼精度検出 122018/6/5 我々のグループの取り組み
- 13. 漫画データセット Manga109 13 Manga109 データセットHP アノテーションの例 • 漫画画像処理研究では，市場に流 通したプロの作家によるデータが 必須． • 作家からの利⽤許諾を得た学術 データセット（94名の作家，109 冊のコミック, 計21142ページ） • この2年間で，201件の配布（国内 105，海外96） • 直近の4カ⽉では、80%超が海外． • さらに，各ページ毎に，セリフ， キャラクタ（顔，全体），コマへ アノテーションを6⽉1⽇からリ リース． ©吉森みきお ©東城和実 Manga109 http://www.manga109.org 2018/6/5
- 14. スケッチに基づく検索 14 上︓スケッチに基づく検索 下︓適合性フィードバック 深層特徴の利⽤による⾼精度化．左︓スケッチ， 中︓EOH特徴, 右: 深層特徴 • ユーザはウェブブラウザ上で描いたス ケッチをクエリとして，漫画画像デー タベースの中から似た部分を含む漫画 のページを検索． • 複数の解像度に渡るエッジ⽅向性ヒス トグラム(EOH)の利⽤． • 効率的な⼤規模検索を実現し，1台の ＰＣでデータセット2万ページの検索 (約2000万候補領域）を70ms/strokeで 実現． Journal of Multimedia Tools and Applications 2015 • その後，アノテーションを活⽤してト レーニングした深層特徴を利⽤するこ とで，検索の⾼精度化を実現． Demo1 Demo2 2018/6/5 ICDAR Workshop MANPU2017
- 15. スケッチデータベースを⽤いた イラスト描画の⽀援 • イラストデータベースを参照画像とし， ユーザの描画を⽀援するシステム DrawFromDrawings． • 素⼈ユーザがイラストを描く際に、よ り望みに近い線画を描くための⽀援． • キーワードとユーザの⼊⼒スケッチを もとに候補となる画像群を提⽰．ユー ザは、画像とその参考領域を指定． • 指定領域内の線画どおしの対応を、⾃ 動的に算出し、ワーピングすることに より様々な線画を⽣成． 15 描画を⽀援するDrawFromDrawings Demo3 IEEE Trans. Visualization and Computer Graphics (2016 published online) 2018/6/5
- 16. 漫画に特化した基盤的画像処理 • スクリーントーン（ST）の分離・除去 漫画の加⼯において，STの除去が必要 となる場合が多い．2つの異なるフィル タリングを最適統合することで，ST除去 を実現． • インタラクティブセグメンテーション 漫画の加⼯にて，オブジェクトの精細 な切り出しが必要．ST除去後の輪郭線を 表すグラフをつくり，ユーザ⼊⼒に対す る最適な輪郭を求めた．インタラクティ ブな修正を可能とした． 16 スクリーントーンの除去例 ©⽯岡ショウエイ ©⾚美潤⼀郎 ©内⽥美奈⼦ ©テンヤ 輪郭抽出例 (a)GT (b) 既存 の動的輪郭法 (c)提案⼿法 Demo 5 Demo 4 Eurographics 2015 ICPR2016 2018/6/5
- 17. • 参照画像を⽤いた彩⾊ 海外への輸出にあたり，⽩⿊の漫 画の彩⾊の需要が⾼い．1枚の参照画 像をトレーニングに⽤いるだけで， 同⼀キャラクターの絵の彩⾊が可能 であることを⽰した． • 深層学習を⽤いた⾼精度検出 セリフ，キャラクター（顔，全 体），コマの検出に対して，深層学 習に基づくマルチタスク⼿法をとり ⼊れ，精度の⾼い検出が実現できる ことを⽰した． セリフ領域の切り抜きは需要が多 い． 17 漫画に特化した基盤的画像処理 漫画要素の⾼精度検出例 左: 正解 右︓⾃動検出結果 ICDAR Workshop MANPU2017 参照 ⼊⼒ 彩⾊結果 Demo 6 Demo 7 （⽂字のみ）2018/6/5 arXiv:1803.08670
- 19. 漫画画像処理の研究の障害 • 学術利⽤できるプロの漫画家の作品の共有 データがない． – 出版社と漫画家の出版権と著作権． – 加⼯を施すような場合には，出版社で即刻却下さ れる（ことがあった）． – 最近の論⽂出版での利⽤にあたっては，作者の承 諾をえたことを学会へ書⾯で提出することが求め られる（ACM）こともある． 19 学術利⽤できるプロの漫画家の作品データの共 有が研究コミュニティの基盤のために必須．2018/6/5
- 20. 既存のデータセット • eBDtheque がほぼ唯⼀の漫画の公開ＤＳ C. Guerin et al, “eBDtheque: A Representative Database of Comics,” ICDAR 2013. – ⽶国，⽇本，ヨーロッパのコミック． – 全部で１００ページのみ． – コマ，吹き出しの細かなメタデータあり． 202018/6/5
- 22. 漫画データセットManga109の規模 規模 • 漫画 109巻 • 作者 94名 • 作品数 104 （5作品ほど2巻を収録．すべて⼀度は市場に 流通したプロの漫画家のもの．） • 総ページ数 21,142 • 現時点で公開利⽤可能な漫画のＤＳとして世界 最⼤ 222018/6/5
- 23. Manga109の源 • 絶版漫画図書館（現，漫画図書館Ｚ）から選出． • ノイズ除去等の処理 • Ｊコミ（現，Ｊコミックテラス）の代表⾚松⽒ の協⼒をえて，作者からの許諾を得た． 23 http://www.mangaz.com 2018/6/5
- 24. Manga109の利⽤について • 学術利⽤に限定し，以下の利⽤に関して作 者からの許諾を得た． – データセットを利⽤した実験．加⼯もＯＫ． – データセットの漫画の学術論⽂への掲載利⽤． – 学会等のデジタルライブラリーへの学術論⽂の 収録． – 学術成果を⽰すデモビデオ等のデジタル媒体で の利⽤． なお，掲載にあたっては，©作者名とManga109 の利⽤，引⽤の明⽰．商⽤利⽤は要相談． 242018/6/5
- 25. Manga109の選定 (1) • 漫画のジャンル，年代を広くサンプリング． • ⾒た⽬の雰囲気や表現法（コマ割り、トーン、 効果線、線の太さなど）のバリエーションが でるように選出． • 暴⼒的な表現，性的な表現の過激なものは選 ばず． • 同⼀作品の複数巻については，原則そのうち の1巻のみ．ただし，巻数の多いものの場合 （10巻以上）は1巻と最終巻の２つを選定． 252018/6/5
- 26. Manga109の選定 • 年代 1970年代から2010年代までを網羅 • ジャンルは，広汎にわたる – ギャグ – バトル – ラブコメ – 動物 – ＳＦ – スポーツ 26 – 時代物 – ファンタジー – 恋愛 – サスペンス – ホラー – ４コマ 2018/6/5
- 31. アノテーション • 冊数 109 • ページ数（⾒開き） 10,130 • フレーム（コマ）数 103,900 • テキスト数 147,918 • キャラ顔数 118,715 • キャラ全体数 157,152 2018/6/5 31
- 32. アノテーション作業 • 第1フェーズ: 2016.4〜2017.3 – アノテーション定義 – 作業ガイドラインの策定 – Webベースのアノテーションツールの作成 – 実作業 計72名の参加 （アルバイト） – 作業管理 322018/6/5
- 33. アノテーション作業 • 第2フェーズ 2017.4〜2017.12 – 第⼀フェーズでの誤りが24%のページに︕ • アノテーションの間違い – 顔に全体の枠がついている等 (種類のミス) – ⾒当違いのところに枠がある (位置のミス) • アノテーションが付いていない – 誤りのあるページを洗い出し作業 – 誤り訂正のための専⽤ツール作成 – 誤りの訂正作業（研究室メンバー全参加） – 画像データセットとしての標準的な記述 33 Demo 7 2018/6/5
- 34. Manga109 アノテーション • アノテーションでデータセットの利⽤範囲 が格段に広がる – 漫画のオブジェクト認識 – 漫画のオブジェクト検出 – ＯＣＲ – 漫画のオブジェクト検索 等々 について共通の実験と評価ができるようになる． 2018/6/5 34
- 35. アノテーションデータ • 2018年6⽉1⽇から学術利⽤への提供を開始． • http://www.manga109.org/から申請 2018.6.1 リリース 2018/6/5 35
- 37. 近未来の漫画 • レガシーからの変化がどの程度進むのか︖ – 今の漫画は，流通のデジタル化が進んだものの， 紙の再現としての電⼦漫画． – 依然として紙媒体のフォーマット中⼼で，その ＪＰＥＧが流通する． – 漫画のフォーマットやその流通するデータは， 10年先どのように変化するのか︖ 2018/6/5 37
- 38. 2018/6/5 38 • デジタル中⼼のコンテンツサービスへの 展開は︖ – スマホ画⾯がスタンダードになる． コマ数や配置が制約をうけるように． – 制作・編集・出版過程のデジタルデータを併 せ持つことで，漫画サービスが拡充されるの では．
- 39. 例えば， • 制作過程のベクター線画，スクリーントーンが分離さ れていれば，着⾊の⼿間ははるかに簡素化されよう． （今は，スクリーントーンをはがすことから作 業している） • 編集過程の吹き出しのテキストデータがあれば，その 読み上げや翻訳は，より簡易に実現できよう． • （今は，リバースエンジニアリングしようとしてい る．）2018/6/5 39
- 40. 電⼦漫画の流通 著作者 出版社 E-Commerce Amazon Kindle / Rakuten KOBO / Line Manga / GANMA etc 取次 読者 印刷会社 書店出版社直営EC ジャンプ+ etc 電⼦取次 Source : 漫画出版関係数名 2018/6/5 40 データ，編集， ユーザへの近さ が重要となるか．
- 41. まとめ • 電⼦漫画の現状．国内外とも伸びしろは ⼤きい． • 電⼦漫画の画像処理は始まったばかり． Manga109データセットについて – Manga109 – Manga109 Annotation 2018.6.10 リリース • 近未来の漫画では，画像以外の付加デー タがサービスを変えるのでは． 2018/6/5 41