Download to read offline
![効果的な視覚化を推薦する研究が行われている
関連研究
視覚化推薦システムは大きく分けると二つ
3
機械学習ベース
表形式データの統計情報を特徴として
機械学習を行う[4][5][6][7]
- 例) 列の値の分散や列同士の相関
を特徴とする
ルールベース
表形式データの統計情報を用いて
ルールを人間が設定[1][2][3]
- 例) 行の数が大きいと
円グラフは適していない
[1] Stolte Chris et al. Polaris: A system for query, analysis, and visualization of multidimensional relational databases. IEEE TVCG. 2002, vol. 8, no. 1, p. 52-65.
[2] Wongsuphasawat Kanit et al. Voyager: Exploratory analysis via faceted browsing of visualization recommendations. IEEE TVCG. 2015, vol. 22, no. 1, p. 649-658.
[3] Eberhardt A, Milene S. Show me the data! A systematic mapping on open government data visualization. DG.O 2018. 2018, p. 1-10.
[4] Moritz Dominik et al. Formalizing visualization design knowledge as constraints: Actionable and extensible models in draco. IEEE TVCG. 2018, vol. 25, no. 1, p. 438-448.
[5] Dibia Victor, Demiralp Çağatay. Data2vis: Automatic generation of data visualizations using sequence-to-sequence recurrent neural networks. IEEE CGA. 2019, vol. 39, no. 5, p. 33-46.
[6] Luo, Y et al. Deepeye: Towards automatic data visualization. IEEE 34th ICDE, 2018, p. 101-112.
[7] Hu, Kevin et al. Vizml: A machine learning approach to visualization recommendation. CHI, 2019, p. 1-12.
本研究はこちら！](https://image.slidesharecdn.com/deim2021-maruta-241210053703-e269c512/85/DEIM-2021-3-320.jpg)
![提案手法の主なアイデア 1 / 2 6
• 視覚化意図と表形式データの各列の特徴は
ともにグラフの種類予測に有効
- しかし、全ての単語や列が必要というわけではない
• 視覚化意図はどの列が視覚化に使われるべきかを
示す
- 直感的には，視覚化意図に合致する見出しを
持つ列は視覚化に使われるべき
• 双方向アテンションは二つのデータから
それぞれの重要な部分を予測する技術[8]
年 人口 年少人口
2017 300 60
2018 350 50
2019 370 50
表形式データ
日本の人口の推移
視覚化意図
これらの列が使われるべき
双方向アテンションを用いて
視覚化意図と表形式データがお互いの重要な部分を推定する
[8] Seo, Minjoon et al. Bidi-rectional attention flow for machine comprehension. arXiv.org e-Print archive, 2016, 1611.01603. https://arxiv.org/pdf/1611.01603.pdf, (accessed 2020-12-19).](https://image.slidesharecdn.com/deim2021-maruta-241210053703-e269c512/85/DEIM-2021-6-320.jpg)
![グラフの種類予測の結果 16
0
0.1
0.2
0.3
0.4
0.5
0.6
ロジスティック回帰 ランダムフォレスト
意図 表
意図&表 意図+アテンション
表+アテンション 意図&表+アテンション
1. 視覚化意図を利用することで視覚化方法の推定精度が向上した
2. 双方向アテンションモデルは
視覚化方法の推定精度を向上させた
意図&表(提案手法)
ベースライン[7] 双方向アテンションなし 双方向アテンションあり
意図のみ 意図&表
表のみ 意図のみ 表のみ
[7] Hu, Kevin et al. Vizml: A machine learning approach to visualization recommendation. CHI, 2019, p. 1-12.](https://image.slidesharecdn.com/deim2021-maruta-241210053703-e269c512/85/DEIM-2021-16-320.jpg)
視覚化意図を考慮した効果的な視覚化方法の推定 DEIM 2021 丸田 発表資料
- 1. DEIM 2021 D33-2 丸田敦貴(筑波大学),加藤誠(筑波大学) 視覚化意図を考慮した データの効果的な視覚化方法の推定
- 2. データの視覚化はデータの内容を伝えるのに効果的 問題点 • 効果的な視覚化には専門的知識が必要 ○ どのツールを使えば良い?どんなグラフが良い？ 背景 2 数値の羅列では内容がわかりづらい グラフにするとひと目で理解できる
- 3. 効果的な視覚化を推薦する研究が行われている 関連研究 視覚化推薦システムは大きく分けると二つ 3 機械学習ベース 表形式データの統計情報を特徴として 機械学習を行う[4][5][6][7] - 例) 列の値の分散や列同士の相関 を特徴とする ルールベース 表形式データの統計情報を用いて ルールを人間が設定[1][2][3] -例) 行の数が大きいと 円グラフは適していない [1] Stolte Chris et al. Polaris: A system for query, analysis, and visualization of multidimensional relational databases. IEEE TVCG. 2002, vol. 8, no. 1, p. 52-65. [2] Wongsuphasawat Kanit et al. Voyager: Exploratory analysis via faceted browsing of visualization recommendations. IEEE TVCG. 2015, vol. 22, no. 1, p. 649-658. [3] Eberhardt A, Milene S. Show me the data! A systematic mapping on open government data visualization. DG.O 2018. 2018, p. 1-10. [4] Moritz Dominik et al. Formalizing visualization design knowledge as constraints: Actionable and extensible models in draco. IEEE TVCG. 2018, vol. 25, no. 1, p. 438-448. [5] Dibia Victor, Demiralp Çağatay. Data2vis: Automatic generation of data visualizations using sequence-to-sequence recurrent neural networks. IEEE CGA. 2019, vol. 39, no. 5, p. 33-46. [6] Luo, Y et al. Deepeye: Towards automatic data visualization. IEEE 34th ICDE, 2018, p. 101-112. [7] Hu, Kevin et al. Vizml: A machine learning approach to visualization recommendation. CHI, 2019, p. 1-12. 本研究はこちら！
- 4. 既存の研究では視覚化の意図が考慮されていなかった 視覚化意図 ~ データの内容をどう表現したいかという意図4 日本の人口の推移 日本の人口における 大学生の割合 推移 割合 折れ線グラフ 円グラフ 視覚化意図を考慮することでより適切な視覚化を行う 視覚化意図 グラフの種類 視覚化意図の中にある 視覚化方法の予測に効果的な単語
- 5. 人口の推移 年 人口 年少 人口 生産年齢 人口 老年 人口 2017300 60 170 70 2018 350 50 210 90 2019 370 50 220 100 入力 自動視覚化 システム 出力 • データ視覚化の初学者でも簡単に視覚化することができる • 大量の表データに適用することで視認性が上がり、データの検索がしやすくなる 2018年の人口区分 表形式データ 視覚化意図 視覚化意図を考慮したデータの自動視覚化システムの提案 目的 5 0 100 200 300 400 2017 2018 2019 年 人口の推移 グラフの種類 人口 年少人口 生産年齢人口 老年人口 2018年の人口区分 使用する列 視覚化方法
- 6. 提案手法の主なアイデア 1 /2 6 • 視覚化意図と表形式データの各列の特徴は ともにグラフの種類予測に有効 - しかし、全ての単語や列が必要というわけではない • 視覚化意図はどの列が視覚化に使われるべきかを 示す - 直感的には，視覚化意図に合致する見出しを 持つ列は視覚化に使われるべき • 双方向アテンションは二つのデータから それぞれの重要な部分を予測する技術[8] 年 人口 年少人口 2017 300 60 2018 350 50 2019 370 50 表形式データ 日本の人口の推移 視覚化意図 これらの列が使われるべき 双方向アテンションを用いて 視覚化意図と表形式データがお互いの重要な部分を推定する [8] Seo, Minjoon et al. Bidi-rectional attention flow for machine comprehension. arXiv.org e-Print archive, 2016, 1611.01603. https://arxiv.org/pdf/1611.01603.pdf, (accessed 2020-12-19).
- 7. 提案手法の主なアイデア 2 /2 7 • 双方向アテンションは各列の重要度を出力可能 - 各列の重要度から使用する列を推定 • 使用する列とグラフの種類の予測で共通して学習する部分がある マルチタスク学習を行い、グラフの種類の予測モデルと使用する列の 予測モデルの両方を同時に学習させる 共通学習部分 グラフの種類予測 使用する列の予測 共通学習部分と2つの出力をそれぞれ学習する部分に分かれている
- 8. 提案モデル 8 年 人口年少 人口 2017 300 60 2018 350 50 2019 370 50 人口の推移 年 人口 年少 人口 2017 300 60 2018 350 50 2019 370 50 入力 列の重要度ベクトル 視覚化意図の重要度ベクトル FFNN で予測 グラフの種類 視覚化意図と対応する列の特徴に注目してデータの特徴を抽出 表形式データ 人口の推移 視覚化意図 年 人口 年少 人口 人口 推移 ① 列と視覚化意図の 重要な部分を予測 (双方向アテンションモデル) ② 重要度ベクトル 同士を結合 ③ 予測 使用する列 双方向アテンション の値から予測
- 9. • 表形式データから視覚化意図の重要な部分を推定し、視覚化意図から表形式データの重要な部分を推定する • 重要度を加味したベクトルでグラフの種類を予測、アテンションの値から使用する列を予測 提案モデルの概要図 9 !1 ・・・ ・・・ !2 !# "1 "2 "$ #1 #2 #$ Intent2Table and Table2Intent ! # ReLU softmax 表形式データ埋め込み 双⽅向アテンション 出⼒ 視覚化意図埋め込み max !1 !2 Table2In "1 "2 "$ max softmax Intent2T "1 "2 "$ !1 !2 !# 視覚化種類の出⼒ max softmax "1 "2 "$ !1 !2 !# 視覚化列の出⼒ u1 u2 uN ・・・ ・・・ 6層 linear 日本 人口 推移 年 人口 年少人口 60 50 50 列情報 グラフの種類の出力 使用する列の出力
- 10. モデルの詳細 10 年 人口GDP 2017 300 4 2018 350 3 2019 370 4 日本の人口の推移 ベクトル化 Softmax Softmax 双方向アテンション max max 年 人口 GDP 年 人口 GDP 日本 人口 推移 日本 人口 推移 日本 人口 推移 年 人口 GDP 表形式データ 各列の統計情報 (列の値の分散、 平均、最大値など) を要素とした ベクトルを作成 単語ごとに ベクトル化 視覚化意図 : 類似度
- 11. 意図の中の重要 な単語を推定 重要な列を推定 双方向アテンションの説明 11 年 人口GDP 2017 300 4 2018 350 3 2019 370 4 日本の人口の推移 ベクトル化 Softmax Softmax 双方向アテンション max max 年 人口 GDP 年 人口 GDP 日本 人口 推移 日本 人口 推移 日本 人口 推移 年 人口 GDP 年、人口列が 重要と推定 : 類似度 列の重み - 列の予測に使用 列ベクトル 単語 ベクトル 重要度を加味した 列ベクトル
- 12. 意図の中の重要 な単語を推定 重要な列を推定 モデルの詳細 12 年 人口GDP 2017 300 4 2018 350 3 2019 370 4 日本の人口の推移 ベクトル化 Softmax Softmax 双方向アテンション max max 年 人口 GDP 年 人口 GDP 日本 人口 推移 日本 人口 推移 日本 人口 推移 年 人口 GDP : 類似度 人口、推移が 重要と推定 重要度を加味した 単語ベクトル
- 13. 学習 13 年 人口 GDP 日 本 人口 推移 ①重要度を加味した ベクトルを結合 ②8層のFFNNで学習 ③予測ラベルを出力 ReLU Softmax 入力出力 ・・・・ ・・・・ ・・・ ・・・・ ・・・・・ ・・・・・ ・・・・・ ・・・・・ 列の重み 入力 ①線形変換+それぞれの値で二値分類 出力 0.8 0.9 0.3 グラフの 種類予測 使用する 列予測 ②使用する列である確率を出力 グラフの種類 年 人口 GDP 年 人口 使用 使用 誤差関数 : 交差エントロピー誤差 誤差関数 : バイナリ交差エントロピー誤差
- 14. • 取得できるデータ タイトル、グラフの種類、表データ、使用する列、軸 •グラフの種類 棒グラフ、折れ線グラフ、円グラフ、ツリーマップ、面グラフ、散布図、ハイライト表 マップグラフ https://www.tableau.com/ データ グラフ データセット 14 Tableauからクローリング - 視覚化されたデータを共有しているWebサイト タイトル 視覚化意図 グラフ作成者 が指定したもの
- 15. • データ数 :183,427 • 評価指標 : F値（適合率と再現率の調和平均） • 比較対象 : ベースライン、視覚化意図のみと表形式データのみを 用いた手法、双方向アテンションを用いていない手法 本実験で明らかにすること 1. 視覚化意図を利用することで視覚化方法の推定精度は向上するか？ 2. 双方向アテンションモデルは視覚化方法の推定精度を向上させるか？ 実験設定(グラフの種類予測) 15
- 16. グラフの種類予測の結果 16 0 0.1 0.2 0.3 0.4 0.5 0.6 ロジスティック回帰 ランダムフォレスト 意図表 意図&表 意図+アテンション 表+アテンション 意図&表+アテンション 1. 視覚化意図を利用することで視覚化方法の推定精度が向上した 2. 双方向アテンションモデルは 視覚化方法の推定精度を向上させた 意図&表(提案手法) ベースライン[7] 双方向アテンションなし 双方向アテンションあり 意図のみ 意図&表 表のみ 意図のみ 表のみ [7] Hu, Kevin et al. Vizml: A machine learning approach to visualization recommendation. CHI, 2019, p. 1-12.
- 17. 双方向アテンションの視覚化 17 図1. 折れ線グラフを正しく予測したときの双方向アテンションの視覚化 •視覚化意図ごとに大きく色が変化しており、双方向アテンションは視覚化意図に大きく影響を 受けている • “vs”, “ strong”, “for”といった視覚化方法の予測に関係のない単語は双方向アテンションの値が低 くなっているため、視覚化意図の情報を選択的に抽出していると考えられる Order date列 (視覚化に使用 された列)と trendという 単語が重要 視覚化意図 列の見出し
- 18.
- 19. グラフの種類ごとの予測に効果的な単語 1/2 19 グラフの 種類 単語 アテンション の値 面グラフ trend0.19 area 0.16 sheet 0.15 state 0.14 折れ線 グラフ bar 0.26 across 0.23 trend 0.19 trends 0.18 グラフの 種類 単語 アテンション の値 棒グラフ axis 0.26 bar 0.25 filter 0.22 bars 0.22 散布図 bubble 0.28 donut 0.26 map 0.24 cross 0.24 予測精度の低い 面グラフと折れ線グラフは 視覚化意図の単語が似ている グラフの形が似ていると 視覚化意図の単語も 似てしまうため予測精度が下がる グラフの種類ごとにアテンションの値が高かった視覚化意図の単語を示した
- 20. グラフの種類ごとの予測に効果的な単語 2/2 20 グラフの種類単語 アテンション の値 ハイライト表 map 0.26 filter 0.25 icon 0.21 circle 0.21 ツリーマップ map 0.26 table 0.23 country 0.16 sheet 0.15 グラフの 種類 単語 アテンション の値 マップグラフ zip 0.25 map 0.25 across 0.24 geographical 0.22 円グラフ pie 0.33 map 0.26 donut 0.24 you 0.17 予測精度の高い マップグラフは 地図に関連する単語が多く 含まれている 特徴的な形のグラフは 視覚化意図も特徴的であるため 高い予測精度を示す グラフの種類ごとにアテンションの値が高かった視覚化意図の単語を示した
- 21. • データ数 :159,494 • 評価方法 : 使用する列である確率の高い順にランキングを作り、ランキング の評価を行なった • 評価指標 : nDCG@30, R精度, F値 ○ R精度 : 使用する列の数だけランキングの上位から判定したとき、 使用する列が含まれる割合 • 比較対象 : ランダムな値を出力したもの、使用する列予測モデルのみ とグラフの種類予測モデルのみを学習したもの 実験設定(使用する列の予測とグラフの種類の予測を同時に行う場合) 21 年 人口 GDP 2017 300 60 2018 350 50 2019 370 50 年 人口 GDP 0.8 0.9 0.3 双方向 アテンション 日本の人口の推移 表形式データ 視覚化意図 入力 出力 列の重み 二値分類 使用する列 である確率 使用する列予測の概要図
- 22. 0 0.1 0.2 0.3 0.4 0.5 0.6 R精度 nDCG@30 F値 ランダムベースライン使用する列予測モデルのみ学習 提案手法(列とグラフの種類を同時に学習) グラフの種類予測モデルのみ学習 使用する列とグラフの種類予測を同時に行った結果 22 使用する列の予測 グラフの種類予測 ランダムベースラインとの精度の差が生まれなかった 種類予測モデルのみを学習させた 結果が提案手法を上回った 使用する列の予測は効果的に機能しなかった 使用する列とグラフの種類を 同時に学習することは効果的ではなかった 列のみ 種類のみ 提案手法 ベース ベース 列のみ 提案手法 種類のみ ベース 列のみ 提案手法 種類のみ
- 23. まとめ 23 研究の目的 • 表形式データの視覚化を自動的に行う 提案手法 •視覚化意図と表形式データからそれぞれの重要な部分を特定し(双方向アテンション)、 重要度を加味した重要度を加味したベクトルでグラフの種類を予測 • 列の重みから使用する列を予測 データセット • 視覚化されたデータを共有しているWebサイトTableauからクローリングした183,427データ (使用する列予測では159,494データ) 結果 • 視覚化意図を利用することで視覚化方法の推定精度は向上した • 双方向アテンションモデルは視覚化方法の推定精度を向上させた • 使用する列の予測はうまく機能せず、同時に予測することは効果的ではなかった
- 24.
- 25. グラフの種類ごとの予測結果 25 グラフの種類 データ数適合率 再現率 F値 面グラフ 978 0.555 0.443 0.493 棒グラフ 4,506 0.551 0.600 0.575 散布図 3,464 0.517 0.529 0.523 折れ線グラフ 2,485 0.513 0.493 0.503 マップグラフ 1,399 0.625 0.674 0.649 円グラフ 2,075 0.595 0.611 0.603 ハイライト表 1,877 0.558 0.541 0.550 ツリーマップ 1,559 0.572 0.464 0.512 マップグラフや円グラフなど グラフの形に特徴があるものは 高い予測精度を示した 面グラフと折れ線グラフは グラフの形が似ているため それぞれの予測精度が低い値を示した
- 26. • 意図 :視覚化意図の単語ベクトルの平均値を8層のFFNNで学習 • 表 : 列ベクトルの平均値を8層のFFNNで学習 • 意図&表 : 意図と表を結合したものを8層のFFNNで学習 • ロジスティック回帰 : 意図と表を結合したものをロジスティック回帰で学習 • ランダムフォレスト : 意図と表を結合したものをランダムフォレストで学習 • 意図+アテンション : 重要度を加味した視覚化意図ベクトルを8層のFFNN で学習 • 表+アテンション : 重要度を加味した表形式データベクトルを8層のFFNN で学習 • 意図&表+アテンション : 提案手法 提案手法の比較対象 26
- 27. グラフの図 27 ツリーマップ ハイライト表散布図 面グラフ マップグラフ