Recommended
More Related Content
What's hot
What's hot (20)
Similar to 情報理工学院情報工学系村田研究室.pptx
Similar to 情報理工学院情報工学系村田研究室.pptx (20)
More from tm1966
More from tm1966 (15)
Recently uploaded
Recently uploaded (12)
情報理工学院情報工学系村田研究室.pptx
- 2. 大学の「教育」と「研究」 「教育」 • (既にある)学問を学ぶ • 教科書を学ぶ 「研究」 • (新たな)学問を作る • 未来の教科書を作る
- 5. 友人はいますか? • あなたには、何人の友人がいますか? • あなたの友人には、何人の友人がいますか? • どちらが多いですか? • それはなぜですか?
- 6. あなたより、あなたの友人の方が、友人が多い • なぜでしょう? • 大雑把な説明：赤の側には、最低1人は友人 がいる(友人がゼロなら赤の側には現れない) あなたの友人 あなたの友人 の友人 < 多くの場合 あなた あなたの友人
- 7. 友人の友人数は? • 人(頂点)の数が𝑛、友人関係(辺)の数が𝑚の ネットワークを考える • 友人数が𝑘人である確率を 𝑝𝑘 とする • あなたの友人の友人数が𝑘である確率は? – 𝑝𝑘ではない(友人ゼロの人は選ばれないから) – ランダムに友人を選ぶ A B C D E 頂点: 𝑛 辺: 𝑚 B C E D A 2𝑚-1本からランダムに選ぶ (1本は自分がたどった辺)
- 8. 友人の友人数は? • ランダムに選んだ特定の友人の友人数が𝑘人 である確率： 𝑘 2𝑚 − 1 ≈ 𝑘 2𝑚 • そのような(友人数が𝑘の)人は 𝑛𝑝𝑘人いる • 友人の友人数が𝑘である確率： 𝑘 2𝑚 × 𝑛𝑝𝑘 = 𝑘𝑝𝑘 𝑘 • 確率は 𝑝𝑘 ではなく 𝑘𝑝𝑘に比例 𝑘 = 2𝑚 𝑛 は定数 友人の多い人が赤の側に現れやすい A B C D E 2𝑚-1本からランダムに選ぶ
- 9. あなたより、あなたの友人の方が、友人が多い • あなたの友人数の平均 : 𝑘 = 2𝑚 𝑛 • あなたの友人の友人数の平均: 𝑘 𝑘 𝑘𝑝𝑘 𝑘 = 𝑘2 𝑘 • 𝑘2 𝑘 − 𝑘 = 1 𝑘 𝑘2 − 𝑘 2 = 𝜎𝑘 2 𝑘 > 0 あなたの友人 あなたの友人 の友人 < 多くの場合 𝑘 𝑘2 𝑘
- 10. Friendship Paradox • あなたより、あなたの友人の方が、友人が多い (Your friends have more friends than you do) • 実際の学者ネットワークでも言える ネットワーク 人数 平均友 人数 友人の平均友 人数 𝒌𝟐 𝒌 生物学者 1520252 15.5 68.4 130.2 数学者 253339 3.9 9.5 13.2 インターネット 22963 4.2 224.3 261.5 "Networks (second edition)", Mark Newman, pp. 378-380, Oxford University Press, 2018. 正確には論文の 共著者数の平均
- 12. 頂点 辺 インターネット コンピュータ、ルー タ ケーブル、データ 通信 Web Webページ ハイパーリンク 引用ネットワーク 論文、書籍 引用 交通網 駅、空港 路線、航路 友人ネットワーク 人 友人関係 代謝ネットワーク 代謝物 代謝反応 食物連鎖 生物 捕食関係 ニューラルネット ニューロン シナプス さまざまなネットワーク • ネットワーク(グラフ):辺で結ばれた頂点の集合 頂点 辺 ① ② ③ ④ ⑤ ⑥
- 13. ネットワークがわかると • どれがいちばん中心かがわかる • どんなグループがあるかがわかる • なぜそのような構造になったかがわかる • 将来どのような構造になるか予測できる • クチコミ情報の拡げ方がわかる • 感染症の拡大を阻止できる • …
- 18. 言語横断テキスト分類(CLTC) • 資源が豊富な言語の訓練データを使って、資源が乏しい言 語の分類問題を解くための転移学習 – 資源が豊富な言語のタスク固有の訓練データは入手困難 • 代替案として、資源が豊富な言語のタスクに依存しない単 語埋め込みと、2言語間の辞書を用いたCLTCを提案 – 2言語間の辞書から異種頂点グラフを作り、単語レベルと言語 レベルの2段階集約を行うグラフニューラルネットワークを構築 – 大規模コーパスを利用しないのに事前学習モデルよりも高性能 Nuttapong Chairatanakul, Noppayut Sriwatanasakdi, Nontawat Charoenphakdee, Xin Liu, Tsuyoshi Murata, “Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph”, Findings of EMNLP 2021. http://dx.doi.org/10.18653/v1/2021.findings-emnlp.130
- 19. 2部グラフGCNによる救急医療 サービスの需要予測 • 東京都の救急車データを病院-地域の2部グラフで 表現し、救急需要(高/低)を予測する2部グラフ畳 み込みニューラルネットワークモデルを提案 • 需要予測において77.3%～87.7%の精度を達成 – 従来の機械学習アルゴリズム、統計モデル、および最 新のグラフベースの手法を大幅に上回る Ruidong Jin, Tianqi Xia, Xin Liu, Tsuyoshi Murata, Kyoung-Sook Kim, “Predicting Emergency Medical Service Demand With Bipartite Graph Convolutional Networks”, IEEE Access, Vol. 9, pp.9903-9915, 2021. https://doi.org/10.1109/ACCESS.2021.3050607
- 20. GNNによる高精度な認知機能診断 • 脳画像技術や機械学習の進歩により、脳疾患の診断に大き な進歩 – 健常者と患者を区別する機械学習モデルの開発は非常に重要 • population graphに基づくマルチモデルアンサンブルを提案 – 画像と表現型の異なる組み合わせで(類似した患者の脳の) population graphを構築 – 提案モデルはABIDEデータにおいて、最先端の手法よりも高性能 Zarina Rakhimberdina, Xin Liu, Tsuyoshi Murata, "Population Graph-Based Multi-Model Ensemble Method for Diagnosing Autism Spectrum Disorder“, Sensors, Vol.20, No.21, 18 pages, 2020. https://doi.org/10.3390/s20216001
- 21. 欠損値を含むグラフを扱うGNN • 欠損した特徴の入力とグラフ学習を同じニューラ ルネットワークアーキテクチャ内に統合 – 欠損データをガウス混合モデル(GMM)で表現し、GCN の第一隠れ層のニューロンの期待活性化を計算 • 従来の入力ベースの手法よりも高性能・頑強 Hibiki Taguchi, Xin Liu, Tsuyoshi Murata, "Graph Convolutional Networks for Graphs Containing Missing Features", Future Generation Computer Systems, Vol.117, pp.155-168, Elsevier, 2021. https://doi.org/10.1016/j.future.2020.11.016
- 22. 中心性を高速に近似するGNN • GNNによる媒介中心性の計算 • ノード特徴の制約付きメッセージパッシングを用いて、 媒介中心性を近似 • 実データを用いた大規模な実験で、既存手法よりも 高性能・高速 Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata, "Graph Neural Networks for Fast Node Ranking Approximation", ACM Transactions on Knowledge Discovery from Data, Vol.15, No.5, Article No.78, 2021. https://doi.org/10.1145/3446217 Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata, "Fast Approximations of Betweenness Centrality with Graph Neural Networks", Proc. of the 28th ACM Int'l Conf. on Information and Knowledge Management (CIKM'19) pp.2149–2152, 2019. https://doi.org/10.1145/3357384.3358080
- 23. 深層学習における継続学習 • ある概念を学習した後に別の概念を学習すると(class- incremental learning (CIL))、古い概念に対する性能が極端 に低下(破滅的忘却) • これを軽減する方法として、過去の概念から少数のサンプ ルを格納した小さなメモリを使用することが有効 – しかしメモリのサイズが限られているため、学習データセット中 の新しい概念と古い概念のサンプル数のバランスが大きく崩 れ、最終的なモデルに偏りが生じてしまう問題 • 解決策としてbalanced softmax cross entropyを提案 – CILに対する最新のアプローチとシームレスに組み合わせるこ とで、学習手順の計算コストを削減しつつ精度を向上 – この手法をより要求の厳しいメモリ無しのCILに拡張し、メモリ ベースのアプローチと同等の結果 Quentin Jodelet, Xin Liu, Tsuyoshi Murata, “Balanced Softmax Cross-Entropy for Incremental Learning with and without Memory”, Computer Vision and Image Understanding, Vol.225, Article 103582, 11 pages, 2022. https://doi.org/10.1016/j.cviu.2022.103582
- 24. 情報理工学院 情報工学系 村田研究室 • 人工知能、ネットワーク科学、機械学習 「Pythonで学ぶネットワーク分析 -- ColaboratoryとNetworkX を使った実践入門」村田剛志, オーム社 (2019) 「グラフニューラルネットワーク」村田剛志, オーム社 (2022) 研究室のホームページ (このスライドも公開しています)