Introduction to Graph neural networks @ Vienna Deep Learning meetupLiad Magen
Graphs are useful data structures that can be used to model various sorts of data: from molecular protein structures to social networks, pandemic spreading models, and visually rich content such as websites & invoices. In the recent few years, graph neural networks have done a huge leap forward. It is a powerful tool that every data scientist should know. In this talk, we will review their basic structure, show some example usages, and explore the existing (python) tools.
Introduction to Graph Neural Networks: Basics and Applications - Katsuhiko Is...Preferred Networks
This presentation explains basic ideas of graph neural networks (GNNs) and their common applications. Primary target audiences are students, engineers and researchers who are new to GNNs but interested in using GNNs for their projects. This is a modified version of the course material for a special lecture on Data Science at Nara Institute of Science and Technology (NAIST), given by Preferred Networks researcher Katsuhiko Ishiguro, PhD.
Introduction to Graph neural networks @ Vienna Deep Learning meetupLiad Magen
Graphs are useful data structures that can be used to model various sorts of data: from molecular protein structures to social networks, pandemic spreading models, and visually rich content such as websites & invoices. In the recent few years, graph neural networks have done a huge leap forward. It is a powerful tool that every data scientist should know. In this talk, we will review their basic structure, show some example usages, and explore the existing (python) tools.
Introduction to Graph Neural Networks: Basics and Applications - Katsuhiko Is...Preferred Networks
This presentation explains basic ideas of graph neural networks (GNNs) and their common applications. Primary target audiences are students, engineers and researchers who are new to GNNs but interested in using GNNs for their projects. This is a modified version of the course material for a special lecture on Data Science at Nara Institute of Science and Technology (NAIST), given by Preferred Networks researcher Katsuhiko Ishiguro, PhD.
PR-409: Denoising Diffusion Probabilistic ModelsHyeongmin Lee
이번 논문은 요즘 핫한 Diffusion을 처음으로 유행시킨 Denoising Diffusion Probabilistic Models (DDPM) 입니다. ICML 2015년에 처음 제안된 Diffusion의 여러 실용적인 측면들을 멋지게 해결하여 그 유행의 시작을 알린 논문인데요, Generative Model의 여러 분야와 Diffusion, 그리고 DDPM에서는 무엇이 바뀌었는지 알아보도록 하겠습니다.
논문 링크: https://arxiv.org/abs/2006.11239
영상 링크: https://youtu.be/1j0W_lu55nc
** AI & Deep Learning with Tensorflow Training: https://www.edureka.co/ai-deep-learning-with-tensorflow **
This Edureka PPT on "Restricted Boltzmann Machine" will provide you with detailed and comprehensive knowledge of Restricted Boltzmann Machines, also known as RBM. You will also get to know about the layers in RBM and their working.
This PPT covers the following topics:
1. History of RBM
2. Difference between RBM & Autoencoders
3. Introduction to RBMs
4. Energy-Based Model & Probabilistic Model
5. Training of RBMs
6. Example: Collaborative Filtering
Follow us to never miss an update in the future.
Instagram: https://www.instagram.com/edureka_learning/
Facebook: https://www.facebook.com/edurekaIN/
Twitter: https://twitter.com/edurekain
LinkedIn: https://www.linkedin.com/company/edureka
Basic communication operations - One to all BroadcastRashiJoshi11
Brief description of Basic communication operations in parallel computing along with description of One to all Broadcast, its implementation on ring, mesh and hypercube, cost of and how to improve speed of one to all broadcast.
Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. However, traditionally machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph. In this talk I will discuss methods that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. I will provide a conceptual review of key advancements in this area of representation learning on graphs, including random-walk based algorithms, and graph convolutional networks.
Geospatial Data Analysis and Visualization in PythonHalfdan Rump
This are the slides that I created for my talk at PyCon JP 2017. The talk was also recorded, and a video can be found here: https://www.youtube.com/watch?time_continue=3&v=Yd5oEIBFQ_E.
I made the presentation as a Jupyter notebook and Reveal.js, and I encourage you to head over to https://github.com/halfdanrump/geoviz-pyconjp2017, download the repository and open the presentation.ipynb notebook yourself.
The code that I presented in this talk is released as open source and can he found here: https://github.com/halfdanrump/geoviz
This work was done for DG Lab, the company that I currently work for.
The ArangoML Group had a detailed discussion on the topic "GraphSage Vs PinSage" where they shared their thoughts on the difference between the working principles of two popular Graph ML algorithms. The following slidedeck is an accumulation of their thoughts about the comparison between the two algorithms.
Graph Database Meetup in Korea #4. 그래프 이론을 적용한 그래프 데이터베이스 활용 사례 bitnineglobal
Graph Database Meetup in Korea #4. Graph Database Usecases based on Graph Theory (그래프 이론을 적용한 그래프 데이터베이스 활용 사례)
국내 유일 그래프 데이터베이스 연구 개발 전문 기업, <비트나인> 주최로 진행된
그래프 데이터베이스 밋업(Meetup) 4번째! "그래프 이론을 적용한 그래프 데이터데이터베이스 활용 사례_ 그래프 이론 및 그래프 알고리즘 소개" 입니다.
10가지 그래프 이론 소개 및 활용 사례를 소개 드렸습니다. 발표자료를 통해 그래프 데이터베이스의 다양한 활용 사례를 확인해 보시기 바랍니다. :)
AgensGraph는 고객의 DB 수집 및 가공을 통한 저장/관리부터, 분석하여 시각화를 통한 구현 목표 기능과의 연동까지! "데이터 흐름의 모든 영역"에서 서비스를 제공하고 있습니다.
☞ 발표 영상 보러가기: https://www.youtube.com/playlist?list=PLGp3huJbWNDhQT4aBCS13udGhYnIc1GnO
☞ 밋업 참가 신청 하러가기: https://www.meetup.com/ko-KR/graphdatabase/
☞ 이메일 문의: hnkim@bitnine.net
☞ 그래프 데이터베이스 솔루션 AgensGraph 직접 사용해 보기: https://bitnine.net/
deep encoder, shallow decoder reevaluating non-autoregressive machine transl...taeseon ryu
오늘 소개 드릴 논문은 최근 NMT에서 Decoder단에서 병렬화 하여 처리하는 non autoregressive NMT에 대한 연구가 많이 진행되고 있습니다 그러나 여러 문제로 한 단어가 여러 개의 단어로 번역이 가능한 경우 조건부 독립 분포는 다른 단어를 허용하지 않기 때문에 모든 가능성을 고려한 번역이 불가능하다는 문제점이 있는대요, 이 연구는 디코더 단에서 Speed quality tradeoff라는 해결책을 제시하여 높은 성능향상을 끌어 냈습니다.
PR-409: Denoising Diffusion Probabilistic ModelsHyeongmin Lee
이번 논문은 요즘 핫한 Diffusion을 처음으로 유행시킨 Denoising Diffusion Probabilistic Models (DDPM) 입니다. ICML 2015년에 처음 제안된 Diffusion의 여러 실용적인 측면들을 멋지게 해결하여 그 유행의 시작을 알린 논문인데요, Generative Model의 여러 분야와 Diffusion, 그리고 DDPM에서는 무엇이 바뀌었는지 알아보도록 하겠습니다.
논문 링크: https://arxiv.org/abs/2006.11239
영상 링크: https://youtu.be/1j0W_lu55nc
** AI & Deep Learning with Tensorflow Training: https://www.edureka.co/ai-deep-learning-with-tensorflow **
This Edureka PPT on "Restricted Boltzmann Machine" will provide you with detailed and comprehensive knowledge of Restricted Boltzmann Machines, also known as RBM. You will also get to know about the layers in RBM and their working.
This PPT covers the following topics:
1. History of RBM
2. Difference between RBM & Autoencoders
3. Introduction to RBMs
4. Energy-Based Model & Probabilistic Model
5. Training of RBMs
6. Example: Collaborative Filtering
Follow us to never miss an update in the future.
Instagram: https://www.instagram.com/edureka_learning/
Facebook: https://www.facebook.com/edurekaIN/
Twitter: https://twitter.com/edurekain
LinkedIn: https://www.linkedin.com/company/edureka
Basic communication operations - One to all BroadcastRashiJoshi11
Brief description of Basic communication operations in parallel computing along with description of One to all Broadcast, its implementation on ring, mesh and hypercube, cost of and how to improve speed of one to all broadcast.
Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. However, traditionally machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph. In this talk I will discuss methods that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. I will provide a conceptual review of key advancements in this area of representation learning on graphs, including random-walk based algorithms, and graph convolutional networks.
Geospatial Data Analysis and Visualization in PythonHalfdan Rump
This are the slides that I created for my talk at PyCon JP 2017. The talk was also recorded, and a video can be found here: https://www.youtube.com/watch?time_continue=3&v=Yd5oEIBFQ_E.
I made the presentation as a Jupyter notebook and Reveal.js, and I encourage you to head over to https://github.com/halfdanrump/geoviz-pyconjp2017, download the repository and open the presentation.ipynb notebook yourself.
The code that I presented in this talk is released as open source and can he found here: https://github.com/halfdanrump/geoviz
This work was done for DG Lab, the company that I currently work for.
The ArangoML Group had a detailed discussion on the topic "GraphSage Vs PinSage" where they shared their thoughts on the difference between the working principles of two popular Graph ML algorithms. The following slidedeck is an accumulation of their thoughts about the comparison between the two algorithms.
Graph Database Meetup in Korea #4. 그래프 이론을 적용한 그래프 데이터베이스 활용 사례 bitnineglobal
Graph Database Meetup in Korea #4. Graph Database Usecases based on Graph Theory (그래프 이론을 적용한 그래프 데이터베이스 활용 사례)
국내 유일 그래프 데이터베이스 연구 개발 전문 기업, <비트나인> 주최로 진행된
그래프 데이터베이스 밋업(Meetup) 4번째! "그래프 이론을 적용한 그래프 데이터데이터베이스 활용 사례_ 그래프 이론 및 그래프 알고리즘 소개" 입니다.
10가지 그래프 이론 소개 및 활용 사례를 소개 드렸습니다. 발표자료를 통해 그래프 데이터베이스의 다양한 활용 사례를 확인해 보시기 바랍니다. :)
AgensGraph는 고객의 DB 수집 및 가공을 통한 저장/관리부터, 분석하여 시각화를 통한 구현 목표 기능과의 연동까지! "데이터 흐름의 모든 영역"에서 서비스를 제공하고 있습니다.
☞ 발표 영상 보러가기: https://www.youtube.com/playlist?list=PLGp3huJbWNDhQT4aBCS13udGhYnIc1GnO
☞ 밋업 참가 신청 하러가기: https://www.meetup.com/ko-KR/graphdatabase/
☞ 이메일 문의: hnkim@bitnine.net
☞ 그래프 데이터베이스 솔루션 AgensGraph 직접 사용해 보기: https://bitnine.net/
deep encoder, shallow decoder reevaluating non-autoregressive machine transl...taeseon ryu
오늘 소개 드릴 논문은 최근 NMT에서 Decoder단에서 병렬화 하여 처리하는 non autoregressive NMT에 대한 연구가 많이 진행되고 있습니다 그러나 여러 문제로 한 단어가 여러 개의 단어로 번역이 가능한 경우 조건부 독립 분포는 다른 단어를 허용하지 않기 때문에 모든 가능성을 고려한 번역이 불가능하다는 문제점이 있는대요, 이 연구는 디코더 단에서 Speed quality tradeoff라는 해결책을 제시하여 높은 성능향상을 끌어 냈습니다.
Exploring Deep Learning Acceleration Technology Embedded in LLMsTae Young Lee
Lab's research presentation
I am a doctoral student at Seoul National University of Science and Technology and am currently the head of the Applying LLMs to Various Industry (AL2VI) Lab.
2019년 파이콘 한국에서 진행된 튜토리얼 자료입니다. Part 2 내용으로 LRP에 대한 튜토리얼 발표자료입니다. 아래 링크를 통해 행사 관련 정보를 확인하실 수 있습니다.
http://xai.unist.ac.kr/Tutorial/2018/
https://github.com/OpenXAIProject/PyConKorea2019-Tutorials
Part 1: https://www.slideshare.net/OpenXAI/2019-part-1
Part 2: https://www.slideshare.net/OpenXAI/2019-lrp-part-2
Part 3: https://www.slideshare.net/OpenXAI/2019-shap-part-3
Big Bird - Transformers for Longer Sequencestaeseon ryu
안녕하세요 딥러닝 논문 읽기 모임입니다. 오늘 업로드된 논문 리뷰 영상은 NeurIPS 2020 에 발표된 'Big Bird - Transformers for Longer Sequences'라는 제목의 논문입니다.
오늘 소개해 드릴 논문은 Big Bird로, Transformer 계열 논문들의 Full Attention 구조의 한계를 리캡하고, Long Sequence의 처리를 매우 효율적으로 처리하기 위함을 목표로 나온 논문입니다. 트랜스포머의 엄청난 성능은 이미 다들 잘 알고 계시지만, 시퀀스 길이가 길어질수록 연산의 한계에 부딪히게 되는데, 이에 많은 논문이 비효율적인 연산을 줄이고자 많은 시도가 있었고, Big Bird도 그중 하나의 논문이라고 생각해 주시면 됩니다. 오늘 논문 리뷰를 위해 자연어 처리팀 백지윤 님이 자세한 리뷰 도와주셨습니다.
Efficient and effective passage search via contextualized late interaction ov...taeseon ryu
오늘 소개 드릴 논문은 ColBERT: Efficient and Effective Passage Search viaContextualized Late Interaction over BERT
model들은 Query와 Document에 임베딩 Vector를 이용해서 관련성을 구할 수 있고
최근에는 BERT와 같은 그런 프리트레인된 model을 파인튜닝 한 model들이 발표가 되기도 했습니다
BERT 기반의 model이 SOTA를 찍고 구글과 빙같은 검색엔진에서도 활용을 하고 있습니다
그런데 이제 프리트레인된 랭귀지 model은 Computation Cost가 큰 게 문제가 있습니다 이 그림에서 보시면
백업 기반에 그런 BM25 같은 경우에는 MRR도 낮긴 하지만 그래도 Query Latency가 많이 낮습니다 그에 대해서 BERT model인 경우에 Mrr이 높긴 하지만Latency 또한 매우 높은 것으로 나타나게 됩니다
최대 100~1000배 차이가 나기도 하는데요 이 논문에서 제안하는 ColBERT는 높은 mrr 를 획득을 하면서도 Latency가 BERT보다 훨씬 낮게 나타나게 됩니다 그래서 이 논문에서 제안한 ColBERT model은 Query와 Document간의 관련성을 예측하기 위해서
Late interaction paradigm을 도입했습니다 Query와 Document가 각각 따로 contextual vector로 인코딩이 된 후에
둘 사이에 relevance를 이제 빠르고 효율적으로 계산을 하도록 한 것입니다
논문에 대한 자세한 리뷰를 자연어 처리팀 김은희 님이 도와주셨습니다
오늘도 많은관심 미리 감사드립니다!
문의 : tfkeras@kakao.com
https://youtu.be/5mynfZA2t7U
DeBERTA : Decoding-Enhanced BERT with Disentangled Attentiontaeseon ryu
오늘 소개해 드릴 논문은 구글의 BERT와 페이스북 현재 메타의 RoBERTa를 기반으로 만들어진 모델입니다. RoBERTa + Disentangled Attention과 enhanced mask decode
두가지의 핵심 기술로 RoBERTa를 더욱 개선 시킨 모델이라고 이해하시면 될 것 같습니다. 추가적으로 Scale Invariant Fine Tuning을 도입하여 RoBERTa를 상당히 많은 테스크에서, NLU 테스크에서는 RoBERTa, BERT이상의 성능을 보여준 논문이기도 합니다.
논문의 자세한 리뷰부터, 백그라운드 지식까지, 자연어처리팀 진명훈님이 도와주셨습니다.
2. Heterogeneous Graph Neural Network Researches
해당 논문은 2018년에 발표된 논문으로 GCN 이 여러가지 Task 에서 State-of-the-art 를 달성하고 Graph
Neural Network 가 주목받는 시점에 연구된 논문으로, 실무에서 Graph Neural Network를 사용하기 위해서는
서로 다른 Node 와 Link 간의 조합에 대한 해석이 필요하지만, 기존의 연구는 동일한 Node 와 Link 로 구성된
Graph 로 한정하여 연구가 진행되었다는 한계를 극복하기 위한 연구들이 진행됨.
Heterogeneous Graph
Neural Network (‘19)
Heterogeneous Graph
Attention Network (‘19)
Heterogeneous
Graph
Transformer(‘20)
GraphSage:
Representation
Learning on Large
Graphs(‘18)
Link
SEMI-SUPERVISED
CLASSIFICATION
WITH GRAPH
CONVOLUTIONAL
NETWORKS(‘17)
Link
Link GitHub
Link
Link
CNN 을 활용하여
Graph Network를
구성한 연구
(Graph Attention
Network 등 유사 연
구 다수)
GCN의 Large
Graph 적용 한계를
극복하기 위해
Sampling 을 적용
한 연구
서로 다른 노드와 링크
구성을 해석하기 위한
연구로 사전에 Node
Path 를 정의하는
Meta-Path 중심 연구
Meta-Path 없이도
Heterogeneous 한
그래프 해석을 위
한 연구
(Transformer적용)
4. HGT(Heterogeneous Graph Transformer)
Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling
structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges
belong to the same types, making them infeasible to represent heterogeneous structures.
기존의 연구들은 노드와 링크의 형태가 통일된 homogeneous 그래프에 한정하여 연구가 진행되었으나,
실제 필드에서는 노드와 링크의 타입과 형태가 다른 heterogeneous 가 일반적으로 이러한 문제 해결을 위한
연구를 진행 함.
[heterogeneous]
[homogeneous]
Node 와 Link 의 형태가 다름 !
5. Problem of Past Researches
(1) Meta-Path 에 의존하기 때문에 Domain Knowledge 에 대한 이해가 필수적, Domain 별 특화 설계 필요
https://www.youtube.com/watch?v=lPP6LRqejA4
[Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation]
이종의 Node 조합 순서 사전 정의 및
이에 따른 별도의 네트워크 설계
6. Problem of Past Researches
(2) 서로 다른 Meta-Path 정의 간에 별도의 Weight 및 Network 를 갖기 때문에, 충분한 Heterogeneous
정보의 학습이 되지 않음
https://www.youtube.com/watch?v=lPP6LRqejA4
[Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation]
노드, 링크 간의 조합을 생각하면 훨씬 많은 조
합이 존재하지만, 조합을 너무 다양화 할 경우,
조합별 충분한 훈련 데이터가 확보되지 않을 수
있어, 조합이 제한됨 => 충분한 Heterogeneous
학습이 되지 않음
7. Problem of Past Researches
(3) Heterogeneous Graph 는 매우 동적인데(변동 될 수 있는데) 구조적으로 그 변화를 반영하는데 한계
https://www.youtube.com/watch?v=lPP6LRqejA4
[Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation]
판매 시간, 종료 시간 등 동적으로
변할 수 있는 요소 처리를 위해서 Time
별로 별도의 노드를 만들어서 해결
=> 여러가지 문제 발생 (H/W 리소스 등)
8. Heterogeneous Graph Transformer Approach
[동일한 노드 간에도 다양한 관계 표현]
(1) Instead of attending on node or edge type alone, we use the meta relation ⟨τ (s),ϕ(e), τ (t)⟩ to decompose the
interaction and transform matrices, enabling HGT to capture both the common and specific patterns of different
relationships using equal or even fewer parameters.
저자와 논문간에 1저자, 2저자, 3저자 등
동일 노드 간에도 다양한 관계가 존재할
수 있도록 표현
9. Heterogeneous Graph Transformer Approach
[아키택쳐 자체로 soft meta path 구현]
(2) Different from most of the existing works that are based on customized meta paths, we rely on the nature
of the neural architecture to incorporate high-order heterogeneous neighbor information, which automatically
learns the importance of implicit meta paths.
Due to the nature of its architecture, HGT can incorporate information from high-order neighbors of different
types through message passing across layers, which can be regarded as “soft” meta paths. That said, even if
HGT take only its one-hop edges as input without manually designing meta paths, the proposed attention
mechanism can automatically and implicitly learn and extract “meta paths” that are important for different
downstream tasks.
사전 지식을 가지고 Meta Path 를 정의하여 사용 Attention 기반으로 중요한 path 를 찾아서 알아서 배울 수
있는 신경망적인 구조를 만들었어! => 뒤에서 상세 설명
10. Heterogeneous Graph Transformer Approach
[Positional Encoding 이용 Time Gap 적용]
(3) Most previous works don’t take the dynamic nature of (heterogeneous) graphs into consideration, while we
propose the relative temporal encoding technique to incorporate temporal information by using limited
computational resources.
(4) None of the existing heterogeneous GNNs are designed for and experimented with Web-scale graphs, we
therefore propose the heterogeneous Mini-Batch graph sampling algorithm designed for Web-scale graph training,
enabling experiments on the billion-scale Open Academic Graph.
[Heterogeneous Graph 의 Balance 를 고려한 Mini-Batch 기법]
14. Overall Architecture-Transformer 의 응용
[Transformer Multi-head Attention]
Q
K
V
Attention(Q,E,K)
Target Node(t-1) Target Node(t-1)
[HGT Overall Architecture]
16. Overall Architecture-Heterogeneous Mutual Attention 상세 (2)
we add a prior tensor µ ∈ R |A |× |R |×
|A | to denote the general significance of
each meta relation triplet
Therefore, unlike the vanilla Transformer
that directly calculates the dot product
between the Query and Key vectors, we
keep a distinct edge based matrix W ATT
ϕ(e) ∈ R d h × d h for each edge type ϕ(e).
In doing so, the model can capture
different semantic relations even between
the same node type pairs
Linear projection (or fully connected layer) is
perhaps one of the most common operations in
deep learning models. When doing linear
projection, we can project a vector x of
dimension n to a vector y of dimension size
m by multiplying a projection matrix W of
shape [n, m]
Heterogeneous Mutual Attention
17. Overall Architecture-Heterogeneous Mutual Attention 상세 (3)
Triplet (T - E - S) 의 중요도를 반영
각각 다른 백터 사이즈를 Fully Connected Layer
연산을 통해 동일한 사이즈로 맞추는 작업
Q K
ᆞ
원래 Transformer 에서 Attention
변형된 Attention (단순 T 와 S 의 유사도가
아닌, T - E - S 를 고려한 유사도를 구함)
T E
ᆞ S
ᆞ
target edge source
Heterogeneous Mutual Attention
20. Overall Architecture-Relative Temporal Encoding
The traditional way to incorporate temporal information is to construct a separate graph for each time slot.
However, such a procedure may lose a large portion of structural dependencies across different time slots. We
propose the Relative Temporal Encoding (RTE) mechanism to model the dynamic dependencies in
heterogeneous graphs. RTE is inspired by Transformer’s positional encoding method .Specifically, given a
source node s and a target node t, along with their corresponding timestamps T (s) and T (t), we denote the
relative time gap ∆T (t,s) = T (t) −T (s) as an index to get a relative temporal encoding RT E(∆T (t,s)).
짝
홀
타겟 노드와 소스 노드의 시간 Gap 을 Positional Encoding 기법으로
Embedding 하고 이 값을 Source 에 (+) 하는 방법으로 상대적인 시간
차이를 표현한다.
21. 참고 - Layer Dependent Importance Sampling
Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks
https://arxiv.org/pdf/1911.07323.pdf
(a)같은 노드를 반
복적으로 Sampling
함
(b)근접하지 않은
노드를
Sampling 함
(a),(b) 문제를 해결
하고 이웃 노드를
샘플링
- 검은색 : 타겟 노드
- 파란색 : 이웃 노드
- 붉은 테두리 : 샘플링 노드
22. 참고 - Layer Dependent Importance Sampling
Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks
https://arxiv.org/pdf/1911.07323.pdf
실제로는 Normalized Laplacian (예시는 D-A)
i 번째
23. Overall Architecture - HGSampling
[기존 Sampling 적용시 문제점] directly using them for
heterogeneous graphs is prone to get sub-graphs that are
extremely imbalanced regarding different node types, due to
that the degree distribution and the total number of nodes for
each type can vary dramatically
=> Sub-Graph 가 노드 타입과 데이터의 분포 정도라는 측면에
서 매우 불균형 해질 수가 있다.
[해결 방안]
1) keep a similar number of nodes and edges for each type
=> 노드와 엣지 타입을 균등하게 되도록 Type 을 구분해서
관리하는 Budget 을 운영한다.
2) keep the sampled sub-graph dense to minimize the
information loss and reduce the sample variance
=> 여러개의 인접 노드들 중에 무엇을 선택할지의 문제에 있
어서, 인접 노드의 Sampling Probability 를 구하여 Sampling
Layer-Dependent Importance Sampling 참조
algorithm2
24. Overall Architecture - Inductive Timestamp Assignment
Till now we have assumed that each node t is assigned with a timestamp T (t). However, in real-world
heterogeneous graphs, many nodes are not associated with a fixed time. Therefore, we need to assign
different timestamps to it. We denote these nodes as plain nodes.
Algorithm 1 의 Add-In-Budget Method 상세
(Budget 에 담을 때, Time Stamp 가 없다면,
Target 의 Time 을 상속 받도록 함)
Time 이 있는 경우에는 D_t 를 더해 줌
25. Overall Architecture - HGSampling with Inductive Timestamp Assignment
Node Type 별로 Budget
이 관리 됨 ! 균등하게
Sampling 하기 위함
p1 을 시작으로 초기화
P1 과 연결된 모든 노드를
Budget 에 추가 함
타입별로 n 개를 골라서 Output 에 추가하고,
Budget 에서는 pop-out 시킴 여기서 n=1 이고 동그
라미 타입 Budget 에 소스 노드 하나 남았음
(여기서 importance sampling 을 사용)
앞에서 선택한 type 별 n 개의 노드로 부터 인접한
노드를 다시 찾아서 Budget 에 넣는다
Budget 에 넣은 Node 를 다시 Importance
Sampling 을 통해서 n개를 선택해서 Output 에
추가하고, Pop-Out 시킴