1.
뉴로마케팅: Graph Transformer 기반
소비자 선호 예측
척척학사: 안성호, 이주호, 조세은
1 Introduction
뉴로마케팅은 뇌과학적인 방법(예: EEG, fMRI, 등)을 통해 소비자의 무의식 중에 발생하는 상품 또는
서비스에 대한 뇌의 반응을 파악하는 것으로 마케팅에서의 여러 성공사례(예: 기아 K시리즈, 펩시, 등)
를 남겨 많은 기업들에서 활용하고 있다. 뉴로마케팅은 단순히 소비자의 주관적인 선호도를 보는 것이
아닌 생물학적인 반응을 보는 것이므로 소비자의 무의식에 잠재되어 있는 선호를 볼 수 있기 때문에
뇌과학적, 상업적으로도 중요하게 여겨진다. 일반적으로 뉴로마케팅은 사용자에게 일정 시간동안 서비
스 혹은 상품을 제시해주는 동시에 뇌파 또는 뇌영상을 수집하고 그것들을 활용해 뇌에서 어떤 반응이
일어나는지 분석하는 방식으로 이루어진다.
Brain-Computer Interface는 뇌의 활동을 바탕으로 사물을 제어하는 것을 말하며, 머신러닝 또는 딥
러닝 방법론을 적용해 뇌파 또는 뇌영상을 학습시켜 예측하여 뇌의 활동으로 사물을 제어할 수 있게 하는
방법론들이 최근에 떠오르고 있다. 이러한 흐름에 맞게 Figure (1) 과 같이 Brain-Computer Interface와
뉴로마케팅을 결합해 뉴로마케팅에 기계학습 방법론을 적용시켜 뇌파 혹은 뇌영상 데이터를 사용해
어떠한 대상(예: 제품, 서비스)에 대한 사용자의 선호도를 예측하는 다양한 연구들 또한 함께 진행되고
있다 [1]. 그 연구들 중에서도 EEG를 활용한 [2] 연구에서는 피험자에게 42개의 제품을 4초 동안 보여
주고 그 제품을 좋아하는지 좋아하지 않는지를 기록함과 동시에 뇌파를 측정했다. 이렇게 수집한 뇌
파 데이터를 활용해 Wavelet Decomposition으로 Feature를 추출해 Hidden Markov Model로 학습시켜
70.33%의 정확도를 보여줬다. [3]는 위와 동일한 데이터셋에서 Feature Engineering을 하지 않고 Raw
EEG 데이터만을 사용해 딥러닝 모델인 1D CNN으로 같은 데이터셋에서 51.48%의 정확도를 보여줬다.
Figure 1: Brain-Computer Interface에서의 뉴로마케팅[1]
그러나, 기존 Feature engineering 기반의 전통적인 머신러닝 방법론들은 매우 많은 수의 Feature를
추출해야 하며, Raw EEG Signal만을 Feature로 사용한 딥러닝 기반 예측은 성능이 낮다는 한계점이
존재한다. 또한, 딥러닝 모델은 파라미터가 매우 많아 해석가능성이 매우 떨어진다는 한계점이 있으며,
뉴로마케팅과 같이 소비자의 선호에 대한 뇌과학적 해석이 중요한 방법에는 적합하지 않을 수 있다. 우
리는 이러한 한계점을 보완하기 위해서 Attention Mechanism 기반의 Graph Transformer[4]를 적용해
Raw EEG Signal만으로도 Feature Engineering 기반 방법론과 비교했을때 예측 성능이 떨어지지 않으며
해석가능성이 있는 딥러닝 기반 소비자 선호 예측 모델인 NmGT(Neuromarketing Graph Transformer)
를 제안한다.
1

2.
2 Methodology
2.1 Graph Transformer
Graph Neural Networks(GNN)은 Graph 구조의 데이터를 입력값으로 활용하는 신경망을 말한다. 현재
GNN은 EEG를 활용하는 다양한 연구 [5, 6, 7]에 활용되고 있고, EEG 데이터를 그래프로 구조화시켜서
활용함으로서 우수한 성능을 보여주고 있다. 우리는 여러 GNN 모델중에서도 Graph Transformer[4]
를 활용했다. Graph Transformer는 기존 multi-head attention mechanism을 GNN에 적합하게 변형한
모델로 head의 갯수만큼 각 노드의 Feature를 활용해 Equation (1), (2), (3)과 같이 key, query, value를
학습한 뒤에 Attention score a를 계산한다. 여기서 Edge Attribute를 적용하기 위해 Attention score를
계산할때 Equation (4)와 같이 e를 더해준다. 그 다음에 해당 노드의 이웃 노드들에 대한 정보를 Equation
(5)와 같이 Average해 ĥ를 계산한다.
q
(l)
c,i = W(l)
c,q h
(l)
i + b(l)
c,q (1)
k
(l)
c,j = W
(l)
c,kh
(l)
j + b
(l)
c,k (2)
e
(l)
c,ij = W(l)
c,ee
(l)
ij + bc,e (3)
a
(l)
c,ij =
⟨
q
(l)
c,i, k
(l)
c,j + ec,ij
⟩
∑
u∈N(i)
⟨
q
(l)
c,i, k
(l)
c,u + ec,iu
⟩ (4)
ĥ
(l+1)
i =
1
C
C
∑
c=1


∑
j∈N(i)
a
(l)
c,ij
(
v
(l)
c,j + e
(l)
c,ij
)

 (5)
GNN에서 Layer를 너무 많이 쌓을 시 Over-smoothing Problem이 발생할 수 있고 이는 노드 임베딩이
서로 비슷하게 되어 성능하락의 원인이 될 수 있다. 이를 해결하기 위해 Graph Transformer는 일반적
인 Residual Connection 대신 Gated Residual Connection을 활용한다. Gated Residual Connection은
Equation (6), (7)에서 학습된 β 와 r 을 활용해 Equation (8)과 같이 ĥ의 정보를 조절 해준다. 이렇게
정보의 양을 조절해 줌으로서 Over-smoothing Problem을 완화할 수 있다.
r
(l)
i = W(l)
r h
(l)
i + b(l)
r (6)
β
(l)
i = Sigmoid(W(l)
g
[
ĥl+1
i ; r
(l)
i ; ĥ
(l+1)
i − r
(l)
i
]
) (7)
h
(l+1)
i = (1 − β
(l)
i )ĥ
(l+1)
i + β
(l)
i r
(l)
i (8)
2.2 Neuromarketing Graph Transformer
우리가 제안할 NmGT 모델은 Input으로 Raw EEG 데이터를 활용해 2개의 Graph Transformer layer
를 거쳐 학습된 그래프를 Flatten해서 2개의 fully connected layer를 거쳐 데이터가 Like인지 Dislike
인지 예측한다. 여기에서 1번째 차원은 EEG 데이터의 채널 갯수이고, 두번째 차원은 시계열의 시간
길이이며, 각 노드들의 연결은 fully connected하게 사용한다. 또한 Graph Transformer의 특성상 Graph
Convolutional Networks(GCN)와 다르게 인접행렬을 Input으로 넣어주지 않아도 되기 때문에 추가
로 Feature Engineering 없이 Raw Signal만으로도 모델을 학습시킬 수 있다. Overfitting 방지를 위해
dropout layer를 추가했고, Activation function은 Graph Transformer layer에는 Relu를 Fully Connected
layer에는 Leaky Relu를 활용했다. 우리는 Figure (2)와 같이 NmGT 모델을 시각화했으며, NmGT의
코드는 github 페이지1
에서 확인할 수 있다.
1https://github.com/BWAAEEEK/NeuroMarketing-with-GNN
2

3.
Figure 2: NmGT(Neuromarketing Graph Transformer)의 구조
3 Experiments
3.1 Dataset Description
우리는 [2]에서 수집된 Product Choice 데이터셋을 활용했다. Emotiv epoc+ 14 channel 장비를 활용해
21-38세의 25명의 참가자에게 같은 14개 범주의 상품 사진을 각각 3개씩 총 42개의 제품 사진을 4초 동안
보여주고 뇌파를 수집했다. 그 후에 참가자에게 보여준 상품에 대해 호인지 불호인지를 자가보고 시켜
그 결과를 레이블로 사용했다. EEG는 (채널 이름) 전극에서 128Hz로 수집되었다. 우리는 이 데이터를
1초씩 분할해서 추가적인 데이터 전처리 없이 활용했다. 또한 본 데이터는 공개적으로 사용 가능한
데이터셋이며 저자 홈페이지2
에서 다운로드 할 수 있다.
3.2 Experiments Setting
우리는 데이터를 Standard Scaler를 활용해 Normalization하고 4초 씩 Segmentation 했다. Input으로
활용되는 그래프는 fully-connected하게 활용했다. 또한, 모델의 하이퍼파라미터 세팅은 Tabel 1과 같이
설정했다. Train, Validation, Test를 위해 데이터셋을 8:1:1의 비율로 분할했다. Optimizer는 Adam을,
Loss는 Binary Cross Entropy를 사용했다.
Table 1: 하이퍼파라미터 세팅
Attention
head
Hidden
size
Dropout L2
Learning
Rate
Batch
size
1 258 0.6 1e-5 1e-3 32
3.3 Results
우리가 제안한 NmGT 모델은 Raw EEG Signal만을 활용해 70.19%의 정확도와 56.33%의 F1-score를
달성했으며, 기존 Feature Engineering 기반의 전통적 머신러닝 방법론[2]에 뒤떨어지지 않는 성능을 보
였다. 그뿐만 아니라, 동일한 Raw EEG Signal 기반의 딥러닝 방법론[3]대비 18%이상의 정확도 향상을
보여줬다. 실험 결과는 Table 2에 정리되어 있다.
2https://sites.google.com/site/iitrcsepradeep7/
3

4.
Table 2: 과거 연구와 NmGT의 성능 비교
Author Approach Accuracy F1-score
Yadava et al.[2]
S-Golay Filter, Wavelet Decomposition,
Statistical Features, Hidden Markov Model
70.33% -
Alimardani et al.[3] 1D Convolutional Neural Networks, Raw EEG Signal 51.48% 47.39%
Our proposed Graph Transformer, Raw EEG Signal 70.19% 56.33%
4 Discussion
우리는 NmGT의 Graph Transformer layer의 Attention Score를 2개의 layer로 부터 Evaluation 과정에
서 각각 추출한 뒤에 test sample에서 추출된 Attention score의 평균 값을 각각 추출했다. Node의 색깔은
Attention Matrix(Figure 4a, 5a)의 Diagonal 값으로, Edge의 굵기는 Diagonal 값을 제외한 값을 Weight
로 활용해 Figure 4b, 4c, 5b, 5c와 같이 그래프로 시각화했다. 이 Attention Score를 기반으로 좌측 전
두엽(AF3, F7, F3, FC5)의 EEG Signal이 모델이 예측하는 것에 있어서 중요하게 작용한다는 것을 볼
수 있다. 또한, AF3과 F7, F7과 F3, F4와 T8, T8과 FC6, T8과 F8, T8과 AF4 채널 간의 Connectivity
가 두개의 Attention score에서 모두 높은 것을 확인 할 수 있다. 또한, Product Choice 데이터셋에서
의 Brain Activity Map(Figure 3)과 Attention Score를 비교했을때 Brain Activity가 높은 양측 전두엽
부분은 마찬가지로 Attention score가 높았으므로, NmGT는 소비자 선호도 예측에 있어서 어느정도의
해석가능성을 제공해줄 수 있다는 것을 보여준다.
(a) Like (b) Dislike
Figure 3: Product Choice 데이터셋에서의 Brain Activity Map [2]
(a) Attention Score Matrix
(b) Attention Score를 활용한 그래
프
(c) 각 노드당 Top 5의 Attention
Score를 활용한 그래프
Figure 4: Graph Transformer 첫번째 Layer의 Attention Score를 활용한 시각화
5 Conclusion
우리가 고안한 NmGT는 Raw EEG 데이터만을 활용해 기존 Feature Engineering 기반의 방법론 [2]과
비교했을때 뒤떨어지지 않는 성능을 보여준다. 또한, 기존 Raw EEG를 활용한 딥러닝 기반 방법론 [3]
4

5.
(a) Attention Score Matrix
(b) Attention Score를 활용한 그래
프
(c) 각 노드당 Top 5의 Attention
Score를 활용한 그래프
Figure 5: Graph Transformer 두번째 Layer의 Attention Score를 활용한 시각화
보다 비교했을때 성능을 매우 높게 개선할 수 있었을뿐만 아니라, 모델에 해석가능성을 추가할 수 있었다.
따라서, 우리의 방법론은 뇌과학적인 해석이 중요한 뉴로마케팅에서 기존 방법론보다 더욱 신뢰성있고
정확한 예측을 제공해 줄 수 있음을 보였다.
References
[1] Vaishali Khurana, Monika Gahalawat, Pradeep Kumar, Partha Pratim Roy, Debi Prosad Dogra,
Erik Scheme, and Mohammad Soleymani. A survey on neuromarketing using eeg signals. IEEE
Transactions on Cognitive and Developmental Systems, 13(4):732–749, 2021.
[2] Mahendra Yadava, Pradeep Kumar, Rajkumar Saini, Partha Pratim Roy, and Debi Prosad Dogra.
Analysis of eeg signals and its application to neuromarketing. Multimedia Tools and Applications,
76(18):19087–19111, 2017.
[3] Maryam Alimardani and Mory Kaba. Deep learning for neuromarketing; classification of user
preference using eeg signals. In 12th Augmented Human International Conference, pages 1–7,
2021.
[4] Yunsheng Shi, Zhengjie Huang, Shikun Feng, Hui Zhong, Wenjing Wang, and Yu Sun. Masked
label prediction: Unified message passing model for semi-supervised classification. In Zhi-Hua
Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence,
IJCAI 2021, Virtual Event / Montreal, Canada, 19-27 August 2021, pages 1548–1554. ijcai.org,
2021.
[5] Peixiang Zhong, Di Wang, and Chunyan Miao. Eeg-based emotion recognition using regularized
graph neural networks. IEEE Transactions on Affective Computing, 2020.
[6] Andac Demir, Toshiaki Koike-Akino, Ye Wang, Masaki Haruna, and Deniz Erdogmus. Eeg-gnn:
Graph neural networks for classification of electroencephalogram (eeg) signals. In 2021 43rd Annual
International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pages
1061–1067. IEEE, 2021.
[7] Yimin Hou, Shuyue Jia, Xiangmin Lun, Ziqian Hao, Yan Shi, Yang Li, Rui Zeng, and Jinglei Lv.
Gcns-net: a graph convolutional neural network approach for decoding time-resolved eeg motor
imagery signals. IEEE Transactions on Neural Networks and Learning Systems, 2022.
5