SLRA

1. Domain Adaptation between Heterogeneous Sensor Signals for
Machinery Fault Classification
Team SLRA
Incheon National University
정 용 태, 신 승 호, 표 신 형
2022.06.09

2. Team SLRA
Introduction
(1) 계측(Sensing)
PHM (Prognostics and Health Management)
(2) 설비 건강지표 추출 (Health indicator extraction)
(3) 진단(Diagnostics)
4) 예측(Prognostics)
❏ PHM의 5가지 중요 Task
• 설비 건전성을 표현할 수 있는 물리량을 계측하는 단계
• 설비로부터 얻어지는 계측 데이터에서 유의미한 정보를 뽑아
내고 이를 표현
• 계측된 데이터를 전문가 지식과 인공 지능적 분석을 통해
설비 건전성 상태를 진단
• 설비 건전성 또는 잔여 수명을 예측하는 기술
5) 관리(Management)
• 설비 건전성 관련 진단 및 예측 정보를 활용하여 최적의
정비 시점, 정비대상, 정비 기간을 결정하는 기술
 Fault Diagnostics(고장 진단)
• 고장 분류는 설비시스템이 이상으로 판정되면 어떤 이상인지를 구분하는 과정임
• 시스템의 상태를 조기에 탐지하고 분류함으로써 사전 조치를 통해 시스템 운영의 효율성을 최대화
할 수 있음
Fault
Detection
Fault
Diagnosis
Fault
Isolation
Fault
Classification
 고장 진단 이란 부품 혹은 설비 시스템의 상태 정보를 토대로 시스템의 건전성 상태를 진단하
는 방법
• 현재 설비 시스템의 건전성 상태를 감지 및 검출
• 현재 설비 시스템의 건전성 상태를 분류
• 현재 설비 시스템에서 결함이 발생한 구성요소를 구분 및 분리
 Fault Classification(고장 분류)
2

3. Team SLRA
Practical Issues on Fault Classification
• 설비의 이상 진단 정확도를 향상하기 위해서 다수의 센서를 설치하여 신호 데이터를 수집해야 함
• 하지만, 새롭게 설치된 센서를 초기에 활용하기 위해서는 다음의 이슈사항을 해결해야 함
① 신설 센서는 거의 가동이 되지 않았으므로, 이상 진단 모델을 구축하기 위한 충분한 레이블 정보가 확보되어 있지 않음
 신설 센서를 통해 수집된 데이터는 레이블이 없는 데이터로 레이블이 충분히 누적될 때까지 분류모델을 구축할 수 없음
② 신설 센서에서 수집되는 신호 데이터는 기존 센서에서 수집한 신호 데이터와 다소 상이한 특성을 가지고 있음
이기종의 신설 센서에서 수집되는 신호에 대해서도 충분히 높은 이상 진단 성능을 달성하기 위한 방법론이 필요
함
Existing
Sensor
New
Sensor
Unlabeled Data
3

4. Team SLRA
Brief review on domain adaptation
• 새로운 이기종의 센서를 통해 수집된 데이터는 레이블이 없는 데이터로 분류모델을 구축할 수 없음
 충분한 데이터를 확보하여, 분류모델을 구축하기 이전에는 새로운 센서에 대한 고장 분류 불가함
• 충분한 데이터 확보 및 레이블링 과정에는 많은 비용이 필요함
 데이터 확보 및 레이블링 과정 없이 기존 센서의 정보를 적응 시켜 새로운 센서에 대해 준수한 성능을 보이고자 함
Train
data
Test
data
Source
domain
Target
domain
Domain Adaptation
Traditional ML Latent-Space Transformation
Find a common space where source and target are close
• 예측하고자 하는 Test data와 Train data의
분포가 같으므로, Train data로 학습된
모델을 예측에 사용함
• 예측하고자 하는 Target domain과 학습에
사용하는 Source domain의 data의 분포가
다르므로, 적응을 통해 예측에 사용함
4

5. Team SLRA
• Classical Test Error
𝜀𝑡𝑒𝑠𝑡 ≤ 𝜀𝑡𝑟𝑎𝑖𝑛 +
𝑐𝑜𝑚𝑝𝑙𝑒𝑥𝑖𝑡𝑦
𝑛
• Adaptation Target Error
 최대한 적은 parameter로 training error가 최소인 Model 찾기
𝑅𝐷𝑇
η ≤ 𝑅𝑆 η + 𝑑𝐻 𝑆, 𝑇 +
4
𝑛
𝑑 log
2𝑒𝑛
𝑑
+ log
4
𝛿
+ 4
1
𝑛
𝑑 log
2𝑛
𝑑
+ log
4
𝛿
+ 𝛽
 Ben-David et al., 2006
Complexity(VC dimension)
Regularization term
Minimize 𝑅𝑆 η , 𝑑𝐻 𝑆, 𝑇
Minimize 𝑅𝑆 η
Maximize 𝜀
𝑑𝐻 = 2 1 − 2𝜀
5
Brief review on domain adaptation
Objective

6. Team SLRA
Domain adaptation models
 DANN(Domain Adversarial Neural Networks)  ADDA(Adversarial Discriminative Domain Adaptation)
• Domain adaptation에서 가장 널리 활용되는 다음의 두가지 모델을 활용함
 DANN 모델의 특징
• Source domain과 Target domain에 대하여 동일한 Feature extractor을 사용함
• Feature extractor 모델은 Source data와 Target data에 상관 없이 robust한
Feature을 추출하도록 학습됨
 ADDA 모델의 특징
• Source Domain과 Target Domain에 대하여 서로 다른 Encoder을 사용함
• 각각의 Encoder은 Source data와 Target data의 특징을 잘 표현하는 방식으로
Feature을 추출하도록 학습됨
6

7. Team SLRA
Experimental design
Existing
Sensor
New
Sensor
 Wavelet Scalogram  Domain adaptation model
Target Domain Data의
고장 분류 진행
 Fault Classification
Vibration
(Source)
Data
Acoustic
(Target)
Data
Data 사용
• Existing Sensor 의 data 는 Vibration
Data로 하고, Source Domain Data로
사용
• New Sensor의 data는 Acoustic Data로
하고, Target Domain Data로 사용
• Vibration Domain의 Data를 Acoustic
Domain의 Data로 Domain adaptatio을
진행함
7
<Bearing Simulator>
실험 장비
▪︎ 정상
▪︎ 베어링 내륜 이상
▪︎ 베어링 외륜 이상
▪︎ 볼 베어링 이상
4 Class
.
0

8. Team SLRA
Experimental design
Existing
Sensor
New
Sensor
 Wavelet Scalogram  Domain adaptation model
Target Domain Data의
고장 분류 진행
 Fault Classification
주파수 분해능 시간 분해능
WT
신호처리(Wavelet Scalogram)
• 시간과 주파수의 관점을 모두 고려
할 수 있도록 신호를 처리하는 방법
임
• Scalogram 이미지를 통해 시간 및
주파수의 강도 정보를 동시에 반영
하는 것이 가능함
• STFT의 시간과 주파수의 trade-off
문제를 완화
8
F
T
시간
관점
주파수
관점

9. Team SLRA
Experimental results
• Source data 를 통해 학습한 모델을 Target data 에
적용시켰을 때는 평균 28.5%의 정확도를 갖으므로,
랜덤으로 선택하는 성능과 크게 다르지 않음
• ADDA모델에 경우 학습에 사용한 데이터에 대해서는
75.50%의 정확도를 보였으며, 이외의 Test data에 대해서
평균 50.67%의 성능을 보임
• DANN모델의 경우 학습에 사용한 데이터에 대해서는
73.75%의 정확도를 보였으며, 이외의 Test data에 대해서
도 평균 69.33%의 준수한 성능을 보임
 Vibration Scalogram  Acoustic Scalogram
• ADDA모델의 경우 각각의 Domain에 대한 Encoder을
개별적으로 사용하기 때문에 더욱 성능이 좋을 것으로
예상하였지만, DANN에 대한 성능이 더욱 좋음
• 이에 대한 추가적인 분석이 필요함
• 다만, 전혀 레이블이 없는 상황에서도 준수한 결과를 보
임에 의미가 있음
Source Domain Target Domain
Source Vibration
Target Acoustic
0.26 0.32 0.28 0.28
0.755 0.51 0.51 0.5
0.7375 0.74 0.64 0.7
Source only
ADDA
DANN
train test1 test2 test3
정상
베어링 내륜 이상 베어링 외륜 이상
볼 베어링 이상 정상
베어링 내륜 이상 베어링 외륜 이상
볼 베어링 이상
9

10. Team SLRA
Conclusions
Introduction
Highlights
Results
• 설비의 이상 진단 정확도의 향상을 위해 이종의 센서를 추가적으로 사용할 때, 해당 센서에 대해서는 이상진단 모델을 구성하기에 충분한 레이블 정보가 없음
• 또한 신설된 이종의 센서에서 수집되는 신호 데이터는 기존 센서에서 수집한 신호 데이터와는 다소 상이한 특성을 가지고 있음
• 이에 따라 이기종의 신설 센서에서 수집되는 신호에 대해서는 충분히 높은 이상 진단 성능을 보이는 방법론이 필요함
• 신호처리 기법을 통해 Scalogram을 만들어 시간과 주파수 영역의 정보를 모두 고려하고자 함
• Domain adaptation 기법을 적용하여 레이블이 없는 신설 센서의 신호데이터에도 준수한 성능을 보이고자 함
• 기존센서를 가지고 학습한 모델을 통해 신설 센서에 대한 고장 분류를 진행하면, 랜덤으로 선택하는 성능을 보임
• 반면에 Domain adaptation 기법을 활용하면, ADDA의 경우 약 50% DANN의 경우 약 70%의 준수한 성능을 보임
• 레이블이 전혀 없는 상황에서 신설센서에 대한 분류 정확도가 다음과 같이 나온 것은 의미 있는 결과로 보임
10

11. Team SLRA
Future works
• 신설 센서를 통해 수집되는 데이터는 레이블이 없으므로, 비지도 방식의 Domain adaptation 모델을 사용하여 분류 모델을 구축함
• 하지만, 설비의 가동을 통해 일부의 레이블이 있는 데이터를 확보한다면, 준지도 학습 기반의 Domain adaptation 모델 사용이 가능
 추가적으로 준지도 학습 기반의 Domain adaptation모델을 적용할 경우 현재의 모델보다 성능이 뛰어날 것으로 예상됨
• 현재 이기종의 센서에 대해, Domain adaptation 모델을 적용하는 실험을 진행하고 있음
• 이기종 센서 뿐 아니라 다양한 문제 상황에도 적용하여, 문제 해결을 할 수 있을 것이라고 판단
 사이즈가 다른 두 베어링에 대한 실험을 통해 해당 데이터를 수집할 계획에 있음
 베어링 시뮬레이터의 작동환경이 다른 경우에 대한 실험을 진행하고 데이터를 수집할 계획에 있음
Modeling
Scenario
11

12. Thank You
12

13. Team SLRA
• Source/Target domain distance
 H-divergence 를 Domain 사이의 거리로 사용 (divergence – 두 확률분포사이의 거리)
𝑑𝐻 𝐷𝑆
𝑋
, 𝐷𝑇
𝑋
= 2𝑠𝑢𝑝
𝜂∈𝐻
𝑃𝑟
𝑥~𝐷𝑆
𝑋
𝜂 𝑥 = 1 − 𝑃𝑟
𝑥~𝐷𝑇
𝑋
[𝜂 𝑥 = 1] • H : hypothesis class
• η : classifier
𝛿(𝑃𝑟, 𝑃
𝑔) = 𝑠𝑢𝑝
𝐴∈∑
𝑃𝑟(𝐴) − 𝑃
𝑔(𝐴)
A
𝑃𝑟(𝐴) 𝑃
𝑔(𝐴)
𝑃
𝑔
𝑃𝑟
• Total Variation distance
 두 확률분포의 측정값이 벌어질 수 있는 가장 큰 값
1. H-divergence
Appendix - DANN Background

14. Team SLRA
• Source/Target domain distance
 H-divergence 를 Domain 사이의 거리로 사용 (divergence – 두 확률분포사이의 거리)
• H : hypothesis class
• η : classifier
1. H-divergence
𝑑𝐻 𝐷𝑆
𝑋
, 𝐷𝑇
𝑋
= 2𝑠𝑢𝑝
𝜂∈𝐻
𝑃𝑟
𝑥~𝐷𝑆
𝑋
𝜂 𝑥 = 1 − 𝑃𝑟
𝑥~𝐷𝑇
𝑋
[𝜂 𝑥 = 1]
• Source domain과 Target domain을 구분하지 못하는 상황이 목표
 η x 이 Domain에 상관 없이 label을 1이라고 할 확률이 1이라면 거리는 0
Appendix - DANN Background

15. Team SLRA
𝑑𝐻 𝑆, 𝑇 = 2 1 − 𝑚𝑖𝑛
𝜂∈𝐻
1
𝑛
∑𝑖=1
𝑛
𝐼 𝜂 𝑥𝑖 = 1 +
1
𝑛′
∑𝑖=𝑛+1
𝑁
𝐼 [𝜂 𝑥𝑖 = 0]
2. empirical H-divergence
𝑑𝐻 𝐷𝑆
𝑋
, 𝐷𝑇
𝑋
= 2𝑠𝑢𝑝
𝜂∈𝐻
𝑃𝑟
𝑥~𝐷𝑆
𝑋
𝜂 𝑥 = 1 − 𝑃𝑟
𝑥~𝐷𝑇
𝑋
[𝜂 𝑥 = 1]
1. H-divergence
 통계적인 값으로 가지고 있는 Sample을 통해 계산한 값
𝑑𝐻 𝐷𝑆
𝑋
, 𝐷𝑇
𝑋
= 2𝑠𝑢𝑝
𝜂∈𝐻
𝑃𝑟
𝑥~𝐷𝑆
𝑋
𝜂 𝑥 = 1 − 𝑃𝑟
𝑥~𝐷𝑇
𝑋
𝜂 𝑥 = 0 − 1
Pr
x~DT
X
[η x = 1] = Pr
x~DT
X
η x = 0 − 1
Appendix - DANN Background

16. Team SLRA
3. Proxy A-distance
𝒅𝑨 = 2 𝟏 − 𝟐𝜺
𝑑𝐻 𝑆, 𝑇 = 2 1 − 𝑚𝑖𝑛
𝜂∈𝐻
1
𝑛
∑𝑖=1
𝑛
𝐼 𝜂 𝑥𝑖 = 1 +
1
𝑛′
∑𝑖=𝑛+1
𝑁
𝐼 [𝜂 𝑥𝑖 = 0]
2. empirical H-divergence
Classification error (𝜀)
Appendix - DANN Background