The document discusses classifying companies into industries based on embedding their business descriptions. It explores different embedding models such as BERT, Sentence Transformer, and XLM to represent descriptions as vectors. It then uses UMAP for dimension reduction and hierarchical clustering to group companies into 12 level 1 and 38 level 2 industries, identifying representative keywords for each cluster. The results could help address limitations of existing industry classification frameworks.

1. 14기 김나경
14기 박신식
15기 안현준

2. 1. 테슬라는 어떤 산업에 속할까?
주제 및 개요
1
✓ 자동차 제조업? 전기 발전업?
✓ 하나의 산업으로 표현하기에 부적절한 한국표준산업분류 체계
✓ 국내 기업이 아니라서 그럴까?

3. 주제 및 개요
2. 요기요는 어떤 산업에 속할까?
✓ 음식점업? 정보 서비스업?
2

4. 출처: 스타트업 얼라이언스
주제 및 개요
2. 요기요는 어떤 산업에 속할까?
✓ 음식점업? 정보 서비스업?
3

5. 출처: 나무위키
주제 및 개요
2. 요기요는 어떤 산업에 속할까?
✓ 음식점업? 정보 서비스업?
✓ 현존하는 산업분류체계가 최근 산업 트렌드를 잘 반영하지 못하는 것
4

6. 주제 및 개요
3. 기존 산업분류체계의 쇠퇴
✓ 기존 산업분류 정보는 아예 제공하지 않는 토스증권
✓ 제품 및 브랜드명, 자세한 주력사업 내용을 대안으로 제시
✓ 기존 산업분류체계로는 기업 정보를 충분히 전달할 수 없다는 관점
5

7. 주제 및 개요
05
04
03
02
01
데이터 수집
임베딩 모델
차원 축소 키워드 추출
클러스터링
6

8. 1. 나이스평가정보
데이터 수집
출처: media.kisline.com
✓ 상장기업들의 긴 사업보고서를 간략히 요약하여 필요한 정보만 제공
✓ 주요사업 및 제품군 등에 관한 키워드를 쉽게 파악
7

9. ✓ 대기업, 중소기업 및 스타트업 회사들의 간략한 기업소개
✓ 주요사업에 대한 설명이 다소 부실
✓ 사업 이외 내용 포함
2. 로켓펀치
데이터 수집
8

10. ✓ 스타트업 회사들의 투자 유치를 위해 정보를 제공하는 플랫폼
✓ 로켓펀치에 비해 자세한 기업소개 텍스트를 제공
3. 데모데이
데이터 수집
9

11. 1. BERT
임베딩 모델
✓ 대량의 데이터로 사전 학습
✓ 일반적인 BERT에서 각 토큰은 768 차원의 벡터를 가지도록 임베딩
✓ 문장의 토큰 수 만큼의 벡터 개수 생성
10

12. 임베딩 모델
✓ 클러스터링을 위해 하나의 문서에는 한 개의 고정된 크기의 벡터로 표현
✓ Average Pooling을 통한 문장 벡터 표현
✓ Average GloVe 보다 낮은 성능
1-(1) Averaging BERT
3 7 2 ⋯
⋯
⋮
⋯
4 9 7
5 5 0 1 8 3
⋮ ⋮ ⋮
1 6 1
⋮ ⋮ ⋮
4 7 5
𝑛 × 768
3 6 1 ⋯ 3 8 5
Average
1 × 768
Pooling
11

13. 2. Sentence Transformer
임베딩 모델
✓ Siamese BERT-Networks
✓ 가중치를 공유하는 두개의 동일한 모델
✓ 두 개의 문장을 각각의 모델에 입력하여 각각 하나의 고정된 문장 벡터 출력
✓ 두 개의 문장 벡터(u,v)와 두 벡터의 차(|u-v|)를 합친 벡터 출력
12

14. 임베딩 모델
✓ 두 문장 간 의미 관계가 라벨링 되어 있는 SNLI, MNLI 데이터셋을 문장 벡터 차원에서 학습
✓ 두 문장 간 의미가 통하면 Entailment(함의), 상충하면 Contradiction(모순), 모두 아니면 중립(Neutral)로 라벨링
2-(1). Fine-tuning
13

15. 임베딩 모델
✓ 특정 언어(영어)에 포커스 되어 있는 Pre-Training 모델을 여러 언어가 한 임베딩 공간을 공유하는 방법
✓ 같은 의미를 가진 언어가 다른 두 문장을 입력
✓ 일부 토큰을 Mask하여 원래의 토큰을 예측
✓ 다른 언어의 문맥을 Masked Token을 예측하는데 사용하여 두 언어간 의미 공유
2-(2). XLM – Enhancing BERT for Cross-Lingual Model
14

16. 2-(3). TSDAE
임베딩 모델
✓ Noise(e.g. deleting, swapping words)가 추가된 문장 입력
✓ Encoder: 고정된 크기의 문장 표현 출력
✓ Decoder: Encoder의 문장 표현을 입력으로 받아 noise가 제거된 원래 문장 복원
✓ 기존의 Transformer는 문맥 내의 모든 토큰을 활용하여 Masked Token 복원
✓ TSDAE는 Decoder가 average pooling된 벡터로만 복원
✓ Encoder가 의미 있는 문장 벡터를 출력하도록 강제
✓ Prediction 단계에서는 Encoder만 활용
✓ 수집한 사업 설명 데이터를 학습 데이터로 활용
15

17. 1. PCA의 한계
차원 축소
✓ 클러스터링을 위해 768 차원의 벡터를 축소
✓ 가장 대표적인 PCA는 최대 분산 축을 기준으로 직교하는 최대 분산 축을 정사영
✓ 각 변수들의 공분산 행렬에 대한 고유 값과 고유 벡터를 이용하며 데이터 간 분산을 보존
✓ 그러나 군집 된 데이터가 뭉개지는 현상이 큰 단점
16

18. 차원 축소
✓ 기준점과 다른 데이터 간 거리를 확률화함으로써 차원을 축소하는 알고리즘
✓ 정규분포를 이용한 SNE는 일정 거리 이상에 대한 확률 차이가 미미하여 먼 데이터 간 거리를 보장할 수 없음
✓ t-SNE는 t분포를 이용하여 이러한 문제를 완화
✓ 2~3차원으로만 축소가 가능하기에 정보를 충분히 포함하기 어려움
✓ 축소한 벡터를 클러스터링에 활용하기 부적절
2. t-SNE의 한계
17

19. 3. UMAP
차원 축소
✓ Uniform Manifold Approximation & Projection
✓ t-SNE와 달리 Global Structure 반영할 수 있으며 파라미터를 이용하여 조정 가능
✓ 차원 수에 대한 제약을 갖지 않아 충분한 정보를 함축시킬 수 있으며 연산이 빠르다는 장점
18

20. 3-(1) 축소 차원 수 결정
차원 축소
✓ Silhouette Score: 군집 내/간 거리를 이용하여 클러스터링 성능을 평가하는 지표
✓ Silhouette Score 값이 높으면 클러스터링이 잘 되었다고 판단
✓ UMAP을 통해 n차원으로 축소한 후 약 20개로 클러스터링 한 Silhouette 스코어를 계산
✓ Silhouette 스코어가 가장 높은 지점에서 차원수 결정 → 17
19

21. Hierarchical Clustering
클러스터링
✓ K-Means과 같은 클러스터링은 결과가 매번 달라지는 랜덤성을 가짐
✓ 좀 더 자세한 산업분류를 원할 경우, 각 클러스터 내 데이터를 다시 세분화하여 클러스터링
할 필요성 존재
✓ 계층적 클러스터링을 통해 항상 일관된 결과를 확인할 수 있으며 추가로 세분화 가능
20

22. 클러스터 개수 결정
클러스터링
✓ 클러스터 개수 별 Silhouette Score
✓ Level 1, Level 2 두 계층을 가진 산업분류체계를 정의하고자 함
✓ Silhouette 스코어가 높아지기 시작하는 12개 → Level 1
✓ Silhouette 스코어가 가장 높은 38개 → Level2
21

23. c-TF-IDF
✓ Mecab 형태소 분석기를 통해 명사만 추출하여 활용
✓ class-based TF-IDF
✓ 같은 클래스 내의 문서를 합쳐 만든 각각의 클래스 문서 대상 TF-IDF
✓ Top n-words를 cluster representation으로 활용
𝑡𝑖 : class i의 각 단어의 빈도수
𝑤𝑖: class i의 전체 단어 개수
m : 전체 문서의 개수
키워드 추출
22

24. BICS Level 1
결과 및 활용
Level 1 주요 키워드 해당 기업 예 해당 기업 수
엔터테인먼트 콘텐츠, 광고, 마케팅, 제작, 미디어 CJ CGV, 레진엔터테인먼트, 미디어잇 2,072
바이오 의료, 의약품, 건강, 진단, 바이오 녹십자랩셀, 바이오인프라생명과학 805
교육 교육, 아이, 학습, 학생, 영어 NE능률, YBM넷, 엄마나무, 잡플래닛 816
제조 제조, 부품, 생산, 자동차, 반도체 HMM, 기아자동차, LG화학, 삼성SDI 1,341
IT 기술, 보안, 시스템, IT, 소프트웨어 로보스타, 카페24, 자몽, 데이타솔루션 1,229
금융 금융, 블록체인, 결제, 투자, 화폐 KG이니시스, KB금융, 미래에셋증권 555
식료품 식품, 커피, 푸드, 음식, 유통 CJ 프레시웨이, 교촌에프앤비, 농심 557
레저 게임, 스포츠, 모바일, 온라인, 유저 넷마블, 엔씨소프트, 스포츠투아이 475
여행 여행, 공간, 호텔, 인테리어, 예약 강원랜드, 대한항공, 진에어, 웨딩클립 566
커머스 패션, 브랜드, 뷰티, 커머스, 상품 스타일쉐어, 마켓디자이너스, 팜스킨 789
모빌리티 차량, 모빌리티, 자전거, 자동차, 택시 쏘카, 삼천리자전거, 한국전기차인프라기술 271
반려동물 반려, 동물, 보호자, 건강, 강아지 펫박스, 도그메이트, PETFIT 108
23

25. BICS Level 2
결과 및 활용
Level 1 Level 2
엔터테인먼트 광고 및 마케팅 / 미디어 / SNS / 출판 / 인공지능 / 메타버스
바이오 치료 / 연구개발 / 헬스케어
교육 학교 및 학원 / 육아 / 채용 / 법무
제조 에너지 / 자동차 및 선박 / 반도체 / 디스플레이 / 건축 및 자재 / 캐주얼의류
IT 인프라 / 스마트팩토리 / 사이버보안 / 통신
금융 핀테크 / 은행 / 증권
식료품 식료품
레저 게임 / 스포츠
여행 여행 / 인테리어 / 웨딩
커머스 패션의류 / 유통 / 뷰티
모빌리티 모빌리티
반려동물 반려동물
24

26. 샘플 테스트
결과 및 활용
(Level 1) 금 융
(Level 2) 핀테크
코인원은 우리가 가진 바꿔보자 는 꿈을 모여서 만든 회사입니다. 비트코인은 탄생한 가상화폐입니다. 즉 중앙에
서버가 없이 유저간에 코인이 거래되며 이는 수학적 암호학적인 만들어진 시스템입니다. 거래 수수료가 저렴하다는
장점 때문에 차세대 결제수단으로서 각광받고 있습니다. 인정받아 시장이 급속도로 커지고 있는 상황입니다. 기술력을
인정받는 코인원 운영중이며 결제 등 다양한 비트코인 프로젝트를 진행할 예정입니다
25

27. CJ그룹의 디저트 카페 프랜차이즈 기업이다. 2002년
신촌점을 시작으로 2018년 현재 전국에 1,000여개
의 점포를 운영하고 있다.
웹 페이지를 통한 API 서비스
결과 및 활용
산업 클러스터링 서비스
제출
• 기업 클러스터: 식품
• 관련 키워드: ‘식품’, ‘커피‘, ’푸드’, ‘음식’, ‘유통‘, ‘소비자’,
‘건강’ …
• 관련 회사:
✓ 기업 설명(사업 설명)을 입력하면 해당 기업 설명과 가장 유사한 산업 클러스터 추출
✓ 해당 클러스터의 핵심 키워드 추출
✓ 해당 기업과 유사한 기업 추출
26

28. 중소기업 데이터 수집 및 활용
향후 개선방안
✓ 상장 기업은 정기적인 공시를 통한 사업 보고서를 수집하기 용이
✓ 중소기업은 주기적으로 사업 설명을 업데이트 하지 않음
✓ 채용 사이트에 올라온 일부 중소 기업을 대상으로 산업 분류 진행
27

29. ✓ AutoEncoder의 Latent Vector를 혼합정규분포로 가정
✓ 확률 프로세스를 무한히 반복하며 정규분포 개수를 추정하는 모델
✓ 정규분포 개수가 곧 최적의 클러스터 개수가 될 수 있다
클러스터 개수의 학습
향후 개선방안
https://ieeexplore.ieee.org/document/9123439
28