[Langcon2020]롯데의 딥러닝 모델은 어떻게 자기소개서를 읽고 있을까?ssuseraf7587
그룹사의 자기소개서 데이터를 기반으로 진행했던 연구들을 진솔하게 담았습니다. 먼저 자기소개서만으로 서류 전형 합격/불합격을 딥러닝이 구분할 수 있는지에 대해 연구했던 과정을 소개합니다. 더불어 “AI가 자기소개서를 적어줄 수 있을까?” 라는 아이디어를 가지고 Transformer 딥러닝 모델로 자기소개서 문장이 생성되는 Prototype모델을 시연합니다. 끝으로 [Ctrl+C, Ctrl+V] 자기소개서를 딥러닝 모델로 어떻게 찾는지와 오타 데이터를 검정하는 방법을 소개합니다.
코어닷 기술 세미나 2018
Session #3 : 도승헌 (코어닷투데이 개발자)
LDA와 3개월 함께한 자연어처리 시행착오기
16:00 ~ 16:50
한국어 자연어 처리를 하면서 알아야 할 최소한의 지식을 전달합니다. 전처리부터 토픽모델링까지 3개월간 동거동락한 Gensim 라이브러리의 비밀을 알려드립니다.
- 자연어 처리의 기본 이론
- 토픽 모델링과 LDA
- Gensim을 이용한 매우 쉬운 자연어 처리
https://coredottoday.github.io/2018/10/15/Coredot-기술-세미나/
[Langcon2020]롯데의 딥러닝 모델은 어떻게 자기소개서를 읽고 있을까?ssuseraf7587
그룹사의 자기소개서 데이터를 기반으로 진행했던 연구들을 진솔하게 담았습니다. 먼저 자기소개서만으로 서류 전형 합격/불합격을 딥러닝이 구분할 수 있는지에 대해 연구했던 과정을 소개합니다. 더불어 “AI가 자기소개서를 적어줄 수 있을까?” 라는 아이디어를 가지고 Transformer 딥러닝 모델로 자기소개서 문장이 생성되는 Prototype모델을 시연합니다. 끝으로 [Ctrl+C, Ctrl+V] 자기소개서를 딥러닝 모델로 어떻게 찾는지와 오타 데이터를 검정하는 방법을 소개합니다.
코어닷 기술 세미나 2018
Session #3 : 도승헌 (코어닷투데이 개발자)
LDA와 3개월 함께한 자연어처리 시행착오기
16:00 ~ 16:50
한국어 자연어 처리를 하면서 알아야 할 최소한의 지식을 전달합니다. 전처리부터 토픽모델링까지 3개월간 동거동락한 Gensim 라이브러리의 비밀을 알려드립니다.
- 자연어 처리의 기본 이론
- 토픽 모델링과 LDA
- Gensim을 이용한 매우 쉬운 자연어 처리
https://coredottoday.github.io/2018/10/15/Coredot-기술-세미나/
오늘 소개드릴 논문은 단어의 시퀀스의 확률을 할당하는
Large scale LM 모델 방법과 직접 레이블링한 데이터로
파인튜닝한 트랜스포머 계열의 대화테스크를 위한
언어 모델이라고 이해해주시면 될 것 같습니다
그래서 Google CEO가 직접 2021년에 발표를 했고
영상에서는 LaMDA가 이렇게 행성으로
이제 페르소나를 가지고 서로 대화하는 모습을 Google I/O 에서 보여주셨습니다
De text a deep text ranking framework with berttaeseon ryu
링크드인에서 발표한 논문으로, 제목에서 유추하실수 있듯, 검색 시스템에서 일하시고, 연구하시는 분들이 참고하시면 좋을 논문입니다!
BERT는 분명 NLP에서 뛰어난 성과를 보이고 있지만, 하루에 수천만번 검색이 이루어지는 대형 포털 사이트에서는 검색시스템에 직접적용하기에는 매우 큰 부담입니다. 그렇기에 링크드인에서 직접 다양한 사례를 연구해보며, BERT를 기반으로 모델을 구축하는 Ranking 시스템 프레임 워크 DeTEXT를 소개하며, 오프라인 및 온라인 실험에서도 많은 성능 개선을 이루어 냈습니다!
오늘 소개드릴 논문의 테스크는 약간 생소하실수도 있는 'Aspect-Based Sentiment Analysis' 라는 테스크 입니다. 이 테스크는 단순히 문장을 넣었을때 그 문장이 긍정인지에 대해서만 분석하고 끝나는 일반적인 Sentiment를 분석하는게 아닌, 문장에서 Aspect와 Opinion을 찾고, 각각의 어구가 긍부정인지에 대한 구체적인 의견을 내는 테스크인대요 논문은 해당 테스크를 해결하고, pre-training과 fine-tuning 학습 방법에서의 연관성이 떨어져 잘 학습이 안되는 문제를 해결하는 prompt learning이라는 학습방법을 도입하여 높은 성능 향상을 기록하였습니다
오늘 소개드릴 논문은 단어의 시퀀스의 확률을 할당하는
Large scale LM 모델 방법과 직접 레이블링한 데이터로
파인튜닝한 트랜스포머 계열의 대화테스크를 위한
언어 모델이라고 이해해주시면 될 것 같습니다
그래서 Google CEO가 직접 2021년에 발표를 했고
영상에서는 LaMDA가 이렇게 행성으로
이제 페르소나를 가지고 서로 대화하는 모습을 Google I/O 에서 보여주셨습니다
De text a deep text ranking framework with berttaeseon ryu
링크드인에서 발표한 논문으로, 제목에서 유추하실수 있듯, 검색 시스템에서 일하시고, 연구하시는 분들이 참고하시면 좋을 논문입니다!
BERT는 분명 NLP에서 뛰어난 성과를 보이고 있지만, 하루에 수천만번 검색이 이루어지는 대형 포털 사이트에서는 검색시스템에 직접적용하기에는 매우 큰 부담입니다. 그렇기에 링크드인에서 직접 다양한 사례를 연구해보며, BERT를 기반으로 모델을 구축하는 Ranking 시스템 프레임 워크 DeTEXT를 소개하며, 오프라인 및 온라인 실험에서도 많은 성능 개선을 이루어 냈습니다!
오늘 소개드릴 논문의 테스크는 약간 생소하실수도 있는 'Aspect-Based Sentiment Analysis' 라는 테스크 입니다. 이 테스크는 단순히 문장을 넣었을때 그 문장이 긍정인지에 대해서만 분석하고 끝나는 일반적인 Sentiment를 분석하는게 아닌, 문장에서 Aspect와 Opinion을 찾고, 각각의 어구가 긍부정인지에 대한 구체적인 의견을 내는 테스크인대요 논문은 해당 테스크를 해결하고, pre-training과 fine-tuning 학습 방법에서의 연관성이 떨어져 잘 학습이 안되는 문제를 해결하는 prompt learning이라는 학습방법을 도입하여 높은 성능 향상을 기록하였습니다
170. formula
Score(q, d) =
q
t
TF(t,d) * IDF(t,d)2
* Norm(d, field)
* Boost(t)
쿼리 q 에대한 문서 d 의 스코어는
쿼리상의 모든 용어 t 에 대하여
(TF의 제곱근 X IDF의 제곱 X 각 필드의 normalization factor X 용어 t의 부스팅)
!
값의 합이다.
사람이 이해할 수 있는 말로 표현하자면…
그냥 대략 이렇다는 정도만…