자연어처리 팀 이번 주제는 longformer : The long Doucument Transformer 입니다 2017년도에 나온 트랜스포머는 많은 분야에서 소타를 달성했는데 그 이유는 트랜스포머에서 사용된 셀프어텐션 기법이 전체 시퀀스의 컨테스쳐 인포메이션을 잘 캡처할 수 있기 때문입니다 셀프어텐션 은 입력 텍스트를 전체를 다 보기 때문에 O n 제곱의 복잡도를 보인다고 합니다 그래서 굉장히 많은 계샨량을 필요로하고 시간과 메모리가 많이 소요됩니다. Longformer는 이런 문제를 개선 하기위해 ON만을 수행하는 어텐션은 제안 합니다. Longformer는 문장이 길더라도 전체 텍스트를 고려하는 홀컨텍스쳐 리프리젠테이션을 학습하면서 모델 아키텍처에 의존하지 않고 성능을 높일 수 있다고 합니다 오늘 논문리뷰는 자연어 처리팀 황소현님이 자세한 리뷰를 도와주셨습니다!

1. Longformer:
The Long-Document Transformer
자연어처리팀
박희수, 주정헌, 황소현(발표자)
https://arxiv.org/abs/2004.05150

2. 1. Backgrond

3. 2. Related Work

4. • The original Transformer model has a self-attention component with
O(𝒏𝟐) time and memory complexity where n is the input sequence length.
3. Longformer

5. • Given a fixed window size w, each token
attends to
1
2
*w tokens on each side
• The computation complexity : O(n × w)
• receptive field :
3. Attention Pattern
Sliding Window

6. • Window를 dilated size만큼 확장시켜 사용
• receptive field : l x d x w
3. Attention Pattern
Dilated Sliding Window

7. • Special token의 위치에 대해서만
representation 학습
• 인코더의 전체 hidden state 가중치 계산
• The computation complexity : O(n)
3. Attention Pattern
Global attention

8. Q&A

9. ⚫ Differ window sizes across the layers
• 위쪽 layer 로 갈수록 window size 크게
• 아래쪽 layer - local 정보
위쪽 layer - 문장 전체 정보
• efficiency 와 performance 사이의 trade-off 조정
⚫ Use dilated sliding window attention
• 아래쪽 layer - capacity 를 키우기 위해 dilation 을 적용하지 않음
• 위쪽 layer - 오직 2개의 head에만 dilation 적용
4. Autoregressive Language Modeling
4.1 Attention Pattern

10. ⚫ longer context 를 배우기 전에 상당한 양의 gradient update 를 통해 local
context 부터 배우는 것이 필요하다는 것을 찾음
⚫ Staged training procedure
• 몇 단계에 걸쳐 window size 와 sequence length를 늘려가면서 학습
• 먼저, 짧은 길이의 문장과 window size로 학습
• 이어서 문장 길이와 window size를 배로 늘려가면서 학습
• 총 5개의 phase로 2,048 길이의 문장에서 시작해서 23,040 까지 학습
4. Autoregressive Language Modeling
4.2 Experiment Setup

11. ⚫ BPC (Bit-per-character)
• Character 단위의 perplexity
4. Autoregressive Language Modeling
4.2.1 Results

12. ⚫window size 를 bottom 에서 top 으로 갈 수록 증가시킬 때 성능이 가장 좋음
⚫Dilation을 적용 하는 것이 더 성능이 올라감을 확인
4. Autoregressive Language Modeling
4.2.2 Ablation Study

13. ⚫ Position Embeddings
• RoBERTa 의 maximum position 은 512 → 여기에 extra position
embedding 을 추가하여 4,096 까지 늘림
• RoBERTa의 512 개의 position embedding 을 copy 하여 initializing
5. Pretraining and Finetuning

14. 5. Pretraining and Finetuning
⚫ Continued MLM Pretraining
• RoBERTa 의 weight 를 고정
• batch size 64.
• Sequences length 4,096의 인풋에 대해 65K gradient updates

15. Q&A

16. • 512글자 이상되는 컨텍스트를 피쳐로 사용
• Baseline : RoBERTa
6. Tasks

17. 6. Tasks
6.1 Question answering

18. 6. Tasks
6.2 Coreference Resolution

19. 6. Tasks
6.3 Document Classification

20. 7. Longformer-Encoder-Decoder(LED)

21. Q&A

22. THANK YOU