자연어 처리 기계 번역 - 딥러닝 기반 기계 번역 연구 동향, 발전 방향

목표 - 딥러닝 기반 기계 번역 작업의 연구 동향 및 발전 방향

1. 저자원 언어의 번역 수준 개선

2. 데이터 증강 (저자원 언어, 더 많은 데이터, 부족한 데이터 증강), 새로운 단어에 대한 대응

3. 임의의 언어에 대한 대응, 비슷한 특징을 가지는 언어를 같이 학습하면 이점을 가진다.

4. 딥러닝 기반 기계번역의 한계점 분석하고, 해결하기!

 

ACL - 자연어 처리 학회

내가 실제 사용할 때 잘못되었다면 바로잡아 줄 수 업다. -> 오차가 전파되면 완전히 잘 못 번역될 수 있다.

노출 편향 - 학습환경에 편향이 있다.

학습 환경에서도 실제 환경과 유사하게 주어줘보기

j번째 만들 때 j-1번 째 출력을 기반으로 만든다.  -> 잘 못된 출력을 입력하면 오차가 커질 것이다.

정답 단어를 쓴다 - teacher forcing

오라클 - 예측한 단어 -> 실제 사용 때 쓰는 것

오라클 단어를 어떻게 뽑을지도 문제이다.

그냥 제일 높은 값(argmax) 고르기! 

확률에 따라 정답 혹은 출력 값 사용하기

문장 단위로 생각해보자!

Beam search - 여러 가능성을 생각해서 k개의 번역본을 만든다. 

sentance 단위 오라클을 사용하는 것이 성능이 확실하게 좋아졌따.

긴문장 - 초반에 대한 잘못 예측이 크게 적용되는데 이상한 단어를 만들었어도 효과적으로 대처하게 된다.

 

모델 크기 - 계산 복잡성과 비례 -> 최적화가 어렵다.

언어 별로 인코더와 디코더가 별도로 있다.

기존 RNN을 극복하기 위해 Transformer 구조 사용

언어의 개수만큼 모델이 커진다. -> 쓸데 없이 많은 비용이 필요할 수 있다.

인코더, 디코더만 공유하게 학습시키면 나중에 인코더1개, 디코더 1개씩만 불러와서 빠른 번역을 진행할 수 있따.

효율적인 인코더 디코더 학습이 가능해졌다! 

언어의 공통적인 특징을 학습하는 space가 있어서 좋은 성능을 가진다!

latent space만 보고 decoder를 통해 이미지를 생성하는 것과 비슷한 건가...?

 

1. 변호사, 의사, 일반인이 원하는 번역이 다르다!

2. 모델의 성능 개선을 위해 평가 방식 개선도 필요하다.