자연어 처리 모델 학습 - 전이 학습(Transfer Learning)이란

목표 - 대량의 데이터로 사전 학습된 모델의 일반화된 지식을 활용하여 특정 자연어 처리 Task를 수행하는 방법인 전이 학습의 목적과 작동 원리에 대해 이해할 수 있다.

전이 학습 개요

 

전이 학습이란?

제일 마지막 레이어만 새로 학습한다!

backbone - 뼈대가 되는 모델 => 모델이 크고 일반화 시킬 수 있어야 한다.

 

전이 학습의 효과

 

전이 학습을 위해 고려해야 할 사항

사전학습은 내용이 훨씬 많으며, 새로 배울 내용과 비슷한 특징을 가져야 한다.