728x90
728x90
목표 - 파인 튜닝 시 다양한 파인 튜닝 방법에 대해 이해하기
파인 튜닝으로 모델을 학습할 때 이전의 모델에 새로운 레이어를 붙여서 학습한다.
3- 컴퓨팅 연산 능력 부족, 데이터셋 부족, 데이터가 매우 유사할 때 사용
일반화된 피쳐 - 사전학습된 모델이 초반에 잘 뽑아준다. -> 바꾸지 않는다. = freezing한다.
데이터 셋이 크다 = 일반적인 패턴을 잡아 낼 수 있다.
모든 레이어를 다 활용하기에는 오버피팅을 할 가능성이 매우 크기 때문에 초반에서 일반화를 잘 했다고 기대하고 고정시킨 뒤에 부분을 학습시킨다.
모델 안에 레이어를 추가하겠다.
adapter가 추가되었다.
입력으로 들어가는 프리픽스(prefix) 토큰만 학습시키는 것이다. - 작업이 바뀌면 prefix만 바꾸면 된다.
모델에 영향을 주지않고 여러가지 일을 할 수 있는 것이다.
입력에 예시를 주거나 설명을 해주는 것이다.
728x90
'인공지능 > 자연어 처리' 카테고리의 다른 글
| 자연어 처리 모델 학습 - 파인 튜닝된 모델 분석 및 평가 (0) | 2024.03.30 |
|---|---|
| 자연어 처리 모델 학습 - hyper parameter tuning 하이퍼 파라미터 튜닝 (0) | 2024.03.30 |
| 자연어 처리 모델 학습 - 파인 튜닝(Fine tuning)이란? (1) | 2024.03.29 |
| 자연어 처리 모델 학습 - 전이 학습(Transfer Learning)이란 (0) | 2024.03.29 |
| 자연어 처리 모델 학습 - Pre-training이란 (1) | 2024.03.29 |