공대생 도전 일지

파인 튜닝 실습 및 결과 분석 Introduction Chapter 6. 자연어처리를 위한 모델 학습 강의의 파인 튜닝 실습 및 결과 분석 강의입니다. 이번 실습에서는 (1) SKTBrain이 공개한 KoBERT를 네이버 영화 리뷰 감정 분석 데이터셋(nsmc)으로 파인튜닝하고, (2) 파인튜닝한 모델의 감정 분류 작업에 대한 성능과 결과를 분석해보겠습니다. !pip install git+https://git@github.com/SKTBrain/KoBERT.git@master 1. KoBERT 모델 불러오기 오늘 실습에는 SKTBrain에서 공개한 KoBERT-Transformers 모델을 사용합니다! KoBERT 모델은 SKTBrain에서 공개한 한국어 데이터로 사전학습한 BERT 모델로, google..

목표 - 언어 모델을 파인튜닝할 때 발생하는 문제들을 분석하고 평가하는 방법들에 대해 이해하기 위험하고 평향된 말이 들어왔을 때 모델이 답변을 잘 선택하도록 만들어야 한다. 언더 피팅과 오버비팅 (memorized) 일반화 - 우리가 추구하는 목표, 모르는 데이터에 대해 적절한 답변을 준다. 감정 분류 - 긍, 부정, 행복, 슬픔과 같은 감정 분류 자연어 추론 - 전제문장과 가설문장이 주어졌을 때 가설문장의 참, 거짓 등을 밝힌다. 의도 분류 - 정확한 의도 파악 다양한 분류 작업에서 사용된다. label이 늘어나도 행렬이 늘어나는 것이기 때문에 사용 가능하다. 항상 예시로는 암의 관측을 정확도의 오류의 위험성을 말합니다. 실제 정답이 negative인데 ture라고 한 경우 중요한 지표이다. 리콜이 낮..

목표 - 파인 튜닝 시 모델 성능 최적화를 위한 하이퍼 파라미터 튜닝에 대해 이해할 수 있다. 1. 이전의 학습 내용을 까먹는다. 2. 데이터의 크기가 작을수록 학습이 불안정하다. 사전 학습 때 A 데이터로 학습하고 B 데이터에 대해 학습하면 전이 학습의 효과를 사용하지 못할 수 있다. 성공한 모델, 실패한 모델 모두 일어나니 전이학습의 일반적인 결과이다. A 작업을 잘 하길 원하는 것이 아니기 때문에 감수하고 진행하는 사람들도 있다. 학습을 많이 하면 분산이 줄어든다 -> 학습을 많이(오버피팅 전) 시켜야 한다. s 는 성공적으로 학습하여 파란색에 가있다. f는 학습이 하나도 되지 않았다. f는 로컬 미니멈에 있는 거나 기울기 소실 현상이 일어났다. 초반부터 learning rate를 작게 줘서 기울기..