공대생 도전 일지

전이학습의 한 형태로 볼 수 있다!! GPT가 나오기 전에도 사용되던 기술이다. 다른 목적에 사용하려고 새로운 데이터를 주입시키는 것이다. 감성 분석 - 트위터 => 텍스터에 긍, 부정, 다양한 감정이 붙는다. or 감성 분석을 통한 추천 ㅋ 개발 시간도 빨라진다. 언어 모델을 사용하자는 기업은 늘어난다. -> FINE Tuning을 통해 적은 리소스 사용 overfitting - 데이터는 적은데 일반적인 성능을 높이려고 하면 잘 일어난다. 적합한 모델을 선택하는 능력도 필요하다. - 관련있는 데이터로 학습된 모델을 선택해야한다.

GPT 와 ELMo! 텍스트 생성, 번역, 요약 등 다양한 역할이 가능하다. Unsupervised learning -> 코퍼스를 정제는 하되 라벨링을 하진 않는다. fine turning -> 물어본 것에 대한 정해진 답을 정해준다. BERT - incorder에 집중 Decorder 만 있다. - 학습시킬 땐 인코더가 있다. -> 학습 완료 후 디코더만 사용한다. 기본적 구조는 Transformer, 대용량 feedforward이다. GPT 모델 구조는 어떻게 되어있나? 비지니스 모델에서는 출력 표현에 노하우가 많이 들어간다. 자연스러운 텍스트 생성 - fine turning을 잘 한다. interactive - 대화형 응답 능력 : 각자에게 특화되어 대화를 한다. transfer learning을 ..

1. 두뇌에 관한 다음 설명의 빈칸에 들어갈 가장 적절한 단어를 고르시오. "_____________를 통하여 새로운 지식을 습득할 수 있으며, 아주 복잡하고 대규모의 _____________ 문제들을 해결할 수 있다." 하나를 선택하세요. 학습, 선형 학습, 비선형 지식, 선형 지식, 비선형 학습 ! 비선형! "학습을 통하여 새로운 지식을 습득할 수 있으며, 아주 복잡하고 대규모의 비선형 문제들을 해결할 수 있다." 따라서, 가장 적절한 답은 "학습, 비선형" 입니다. 이건 딱히 강의 자료에서 못 찾겠네요 학습을 통해 새로운 지식을 습득할 수 있고, 대규모의 매우 복잡한 비선형 문제를 해결할 수 있다. 정답 : 학습, 비선형 2.다음 문장의 빈칸에 들어갈 가장 적절한 단어들을 고르시오. "다층 신경망(..

언어 모델 중 하나인 BERT model이다. GPT- 한방향 Word embedding은 나무의 뿌리와 같다. BERT는 Encorder only에 속해있다.

또 and, or, xor 나오겠네요... 비선형 분류문제이다! 이건 선 하나로 구분이 가능하다! 층수가 더 많아지면? 오버피팅은?

계속 반복하면 여러개의 layer를 표현할 수 있다. 백터와 행렬로 만들면 더 편하다. 히든 레이어가 2개 있다.

인공 신경망 - 사람의 두뇌를 인위적으로 표현 뉴런과 뉴런(node) 사이엔 연결선(edge)이 있다. node와 edge는 학습 진행함에 따라 조정해야할 가중치를 가지고 있다. 수학적으로 모델링을 해보자! 가중치 = 파라미터 n+1차원으로 표현된다. 입력 레이어는 층으로 치지 않는다.

두뇌 : 인간의 신경 계통을 담당한다. 두뇌는 감각 기관을 통해 들어오는 신호도 처리한다. 두뇌는 뉴런의 전기 신호를 통해 정보를 전달 청각 담당 부분을 시각 센서와 연결 -> 청각 부분도 시각 부분을 담당할 수 있다. 청각 위치에 시각 정보를 연결함으로써 보는 것을 담당하는 것 확인 이거 너무 뇌로 가는거 아니여?

머신러닝 - 분류기를 학습시켜 분류할 수 있다. 눈 - 카메라 두뇌 - 머신러닝 알고리즘 컴퓨터가 보는 것은 눈으로 보는 것 이랑은 다른 수치 정보이다. -> 수치정보를 분석하여 정보 추출 너무 복잡하니까 피쳐는 임의의 픽셀 두개만 사용한다고 가정 복잡한 비선형 경계선이 필요하다. n*m,1의 긴 벡터 형태로 존재한다. 파라미터가 너무 많아진다. 오버피팅과 계산량의 문제를 해결해야된다.

공간적 상관관계 - 이미지에서 한 픽셀과 옆 픽셀과의 관계성 흑백 이미지는 한 픽셀에 한 값을 가지지만 컬러는 한 픽셀에 RGB 3가지 값 (채널)을 가지고 있다. 백터화 - 이미지를 한줄씩 떼어서 붙여낸다 -> 이미지의 모든 픽셀을 한줄로 만들어 낸다. -> 공간 정보가 사라진다. 즉 공간정보를 소실시키지 않기 위해 CNN이 나왔다. Convolution layer - 특징 추출 Fully connected layer - 특징을 통한 분류 머신러닝은 사람이 한다... 딥러닝은 컴퓨터가 추출을 뽑는다!!! -> Convolution layer에서 일어난다. 이미지를 그대로 넣어서 추출하기 때문에 공간정보도 살아있다. 영상의 크기도 줄일 수 있고, global feature도 얻을 수 있다. weight를..