공대생 도전 일지

목표 - 대량의 데이터로 사전 학습된 모델의 일반화된 지식을 활용하여 특정 자연어 처리 Task를 수행하는 방법인 전이 학습의 목적과 작동 원리에 대해 이해할 수 있다. 제일 마지막 레이어만 새로 학습한다! backbone - 뼈대가 되는 모델 => 모델이 크고 일반화 시킬 수 있어야 한다. 사전학습은 내용이 훨씬 많으며, 새로 배울 내용과 비슷한 특징을 가져야 한다.

목표 - 대량의 데이터로 언어 모델이 일반화된 지식을 갖도록 학습하는 사전 학습의 목적과 작동 원링 대해 이해하기 언어의 모호성과 중요성을 파라미터에 잘 적용시키는 것 미세조정 == fine tuning 각각 학습한 뒤 합쳐서 새로 사용한다. Fast txt나 Glove로 보완은 되었으나 모두 해결된 것은 아니다. 중요한 정보가 앞에 있을 경우 거의 전달되지 않는 문제 15% 정도 Mask를 사용하면 성능이 좋았다. 이렇게 하여 MASK 토큰을 원래 단어로 예측하도록 만든다. 여기선 n개를 보고 그 뒤를 예측하고, 또 n개를 보고 그 뒤를 예측하는 것의 반복이다. 모델의 강건성과 불확실성을 개선할 수 있다.

단층 신경망의 한계 -> xor gate를 표현하지 못한다.

간단한 답변 랭킹 모델 만들기 Introduction Chapter 5. 문장 임베딩 만들기 강의의 간단한 답변 랭킹 모델 만들기 실습 강의입니다. Transformers에 공유된 KoBERT-Transformers를 활용하여, 문장 수준 임베딩 간 유사도 계산을 활용하여 간단한 답변 랭킹 모델 (챗봇)을 구현합니다. 1. 한국어 일상 대화 데이터셋 수집 및 전처리 오늘 실습에서는 일상 대화 챗봇 구현에 많이 사용되는 Chatbot_data를 사용하겠습니다. 로드한 데이터셋은 이후 답변 랭킹 모델 추론에 사용됩니다. 출처: https://github.com/songys/Chatbot_data GitHub - songys/Chatbot_data: Chatbot_data_for_Korean Chatbot_d..

목표 - Transformer의 encorder를 사용하는 언어 모델인 BERT의 작동 원리 이해 encorder를 사용하고 양방향 학습을 한다는 것이 GPT와의 차별성을 가졌다. 문장 단위의 자연어 추론에서 두각을 보였다. -> 전체적으로 분석하여 예측 ELMo - 입력이 들어왔을 때 엘모와 임베딩 모두를 사용하는 것 ELMo, GPT - 단방향 문장단위의 task를 고려할 때 뒤에서 앞으로도 앞에서 뒤로도 봐야하는데 단방향인 GPT는 부족하므로 양방향이 필요하다. 2번 논문 - 구조적으로 사전학습하겠다. 3번 논문 - 통계적으로 뉴럴넷을 학습하겠다. label이 있는 데이터를 통해 Fine turning을 한다. 문장 - 컨택스트 윈도우로 잠근 문장 문장이 여러개 있는 task는 양방향으로 봐야 잘 ..

GPT - Transformer의 디코더 부분을 사용 ELMo랑 비슷하다. RNN 기반 -> 병렬화가 안된다. 확률값이 최대가 되도록 파라미터를 조절한다. Multi head -> 병렬로 진행하여 각각으로 확인하겠다. GPT에서는 Multihead Attention은 없고 masked만 있다. 소프트 맥스 후 arguemax하면 가장 높은 확률의 단어를 뽑아낼 수 있다. 유사도 측정할 때 순서도 바꿔서 학습한다. 여러개중에서 고를 때 모두 비교 후 소프트맥스하여 높은 값을 고른다. Zero shot 알려주지 않고 테스트 하기

일단 주어진 코드입니다. import random import numpy as np class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): if a == 0: self.move_left() elif a == 1: self.move_up() elif a == 2: self.move_right() elif a == 3: self.move_down() reward = -1 done = self.is_done() return (self.x, self.y), reward, done def move_right(self): self.y += 1 if self.y > 3: self.y = 3 def move_left(self): self...

1강 - 강화학습이란 강화학습 = Trial and Error을 통해 학습하는 방법 순차적 의사 결정 문제 = 시간 순서대로 주어진 상황에서 목적에 도달하기 위한 행동을 취하고, 그에 변화한 상황을 근거로 다시 행동을 취한다. 보상 == 피드백 = 의사 결정을 했을 때 잘 했는지 못했는지를 알려주는 수치(스칼라 값) 보상은 지연될 수 있으며, 어떤 행동으로 인해 보상으로 주어졌는지 판단을 나중에 할 수 있다. 강화학습 목적 = 누적 보상의 최대화 에이전트 == 학습자 = 현재상황 St에서 At를 결정한다. 그럼 그에 따른 보상 R(t+1)을 받고 다음 상태S(t+1)의 정보를 받는다. 환경 = 에이전트를 제외한 모든 요소 강화 학습의 장점 - 병렬성, 자가학습 2강 - 마르코프 결정 프로세스 마르코프 프..

1. 다음 문제 중 올바르지 않는 것을 고르시오. 자기주의(Self-Attention)의 이점 아닌것은? 하나를 선택하세요. 1.장거리 종속성 파악 2.병렬처리 3.확장성 4.이중 모드 애플리케이션 으음...? 병렬 처리가 된다고 했고, 장거리 종속성 파악도 된다고 했고, 병렬 처리== 이중 모드 애플리케이션 아닌가? "이중 모드 애플리케이션"은 자기 주의(Self-Attention)의 이점과는 직접적인 연관이 없는 선택지입니다. 자기 주의 메커니즘의 주된 이점은 다음과 같습니다: 장거리 종속성 파악: Self-Attention은 입력 시퀀스 내의 임의의 두 위치 간의 직접적인 관계를 모델링할 수 있기 때문에, 문장이나 시퀀스 내에서 멀리 떨어진 요소들 간의 관계를 학습할 수 있습니다. 이는 특히 긴 문..

positional Encoding - 임베딩된 단어 정보에 위치 정보 추가 디코더 GPT 는 더 개선된 Transformer 구조를 보인다. Soft-max == 정규화