공대생 도전 일지

#define _CRT_SECURE_NO_WARNINGS #include #include #include #include int main() { // 이거 하나 제출하면 된다. BITMAPFILEHEADER bmpFile, bmpFile2; BITMAPINFOHEADER bmpInfo, bmpInfo2; FILE* inputFile = NULL, * inputFile2 = NULL; inputFile = fopen("originalY.bmp", "rb"); // 파일명 확실하게 inputFile2 = fopen("testY.bmp", "rb"); // 경로도 확실하게 fread(&bmpFile, sizeof(BITMAPFILEHEADER), 1, inputFile); fread(&bmpInfo, size..

GPT - Transformer의 디코더 부분을 사용 ELMo랑 비슷하다. RNN 기반 -> 병렬화가 안된다. 확률값이 최대가 되도록 파라미터를 조절한다. Multi head -> 병렬로 진행하여 각각으로 확인하겠다. GPT에서는 Multihead Attention은 없고 masked만 있다. 소프트 맥스 후 arguemax하면 가장 높은 확률의 단어를 뽑아낼 수 있다. 유사도 측정할 때 순서도 바꿔서 학습한다. 여러개중에서 고를 때 모두 비교 후 소프트맥스하여 높은 값을 고른다. Zero shot 알려주지 않고 테스트 하기

일단 주어진 코드입니다. import random import numpy as np class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): if a == 0: self.move_left() elif a == 1: self.move_up() elif a == 2: self.move_right() elif a == 3: self.move_down() reward = -1 done = self.is_done() return (self.x, self.y), reward, done def move_right(self): self.y += 1 if self.y > 3: self.y = 3 def move_left(self): self...

1강 - 강화학습이란 강화학습 = Trial and Error을 통해 학습하는 방법 순차적 의사 결정 문제 = 시간 순서대로 주어진 상황에서 목적에 도달하기 위한 행동을 취하고, 그에 변화한 상황을 근거로 다시 행동을 취한다. 보상 == 피드백 = 의사 결정을 했을 때 잘 했는지 못했는지를 알려주는 수치(스칼라 값) 보상은 지연될 수 있으며, 어떤 행동으로 인해 보상으로 주어졌는지 판단을 나중에 할 수 있다. 강화학습 목적 = 누적 보상의 최대화 에이전트 == 학습자 = 현재상황 St에서 At를 결정한다. 그럼 그에 따른 보상 R(t+1)을 받고 다음 상태S(t+1)의 정보를 받는다. 환경 = 에이전트를 제외한 모든 요소 강화 학습의 장점 - 병렬성, 자가학습 2강 - 마르코프 결정 프로세스 마르코프 프..

1. 다음 문제 중 올바르지 않는 것을 고르시오. 자기주의(Self-Attention)의 이점 아닌것은? 하나를 선택하세요. 1.장거리 종속성 파악 2.병렬처리 3.확장성 4.이중 모드 애플리케이션 으음...? 병렬 처리가 된다고 했고, 장거리 종속성 파악도 된다고 했고, 병렬 처리== 이중 모드 애플리케이션 아닌가? "이중 모드 애플리케이션"은 자기 주의(Self-Attention)의 이점과는 직접적인 연관이 없는 선택지입니다. 자기 주의 메커니즘의 주된 이점은 다음과 같습니다: 장거리 종속성 파악: Self-Attention은 입력 시퀀스 내의 임의의 두 위치 간의 직접적인 관계를 모델링할 수 있기 때문에, 문장이나 시퀀스 내에서 멀리 떨어진 요소들 간의 관계를 학습할 수 있습니다. 이는 특히 긴 문..

positional Encoding - 임베딩된 단어 정보에 위치 정보 추가 디코더 GPT 는 더 개선된 Transformer 구조를 보인다. Soft-max == 정규화

긴 문장, 큰 이미지 등 input이 엄청 클 때 사용된다. (h1, h2, h3 ...... hn) 대부분이 Multi-head를 사용한다.

문맥을 포함할 수 있다...? 대량, 병렬처리 가능 번역, Q&A 등 여러가지가 가능하다. 1. Long range Association Dependency : RNN, LSTM, GRU의 단점을 보안 2. Context 문맥 잘 이해 3. 각자 프로세스가 따로 놀아도 된다. -> 대용량 빠른 처리 가능, 여러 사람이 동시에 사용 가능 가변길이 -> LSTM에서는 패딩을 사용했지만 여기선 안그래도 된다. 계층구조 -> CNN과 유사한 구조를 가지고 있다. Pre- Traning = 내가 이미 학습된 것을 파인튜닝하여 사용할 수 있다. Multi modal = 다양한 input을 엮어서 보내준다. 해석 가능 =다른 모델은 Weight을 봐도 의미가 없지만 Self- attention은 Weight의 흐름이..

항상 어려웠던 이 부분... https://www.youtube.com/watch?v=6s69XY025MU&t=1322s&pp=ygUWdHJhbnNmb3JtZXIsIGF0dGVudGlvbg%3D%3D 이 유튜브가 찐으로 잘 설명해줍니다... 컴퓨터가 어디에 attention을 주냐 안주냐에 관심! 누구한테 관심을 얼마만큼 주냐 => Self Attention 주어진 모델 - Head -> 모든 head를 다 더하면 multi head attention RNN -> LSTM -> GRU -> Transformer information retirval == 내가 query를 줬을 때 키 key 값이 있고, 그것에 대한 value를 찾겠다. 문장 내의 연관 관계를 따지는데 q,k,v를 통해 문장 내의 cont..

워드 임베딩 - 단어의 벡터화 tf- idf도 나오고 tf도 나오고 다 하겠네요 고차원 백터 공간 - 다차원으로 양이 많다. High demensional vector space 워드 임베딩 == 백터를 표현하는데 중요한 역할, 단어간의 의미 관계 Dimensionality - 차원을 축소시켜 의미를 함축시킨다. representation learning은 중요하다! 그저 그 Index에 1을 표현해주는 것일뿐 차원이 엄청나게 커지지만 의미를 크게 갖지 못한다. 단어의 빈도를 벡터화 -> 어순과 문맥을 다 먹어버려서 다 섞여있어도 똑같은 빈도로 존재하면 똑같이 볼 것이다. 중요한 단어를 잡아내는 역할을 할 수 있지만 이것도 결국 문맥은 다 사라진다. idf - 적게 나오지만 중요한 단어 tf - 그냥 많..