공대생 도전 일지

생성형 모델의 대부분은 Decoder 모델이다. input이 들어가면 차례대로 결과가 나오고, 질문에 대한 답을 생성하는데 목적이 있다. fine-tuning으로 말이 되는지 안되는지 supervised learning도 진행한다. 이러한 fine-tuning없이 모든 task를 잘하길 원했고, 스케일 up, 학습 up하여 좋은 데이터셋을 가지고 좋은 모델을 만들려고 지속적으로 시도하였다. GPT2는 시존 책 코퍼스가 아니라 웹 텍스트를 가져왔고, 데이터의 양도 많이 늘렸다.transformer layer도 12층에서 48층으로 늘리면서 토큰 수도 늘었다.117M -> 1.5B로 파라미터도 엄청나게 증가!Vocab size를 늘렸다 == 인코딩 방식을 세분화 하였다.input을 넣을 때 무슨 일을 할지 ..

BERT에서는 supervised learning과 unsupervised learning의 중간인 semi(self) supervised learning을 Pre-training 과정(실제 task 풀기 전 전반적인 지식 탐구)에 한다. Fine-tuning을 진행할 때 labeled dataset으로 supervised learning을 진행한다.  SpanBERT에선 NSP가 빠졌다. 마스킹을 span레벨로 진행하여 문맥을 조금 더 파악할 수 있게 되었다. Longformer : BERT의 변형으로 긴 doc를 처리한다.  긴 doc에서 global로 attention을 진행하게 되면 연산량이 엄청나게 늘어난다 -> 특정 패턴을 주자 NLU는 NLG에 비해 그나마 쉽다.  BART는 원본 문장을 생..

C언어 문자열 다루는게 기억이 안나서 막 짰는데 그것 때문에 코드가 많이 지저분해 진 것 같은데,,,#define _CRT_SECURE_NO_WARNINGS#include#include#include#include #includevoid DPCMEncoder(double*, int*, int, BITMAPFILEHEADER, BITMAPINFOHEADER);void write_matrix_to_file(const char* filename, int* matrix, int height, int width);void makeOutFile(BITMAPFILEHEADER bmpFile, BITMAPINFOHEADER bmpInfo, char* fileName, double* y);int main() { BITM..

머신러닝의 종류에는 지도, 비지도 강화학습이 있다. 지도학습은 학습셋에 데이터와 라벨이 묶여있다.비지도 학습은 라벨이 존재하지 않고, 데이터의 패턴끼리 묶는다. 그러나 높은 성과를 기대하기 어렵다. pre-training = 라벨되거나, 라벨되지 않은 대량의 데이터를 가지고 모델을 학습시킨다.fine-tuning = 지식을 추가하기 위해 라벨된 데이터를 모델에 학습시킨다.데이터 양, 유사도에 따라 fine-tuning할 때 weight의 변화를 조절한다. Self supervised lenring은 unsupervised learning으로 pre training 진행할 때 라벨이 없는 데이터를 가지고 학습하는 것을 뜻한다. Pretext task를 진행한다. RoBERTa기존의 Static Maskin..

QA 모델에서는 의도파악, NER, 문서 검색, 정보 추출, 정답 생성 등 다양한 기능이 필요하고, 질문의 의도 파악이 중요하다.CHAT GPT도 하나의 QA챗봇으로 지금 시대의 검색이다.QA SOTA 모델은 대부분 pre trained된 BERT 모델이다. 더보기BERT 기반 질문 응답 시스템(QA)은 주어진 문맥에서 질문에 대한 답변을 찾아내는 작업에 주로 사용됩니다. 그러나 Knowledge-Based QA에서는 외부 지식 그래프나 데이터베이스와 같은 지식을 활용하여 질문에 답변을 제공합니다. 아래는 BERT를 활용한 Knowledge-Based QA 시스템의 일반적인 접근 방식을 설명합니다.BERT를 활용한 Knowledge-Based QA 시스템의 구성 요소질문 이해 (Question Under..

이 단어가 회사인지, 기관인지, 나라, 시설 등 다양한 개체, 대명사, 이름 중에 무엇인지 맞추는 작업이다. 위키에 페이지로 존재하는 명사로 생각하면 편하다.  이름이 너무 길거나, 모든 이름을 포함하지 않고(Zipf's Law), 동일한 이름을 가지는 경우 모델이 제대로 파악하지 못하는(Ambiguity) 경우가 생긴다.  규칙 기반 NER1. 높은 정밀도 rule을 통해 애매하지 않은 mentions를 라벨한다. - recall을 확보해야 한다.2. 감지된 entities의 label 전파3. list를 활용하여 더 식별4. 순차적 라벨링 더보기이 부분은 규칙 기반 Named Entity Recognition (NER)에 대한 설명입니다. NER은 텍스트에서 특정 명명된 엔티티(사람, 조직, 장소, ..

언어 모델은 다음 단어가 무엇이 나올지 맞춘다. 문맥을 보고 마스킹 된 단어 맞추기 단어 예측하기 기존 단어들이 input이 들어갔을 때 가장 높은 확률을 가지는 단어를 가지고 온다. 이전을 보고, 다음 단어를 구하는 것을 반복한다 == auto regressive n-gram 앞의 문맥을 버리고, n개의 단어까지만 확인해서 그 확률이 어떻게 되는지 확인한다.  RNN이전의 모든 input을 고려할 수 있다. 복잡도는 낮을 수록 좋다!RNN은 n-gram 모델보다 복잡도가 낮으므로 좋다! 이전의 언어 모델들은 각각 특징을 잡아서 다른일을 했는데 이제는 이 모든일을 하나의 모델이 다 할 수 있다. Open AI의 GPT는 많은 데이터로 pre-training (사전학습,언어적 체계를 이해, 대량의 북 코퍼..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오.“자율주행 자동차에서 행동생성은 차량 시스템이 미리 정의된 목표뿐만 아니라 환경에 대한 인지된 정보를 바탕으로 적절한 행동계획을 수립하기 위한 _____과 _______을 의미한다.”하나를 선택하세요.1.연산, 의사결정2.분석, 반응3.프로세스, 조정4.절차, 전략오... 연산과 의사결정 같네요문장의 빈칸에 들어갈 가장 적절한 단어는 "연산, 의사결정"입니다. 따라서 정답은 1번입니다.문장 완성:“자율주행 자동차에서 행동생성은 차량 시스템이 미리 정의된 목표뿐만 아니라 환경에 대한 인지된 정보를 바탕으로 적절한 행동계획을 수립하기 위한 연산과 의사결정을 의미한다.”선택지 분석:연산, 의사결정:연산은 데이터 처리 및 계산을 의미하고, 의사결정은 그 결..

이번 시간은 14주차 입니다.14주차 강의는 총 5개의 차시로 구성되어 있습니다.이번 강의에서는 자율주행 생성 모델, 자율주행 생성 모델 학습, 자율 자동차 행동 생성,행동 생성 트랜스 포머를 다룹니다.강의를 통해서 여러분은 자율주행 생성 모델, 자율주행 생성 모델 훈련 장점, 자율주행 행동 생성을 설명할 수 있고,AIGC(Artifical intelligence generated content), 행동 생성을 위한 트랜스포머의 응용 모델을 설명할 수 있게 됩니다.1차시 - 자율주행차 생성 모델레이더는 먼 거리를 확인할 수 있다. 주차할 때 거리감지는 ultrasonic을 사용한다.테슬라는 비전으로만 이동을 진행하고 있다. 길과 인식이 상호작용한다. Low Level - 인식High Level - way..

아래 문장에 있는 빈칸에 들어갈 가장 적당한 단어를 하나 고르시오.“이상 데이터 검출 모델은 (________)를 사용하여 데이터가 정상인지, 비정상인지 여부를 결정하며, 만약 데이터의 확률이 정해진 (________)보다 작으면 이상 데이터로 판정한다.”하나를 선택하세요.확률분포함수, 최소값확률분포함수, 임계값예측함수, 최소값예측함수, 임계값가우시안 분포! -> 확률 분포 함수, 입실론 == threshold == 임계값문장의 빈칸에 들어갈 가장 적절한 단어는 "확률분포함수, 임계값"입니다. 따라서 정답은 2번입니다.문장 완성:“이상 데이터 검출 모델은 (확률분포함수)를 사용하여 데이터가 정상인지, 비정상인지 여부를 결정하며, 만약 데이터의 확률이 정해진 (임계값)보다 작으면 이상 데이터로 판정한다.”..