공대생 도전 일지

단층 신경망의 한계 -> xor gate를 표현하지 못한다.

간단한 답변 랭킹 모델 만들기 Introduction Chapter 5. 문장 임베딩 만들기 강의의 간단한 답변 랭킹 모델 만들기 실습 강의입니다. Transformers에 공유된 KoBERT-Transformers를 활용하여, 문장 수준 임베딩 간 유사도 계산을 활용하여 간단한 답변 랭킹 모델 (챗봇)을 구현합니다. 1. 한국어 일상 대화 데이터셋 수집 및 전처리 오늘 실습에서는 일상 대화 챗봇 구현에 많이 사용되는 Chatbot_data를 사용하겠습니다. 로드한 데이터셋은 이후 답변 랭킹 모델 추론에 사용됩니다. 출처: https://github.com/songys/Chatbot_data GitHub - songys/Chatbot_data: Chatbot_data_for_Korean Chatbot_d..

목표 - Transformer의 encorder를 사용하는 언어 모델인 BERT의 작동 원리 이해 encorder를 사용하고 양방향 학습을 한다는 것이 GPT와의 차별성을 가졌다. 문장 단위의 자연어 추론에서 두각을 보였다. -> 전체적으로 분석하여 예측 ELMo - 입력이 들어왔을 때 엘모와 임베딩 모두를 사용하는 것 ELMo, GPT - 단방향 문장단위의 task를 고려할 때 뒤에서 앞으로도 앞에서 뒤로도 봐야하는데 단방향인 GPT는 부족하므로 양방향이 필요하다. 2번 논문 - 구조적으로 사전학습하겠다. 3번 논문 - 통계적으로 뉴럴넷을 학습하겠다. label이 있는 데이터를 통해 Fine turning을 한다. 문장 - 컨택스트 윈도우로 잠근 문장 문장이 여러개 있는 task는 양방향으로 봐야 잘 ..

CNN에서 사용했던 패딩과 똑같은 개념입니다. 2023.12.13 - [인공지능/공부] - CNN - 기본 개념 CNN - 기본 개념 우리는 여태까지 FCN으로 tensorflow에서 Dense만 사용해왔다. 그러나 사진과 같은 경우엔 해상도가 만만치 않아 대충 1000*1000이라고 하면 일렬로 나열하면 1000000이 된다. 이게 Dense layer 하나만 거쳐서 yoonschallenge.tistory.com 중앙값으로 필터를 취하는 것이다. 여기선 평균값을 취하는 필터이다. 여기서 한번 진행할 때 마다 원래 행렬 크기가 k*k -> (k-2) * (k-2)가 되므로 padding을 붙여준다. //padding int padding = 1; int pwidth = width + padding * ..

#define _CRT_SECURE_NO_WARNINGS #include #include #include #include int main() { // 이거 하나 제출하면 된다. BITMAPFILEHEADER bmpFile, bmpFile2; BITMAPINFOHEADER bmpInfo, bmpInfo2; FILE* inputFile = NULL, * inputFile2 = NULL; inputFile = fopen("originalY.bmp", "rb"); // 파일명 확실하게 inputFile2 = fopen("testY.bmp", "rb"); // 경로도 확실하게 fread(&bmpFile, sizeof(BITMAPFILEHEADER), 1, inputFile); fread(&bmpInfo, size..