공대생 도전 일지

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “ 순환 신경망(Recurrent Neural Network) 은 _____또는 _______를 위해 설계된 신경망 모델의 한 유형” 하나를 선택하세요. 1. 순차적, 시계열 2. 역차적, 도르레열 3. 오차적, 열감지열 4. 배차적, 전자열 딱 떠오르는 것이 없어서 소거형으로 하려고 했지만 너무 1번이었고, 나머지는 .... 다음 문제 중 올바르지 않는 것을 고르시오. 장-단기 메모리(LSTM)의 세가지 유형의 게이트가 아닌것은? 하나를 선택하세요. 1. 쿠다-게이트 2. 포켓-게이트 3. 입력-게이트 4. 출력-게이트 쿠다는 엔디비아 GPU사용할 때 쓰는 것 아닌가요,,,,?여기서 포켓 게이트가 망각 게이트네요3.다음 문장의 빈칸에 들어갈 가장..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. 1. “ ChatGPT는 OpenAI에서 개발한 초거대 언어모델 _____입니다.” 하나를 선택하세요. 1. CNN 2. DALL-E 3. Large Language Model(LLM)정답 4. GAN chat GPT는 거대 언어 모델이죠 다음 중 틀린것을 고르시오. 생성형 인공지능 출력의 종류가 아닌것은? 하나를 선택하세요. 1. 이미지생성 2. 아바타생성 정답 3. 텍스트생성 4. 비디오생성 아바타 생성은 일단 생성형 인공지능의 출력 종류에 들어가지 않습니다. 이미지 생성을 통해 3D 생성으로 하면 생성은 할 수 있겠네여 2. 다음 중 틀린것을 고르시오. 인지 인공지능의 구성요소가 아닌것은? 하나를 선택하세요. 1. 지식표현 2. 학습 3. 자..

사전 처리를 통한 1대1 매칭, 문장의 시작과 끝 만들기

인풋에 그냥 들어가는 것이 아니라 다듬어서 들어가자 Qurey, key, value를 사용해보자 정규화 : 0 ~ 1 사이의 값으로 채우기

인코더 디코더는 번역이나 생성형 인공지능에서 많이 사용되고 있다. 문장이 길어지면 결국 문제가 생긴다. 인코더에선 양방향 RNN을 사용하고, 디코더에선 한방향 RNN을 사용한다. 그 중간에 Attenton이 있다. context vector 가운데 잘 나열이 돼야 잘 된 것이다.

import torch import torch.nn as nn # Comparison of number of parameters, LSTM vs GRU lstm_layer = nn.LSTM(3, 5) #3 is input size,which is input number's embedding vector;5 is hidden_size,which shows network's ability and memory. gru_layer = nn.GRU(3, 5) print(sum(p.numel() for p in lstm_layer.parameters())) print(sum(p.numel() for p in gru_layer.parameters())) 200 150 # complete GRU network def ..

문제점이라면 정보 소실이랑 양이 너무 많아지면 엄청난 메모리 필요한 것? 슈미드 밀러 - LSTM 장단기 메모리 조경현 - GRU 마지막엔 결국 Transformer 문장이 길어지면서 학습할 때 error가 손실하게 된다. 긴 문장이 들어오면 학습이 안되거나 Gradient가 폭팔해버린다. clip = 집는다. Gradient의 최소, 최대 한계를 정해놓는다. GRU : LSTM의 복잡함을 줄였다. 3가지 게이트로 이루어져 있다. forget gate input gate output gate 히든 스테이트가 셀 스테이트 역할을 한다. 리셋 게이트 : 그냥 이전과 지금 값 가중치 해서 더하기 포겟 게이트 : 리셋이랑 비슷하다. 인풋 게이트 : 1 - 포 이전 페이지를 그대로 계산을 구현한 것

언어 처리 신경망 - chatGPT의 기본적인 신경망 ANN은 기본적인 딥러닝 구조이나 연결적인 요소가 없어서 순서에 대한 정보가 사라지게 된다. 시계열 데이터 - 문장, 언어과 같은 순서가 있는 데이터 토큰 - 말에선 word, 단어 단위라고 볼 수 있다.

여기서부턴 사람이 개입하지 않는다. 인공신경망 - 시냅스를 본따서 만든 구조 더 좋은 특징이 있을 수 있으나 우리가 생각하지 못할 수 있다. 컴퓨터가 뽑자! 입력데이터의 가공 없이 바로 들어간다. mnist autoencoder - 숫자를 판별하는게 주 임무 입출력이 비슷하게 나오도록 하는 것이 목적이다. why? 손글씨이기 때문에 모양이 다 다르다. 학습이 끝나면 내가 원하는 출력이 되도록 업데이트가 된다. 입력과 출력의 오차를 측정하면 판단이 가능하다. 3이 입력이 들어오면 이상한 출력이 되게 한다. 딥러닝 - 고차원 특성을 스스로 추출하여 학습 표현학습의 특징을 그대로 가지고 있다. 딥러닝 - 구조 자체가 깊은 심층 신경망이다. 다층이 되면서 다양하게 표현할 수 있게 된다. nonlinear 표현 ..

규칙 기반 시스템 - 규칙 세트를 이용해 문제 해결 -> 조건부 문장으로 되어있다. 아서 새무엘 = 머신러닝 정의 컴퓨터 - 복잡하고 많은 작업 빠르게 처리 가능 BUT 일일히 지정해주기 어렵다 -> 프로그래밍 데이터를 통해 규칙을 컴퓨터가 직접 찾자 -> 머신러닝! 머신러닝 - 경험 == 데이터로 규칙을 찾기 모든 경우를 모두 설정해서 인공지능이 아닌 것으로 오해할 수 있다. 지식 베이스 - 사실과 규칙을 나타낸다. 규칙으로 구성되어 있다. 전문가의 지식을 반영하기 위해 굉장한 복잡성과, 큰 구조를 기본적으로 가지고 있다. 이러한 지식을 바탕으로 하기 때문에 의사의 지식을 컴퓨터로 구성할 수 있게 된다. 머신러닝 지도학습을 하기 위해 학습 데이터로 많은 기사를 수집하고, 정답도 가지고 있는다. 이미 학..