공대생 도전 일지

언어 모델은 다음 단어가 무엇이 나올지 맞춘다. 문맥을 보고 마스킹 된 단어 맞추기 단어 예측하기 기존 단어들이 input이 들어갔을 때 가장 높은 확률을 가지는 단어를 가지고 온다. 이전을 보고, 다음 단어를 구하는 것을 반복한다 == auto regressive n-gram 앞의 문맥을 버리고, n개의 단어까지만 확인해서 그 확률이 어떻게 되는지 확인한다.  RNN이전의 모든 input을 고려할 수 있다. 복잡도는 낮을 수록 좋다!RNN은 n-gram 모델보다 복잡도가 낮으므로 좋다! 이전의 언어 모델들은 각각 특징을 잡아서 다른일을 했는데 이제는 이 모든일을 하나의 모델이 다 할 수 있다. Open AI의 GPT는 많은 데이터로 pre-training (사전학습,언어적 체계를 이해, 대량의 북 코퍼..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오.“자율주행 자동차에서 행동생성은 차량 시스템이 미리 정의된 목표뿐만 아니라 환경에 대한 인지된 정보를 바탕으로 적절한 행동계획을 수립하기 위한 _____과 _______을 의미한다.”하나를 선택하세요.1.연산, 의사결정2.분석, 반응3.프로세스, 조정4.절차, 전략오... 연산과 의사결정 같네요문장의 빈칸에 들어갈 가장 적절한 단어는 "연산, 의사결정"입니다. 따라서 정답은 1번입니다.문장 완성:“자율주행 자동차에서 행동생성은 차량 시스템이 미리 정의된 목표뿐만 아니라 환경에 대한 인지된 정보를 바탕으로 적절한 행동계획을 수립하기 위한 연산과 의사결정을 의미한다.”선택지 분석:연산, 의사결정:연산은 데이터 처리 및 계산을 의미하고, 의사결정은 그 결..

이번 시간은 14주차 입니다.14주차 강의는 총 5개의 차시로 구성되어 있습니다.이번 강의에서는 자율주행 생성 모델, 자율주행 생성 모델 학습, 자율 자동차 행동 생성,행동 생성 트랜스 포머를 다룹니다.강의를 통해서 여러분은 자율주행 생성 모델, 자율주행 생성 모델 훈련 장점, 자율주행 행동 생성을 설명할 수 있고,AIGC(Artifical intelligence generated content), 행동 생성을 위한 트랜스포머의 응용 모델을 설명할 수 있게 됩니다.1차시 - 자율주행차 생성 모델레이더는 먼 거리를 확인할 수 있다. 주차할 때 거리감지는 ultrasonic을 사용한다.테슬라는 비전으로만 이동을 진행하고 있다. 길과 인식이 상호작용한다. Low Level - 인식High Level - way..

아래 문장에 있는 빈칸에 들어갈 가장 적당한 단어를 하나 고르시오.“이상 데이터 검출 모델은 (________)를 사용하여 데이터가 정상인지, 비정상인지 여부를 결정하며, 만약 데이터의 확률이 정해진 (________)보다 작으면 이상 데이터로 판정한다.”하나를 선택하세요.확률분포함수, 최소값확률분포함수, 임계값예측함수, 최소값예측함수, 임계값가우시안 분포! -> 확률 분포 함수, 입실론 == threshold == 임계값문장의 빈칸에 들어갈 가장 적절한 단어는 "확률분포함수, 임계값"입니다. 따라서 정답은 2번입니다.문장 완성:“이상 데이터 검출 모델은 (확률분포함수)를 사용하여 데이터가 정상인지, 비정상인지 여부를 결정하며, 만약 데이터의 확률이 정해진 (임계값)보다 작으면 이상 데이터로 판정한다.”..

Q. 다음 문장의 빈칸에 적절한 용어를 생각해 보세요."신용카드를 도난 당했지만, 도난 사실을 모르고 즉시 카드를 정지 시키지 못했거나, 신용카드 정보를 해킹 당했을 때 사용자는 매우 난처한 일을 겪을 수 있겠지요? 신용카드 회사에서는 사용자의 거래 내역 중에서 비정상적인 패턴을 찾아냄으로써 혹시 있을 지 모르는 신용카드 부정 사용을 막고자 노력합니다. 이처럼 많은 데이터 중에서 일반적으로 발생하지 않는 정상적이지 않은 데이터를 ( 이상 데이터(Anomaly) )라고 합니다."1차시 - 이상 데이터 검출 문제 정의  특징 - 열, 진동 강도 등 다양하게 볼 수 있다.이렇게 정상 범위에서 많이 벗어난 데이터를 이상 데이터라고 칭한다. 사용자의 행동 패턴을 특징 값으로 본다.저것으로 부족하면 인증키를 추가로..

https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 SonnetAuthors Adly Templeton*, Tom Conerly*, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte MacDiarmid, Alex Tamkin, Esin ..

여긴 코드가 안보이네요https://ieeexplore.ieee.org/document/10483658 Slice and Conquer: A Planar-to-3D Framework for Efficient Interactive Segmentation of Volumetric ImagesInteractive segmentation methods have been investigated to address the potential need for additional refinement in automatic segmentation via human-in-the-loop techniques. For accurate segmentation of 3D images, we propose Slice-and-Conq..

from google.colab import drive, filesimport pandas as pdfrom keras.datasets.mnist import load_datafrom keras.models import Sequential, Modelfrom keras.layers import Dense, Input ,Flatten, Dropout, Conv2D, MaxPooling2Dfrom keras.utils import plot_model, to_categoricalfrom keras.regularizers import l2from sklearn.model_selection import train_test_splitimport numpy as npimport matplotlib.pyplot as ..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오.“GPT의 사전 학습은 비지도 토큰이 주어지면 _______이며, 이 가능성 함수를 최대화하기 위해 표준 언어 모델이 사용”하나를 선택하세요.1.어휘 의미 결정2.비지도3.다음 토큰 예측4.문법 오류 수정3번....?이거 또 다음주 내용인거 같은데?문장:“GPT의 사전 학습은 비지도 토큰이 주어지면 ___이며, 이 가능성 함수를 최대화하기 위해 표준 언어 모델이 사용”선택지 분석:어휘 의미 결정:어휘 의미 결정은 특정 단어의 의미를 이해하고 해석하는 과정입니다. GPT의 사전 학습 과정은 특정 단어의 의미를 결정하는 것이 아니라, 주어진 문맥에서 다음에 올 단어를 예측하는 것이므로 이 선택지는 맞지 않습니다.비지도:"비지도"는 지도 학습과 대조되는 ..

https://www.anthropic.com/news/mapping-mind-language-model Mapping the Mind of a Large Language ModelWe have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models. This is the first ever detailed look inside a modern, production-grade large language model.www.anthropic.com  더보기1. 서론 (Introduction)목적: 이 브리핑의 목적은 AI 모델, 특히 대형 언어 모델(LLMs..