공대생 도전 일지

생성형 AI 벤치마크 점수 모아둔 사이트

https://www.salesforceairesearch.com/crm-benchmark Generative AI Benchmark for CRM | Salesforce AI ResearchPowering the world's smartest CRM by embedding state-of-the-art deep learning technology into the Salesforce Platform.www.salesforceairesearch.com정확성, 비용, 속도, 신뢰도로 나눠놨다.내가 어떤 모델을 사용할지 결정하는데 도움을 주는 사이트입니다.내가 중요시하는게 무엇인지, 이것 만큼은 포기 못하는 것이 있으면 이 사이트를 기준으로 찾으면 좋아보입니다.여기선 Mixtral이 제일 빠르다고 말하고 있습..

준비 중 - Evaluating the World Model Implicit in a Generative Model - 리뷰

더보기요약이 논문은 대형 언어 모델(LLM)이 학습된 도메인에 대해 암묵적으로 고품질의 '세계 모델'을 학습하는지 평가하는 방법을 탐구합니다. 구체적으로, 이 연구는 언어 모델이 주어진 시퀀스 데이터로부터 세계 모델을 회복하는 능력을 평가하기 위해 새로운 평가 지표를 제안합니다. 제안된 평가 지표는 언어 이론의 고전적인 Myhill-Nerode 정리를 기반으로 합니다. 이를 통해 게임 플레이, 논리 퍼즐, 지리적 내비게이션 등 다양한 도메인에서 모델의 세계 모델 회복 능력을 테스트합니다.중요한 점세계 모델 회복: LLM이 학습된 시퀀스 데이터에서 내재된 세계 모델을 회복할 수 있는지 평가하는 새로운 방법론을 제안합니다. 이는 언어 모델이 단순히 다음 토큰을 예측하는 능력을 넘어서는 잠재력을 갖고 있는지 ..

1주차다음은 PDF 파일을 바탕으로 작성한 O,X 문제 10문제와 객관식 문제 15문제입니다. 각 문제에 대한 정답과 해설도 함께 제공하겠습니다.O, X 문제 (10문제)사물인터넷(IoT)은 물리적 개체들이 인터넷을 통해 상호 연결되는 네트워크를 의미한다. (O)해설: 사물인터넷(IoT)은 물리적 개체들이 인터넷을 통해 서로 연결되고 데이터를 주고받는 시스템입니다.만물인터넷(IoE)은 사물인터넷(IoT)과 동일한 개념이다. (X)해설: 만물인터넷(IoE)는 사물, 사람, 데이터, 프로세스 등 모든 것이 인터넷에 연결되는 개념으로, IoT보다 더 넓은 범위를 포함합니다.IoT ex) 공기 오염도 측정, GPS를 이용한 지진 경보IoE ex) 자동차 판매를 위한 마케팅, Big Data 기반 마케팅 프로모션..

11주차 - 딥러닝 작업 환경 만들기, 기본 코드 실행하기1차시 - 딥러닝 환경 만들기 1딥러닝 프레임워크는 이미 검증된 알고리즘을 편히 다룰 수 있게 해주고, 테스트 코드를 실행할 수 있다.딥러닝 실행을 위한 준비 사항데이터 - 딥러닝은 데이터를 이용해 예측 OR 판별을 수행하는 컴퓨터다컴퓨터 - 일반 cpu에서 동작시킬지 GPR에서 동작시킬지 선택플랫폼 - Python, Tensorflow프로그램 - 딥러닝 구동할 수 있도록  2차시 - 딥러닝 작업 환경 만들기 2딥러닝을 작동시킬 때 가장 많이 사용하는 언어는 아나콘다(환경 분리)를 사용한 Python이다. 3차시 - 테스트 코드 실행아나콘다, Pycharm를 통한 다양한 테스트 진행 12주차 - 선형 회귀 모델링, 학습, Python 실습1차시 -..

import numpy as npimport tensorflow as tfprint("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))gpus = tf.config.experimental.list_physical_devices('GPU')if gpus: try: for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e)with open('/kaggle/input/2024-1-nlp-5/Korean_movie_reviews_2016.txt/Korean_mo..

여기서 1개 데이터마다 input으로 들어갈 차원이 D이라고 가정하겠습니다. 배치는 1이라고 생각할게요.그럼 x는 (1,D)차원이고, 내부 hidden state는 (1,H)니까 x의 Weight는 (D,H)고, hidden state의 weight는 (H,H)겠져 그럼 forget gate에서는 weight를 곱한 x와 hiddenstate를 더한 후 (1,H)에 Sigmoid를 통해 0~1범위로 바꾼 뒤 cell state(장기 기억) (1,H)와 각 요소끼리 곱하여(1,H) 0인 장기 기억은 버리고, 1인 장기 기억은 가지고 갑니다.input gate에서는 또 다른 Weight를 곱한 x와 hiddenstate를 더한 후 sigmoid를 취한 것과또 다른 Weight를 곱한 x와 hiddenstat..

6주차 - 딥러닝1차시 - 심층 신경망, 딥러닝 개요퍼셉트론 이론 문제1. 역전파 알고리즘은 layer가 많을 수록 기울기 정보가 사라진다.(나중에 skip connection으로 해결)2. 학습 데이터에 대해 오차가 감소하지만 실제 데이터에서는 오히려 오차가 증가하는 과적합 문제(validation을 통해 확인하자)3. 문제 규모가 커질 때 마다 나타나는 높은 시간 복잡도와 컴퓨터 성능의 한계(병렬 처리)ResNet의 ImagNet 우승으로 딥러닝 기술이 발전하게 되었다.여기서 MLP = Multi-Layer Perceptron 기울기 소실은 ReLU를 통해 해결 과적합은 Dropout을 통해 해결 심층 신경망(DNN)과 딥러닝(Deep Learning)의 배경심층 신경망 : 여러 개의 은닉층을 가진 ..

1주 차 - 인공지능이란 Transformer : Self-Attention으로만 구현된 Pre-trained 모델로 Encoder(BERT)와 Decoder(GPT)로 구성되어 있으며 특정 Task에 대해 Fine-Tuning이 가능하다.생성형 인공지능 : Encoder(입력 정보를 압축)과 Decoder(압축된 정보를 통해 생산)으로 구성되어 있고 이미지(GAN, AutoEncoder), 텍스트(RNN, Transformer), 비디오(3D CNN,GAN), 오디오(1D, GAN)을 통해 생성하며 데이터 품질 및 개수가 중요고 보안도 새로운 이슈이다.Flow-based Model : Decoder가 Encoder의 역함수다. 인지 인공지능: 컴퓨터가 주변 환경을 인지(컴퓨터 비전, NLP, 데이터 마..

1주 차OX 문제GPT는 인코더와 디코더로 구성된다. (X) gpt 는 디코더만!생성형 인공지능은 텍스트, 이미지, 음악 등의 콘텐츠 생성을 중점으로 한다. (O) BERT는 GPT 이후에 개발된 모델이다. (X) 이전이다.강화 학습으로 사용자 피드백을 통한 미세 조정을 RLHF라고 한다. (O)Transformer 모델은 Masked Multi-Head Self Attention을 사용하지 않는다. (X) 사용하고 있다.GAN은 생성기와 판별기로 구성되어 있다. (O)Flow-based 모델에서는 디코더가 인코더의 역함수가 아니다. (X) 맞다생성형 인공지능은 인간의 사고와 인지 과정을 시뮬레이션한다. (X) 인지 인공지능이다.자연어 처리(NLP)는 언어학, 컴퓨터 과학, 인공지능 분야의 교차응용이다...

3강 - ResolutionWidth * Height = 픽셀 개수 Bit-depth = 픽셀을 표현하는데 사용되는 비트 수 (우린 24를 사용했다.)더보기Bit-depth는 디지털 이미지나 영상에서 각 픽셀을 표현하는 데 사용되는 비트 수를 의미합니다. Bit-depth가 클수록 픽셀이 더 많은 색상 정보를 포함할 수 있어, 더 정밀하고 풍부한 색상을 표현할 수 있습니다.주요 개념:Bit: 디지털 정보를 표현하는 기본 단위로, 0 또는 1의 값을 가질 수 있습니다.Bit-depth의 예시:1-bit: 각 픽셀이 2가지 색상(흑백)만 표현할 수 있습니다.8-bit: 각 픽셀이 256가지 색상(0부터 255까지의 값)을 표현할 수 있습니다.24-bit: 일반적으로 RGB 이미지에서 사용되며, 각 색상 채널..