공대생 도전 일지

https://arxiv.org/abs/2311.07215 Coffee: Boost Your Code LLMs by Fixing Bugs with FeedbackCode editing is an essential step towards reliable program synthesis to automatically correct critical errors generated from code LLMs. Recent studies have demonstrated that closed-source LLMs (i.e., ChatGPT and GPT-4) are capable of generating correctivearxiv.orghttps://huggingface.co/collections/DLI-Lab/c..

https://arxiv.org/abs/2403.04787 Ever-Evolving Memory by Blending and Refining the PastFor a human-like chatbot, constructing a long-term memory is crucial. However, current large language models often lack this capability, leading to instances of missing important user information or redundantly asking for the same information, thereby dimiarxiv.org https://linnk.ai/insight/%EC%9D%B8%EA%B3%B5%E..

https://arxiv.org/abs/2402.03746 Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI FeedbackRecent advancements in large language models have influenced the development of video large multimodal models (VLMMs). The previous approaches for VLMMs involved Supervised Fine-Tuning (SFT) with instruction-tuned datasets, integrating LLM with visual encoarxiv.orghttps://githu..

뭉쳐있는 영역은 비슷한 픽셀을 가진다! -> 차이만 전달해서 용량을 줄여보자!제일 왼쪽 값에서 차이를 구하고, 그걸 5구간으로 나눠서 용량을 줄인다!코드에서 q가 0 ~ q-1까지를 하나로 본다는 뜻 입니다.더보기중간 값(128)이 있다는 가정 하에 차이(-28)를 전송 정보 손실 없는 압축 == 무손실 압축 여기는 무손실 압축 ( q가 없다) 비슷한 값이므로 확률적으로 예측한다. 데이터를 깎는다 ==Quantization = 양자화데이터를 깎아서 적은 양의 데이터를 주고 받게 한다.이 작업이 있으면 손실 압축 (q) 양자화가 커지면 데이터 손실도 늘어난다.Prediction Error까지는 무손실 압축Quantization은 손실 압축 - 정수 단위로 바뀐다. 손실이 일어난다. 왜 두번째는 0이 아닌가..

일단 BERT의 구조부터 한번 상기시키고 가겠습니다.더보기BERT(Bidirectional Encoder Representations from Transformers)는 Google AI에서 개발한 자연어 처리 모델로, 트랜스포머(Transformer) 아키텍처를 기반으로 합니다. BERT는 문맥을 양방향으로 이해할 수 있는 사전 훈련된 모델로, 다양한 NLP 작업에서 뛰어난 성능을 보입니다. BERT의 기본 구조에 대해 자세히 설명하겠습니다.BERT의 기본 구조BERT는 트랜스포머 인코더(Transformer Encoder)만으로 구성된 모델입니다. 트랜스포머 아키텍처는 인코더-디코더 구조로 이루어져 있지만, BERT는 인코더 부분만을 사용합니다. 주요 구성 요소는 다음과 같습니다:입력 임베딩(Inpu..

일단 바로 코드부터...#define _CRT_SECURE_NO_WARNINGS#include#include#include#include #includedouble threshold = 0;void applyPaddingWithAverage(double* paddedImg, int height, int width, int padding, double* origImg);void calFilter(double* y3, double* py, int fsize, double* filter, int height, int width, int pwidth);double median(double* arr, int size);void calMedianFilter(double* y3, double* py, int fsiz..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오.“FID (Fréchet Inception Distance)는 생성된 이미지와 실제 이미지의 _________를 측정하는 지표로, 낮을수록 더 좋은 품질을 의미함”하나를 선택하세요.1.특징 분포의 차이2.해상도 차이3.색상 일치도4.질감차이오 첫번째 문제는 11주차 내용이네요...?“FID (Fréchet Inception Distance)는 생성된 이미지와 실제 이미지의 _____를 측정하는 지표로, 낮을수록 더 좋은 품질을 의미함”이 문장에서 FID가 무엇을 측정하는지 설명하는 데 가장 적절한 단어를 고르는 것이 목표입니다.선택지 분석특징 분포의 차이: FID는 생성된 이미지와 실제 이미지의 특징 분포의 차이를 측정합니다. 이는 이미지의 통계적 ..

1차시 - 영상 생성 동작 및 데모잠복 - latentVAE + U-net(노이즈 제거에 좋다) + BERTQKV가 트랜스포머 기반이라는 것을 포현해준다. - 트랜스포머 기반으로 한 u-netConditioning에 언어 모델이 들어간다. BERT,GPT 등등...모델 로드하는 과정이다.프롬포트를 바꾸면 계속 다른 사진이 나온다.리소스 문제가 있긴 하지만 그래도 퀄리티가 매우 좋아졌다. 2차시 - 영상 생성 동작 2 DALL E 제로샷 러닝, 생성 - 한 번도 보여주지 않았다.원샷 - 한 번은 샘플을 보여준다.학습에는 엄청난 양의 데이터를 사용했다.한 번도 본적 없는 텍스트에 대해서도 이미지를 생성한다.파라미터가 너무 많다.256 * 256 을 32*32로 여러개 이미지 토큰(패치)으로 나눈다. coco..

[과제 내용]2차원 특징 공간 상에서 다음과 같이 6개의 데이터가 주어졌을 때,(–1, 1), (0, 0.5), (1, 1), (–1, –0.5), (0, –1), (1, –0.5)이 데이터들을 K-means 클러스터링 알고리즘을 사용하여 2개의 클러스터로 군집화하고자 한다.랜덤하게 초기화한 클러스터 1과 2의 중심이 각각 (–1 ,1)과 (1, –0.5) 라고 하였을 때, 다음 질문에 답하시오:       (1)   데이터들과 클러스터 중심의 초기값들을 2차원 특징 공간 상에 함께 표시하고, 각 데이터 포인트들이 어느 클러스터에 속하는지 판단하여 다음 표를 완성하시오:일단 컴퓨터 계산손 계산도 한번 해보겠습니다...[0 2.51.118 1.4142 1.51.5 22.236 1.1182.5  0]인거 보..

아래 설명의 빈칸에 들어갈 가장 적절한 단어를 고르시오.“________은 라벨이 지정되지 않은 데이터를 이용하여 학습하는 알고리즘이며,데이터의 구조적 특성을 찾는 ________은 그 중 한 예이다. ”하나를 선택하세요.지도 학습, 구조예측비지도 학습, 구조예측지도 학습, 클러스터링비지도 학습, 클러스터링라벨이 지정되지 않았다 == 비지도 학습, 데이터 구조의 특성을 찾는다 == 클러스터링문장에서 빈칸을 채울 가장 적절한 단어를 고르는 문제입니다. 문장은 다음과 같습니다:“____은 라벨이 지정되지 않은 데이터를 이용하여 학습하는 알고리즘이며, 데이터의 구조적 특성을 찾는 ____은 그 중 한 예이다. ”이 문장을 분석해 보면, 첫 번째 빈칸은 라벨이 없는 데이터를 이용하는 학습 방법을 설명하고 있습니..