공대생 도전 일지

Video LLM은 짧은 비디오에 대한 캡셔닝, 질문응답, 장면 요약 등의 작업에서는 준수한 성능을 보이지만, 여전히 긴 비디오 처리, 시계열 추론, 객체 단위 정밀 인식, 실시간 대응 측면에서는 한계를 드러낸다. Seq2Time은 절대 시간 표현의 일반화 실패 문제를 해결하기 위해 상대 위치 토큰을 도입하여 시계열 데이터를 효과적으로 정렬하고, 다양한 길이의 영상에서도 시간 표현의 일반화를 가능하게 했다. DynFocus는 질문과 정합성이 높은 프레임을 선택하고 나머지는 희소 인코딩으로 처리함으로써, 효율성과 정밀도의 균형을 맞춘다. VideoTree는 시각 정보를 계층화하여 질문과 연관된 프레임만을 추출하고, reasoning 연쇄 구조에 따라 재정렬된 캡션을 문서화하여 LLM 입력으로 활용함으로써 ..

학습 내용1. 오픈 AI 시작과 챗 GPT2. 오픈 AI와 MS의 연합3. 챗 GPT 어떻게 동작하는가?4. 챗 GPT4의 등장과 새로운 변화는?5. 생성형 AI는 어떻게 비즈니스를 확장하는가?학습 목표오픈 AI의 서립 과정CHAT GPT의 작동 원리생성형 인공지능과 비즈니스의 확장 가능성비즈니스 모델  1. 오픈 AI 시작과 Chat GPT구글은 2019년 T5를 시작으로 생성형 AI에 두각을 드러냈으나 GPT에 빼앗겼다.Attention is all you need - 트랜스포머 모델은 생성형 AI의 핵심 알고리즘 일론 머스크 - 알파고 같은 AI가 한 기업에 있을 시 인공지능이 몇몇 기업에 의해 좌지우지 될 것! -> 특정 기업의 인공지능 독점 방지를 위해 투자=> Open AI 탄생  샘 알트먼 ..

1주차 - 생성형 AI인공지능을 활용한 다양한 콘텐츠, 우리 삶의 변화에 대해 공부하는 것 같네요 생성형 AI란? - 사용자가 원하는대로 결과를 생성해 내는 AI 머신러닝 - 컴퓨터가 데이터를 기반으로 학습한다. -> 패턴을 찾아서 추론한다. ex) 이미지 학습하여 번호판 인식딥러닝 - 인간의 뇌를 컴퓨터에 디자인해서 사용 -> 컴퓨터를 여러 대를 사용하고, 데이터를 많이 사용하여 학습 ex) 알파고생성형 AI - 사람의 창의적인 행동까지 따라서 결과를 생성한다. Discriminate Model - 판단 모델 -> 학습을 통해 패턴을 찾아서 문제에 적용 Generative Model - 생성 모델 -> 데이터를 기반으로 명령을 따라 생성한다. 생성 모델 특징1. 거대한 모델 - 파라미터 2. 엄청난 수..

Regularization이전 글에서 나왔던 오버 피팅을 방지하기 위해 나왔던 방법이다.2024.08.25 - [인공지능/공부] - 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural Network 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural NetworkLinear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한yoonschallenge.tistory.com이렇게 정규화 항은 loss function뒤..

Linear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한 오차를 Loss function으로 보여주며 값을 감소하는 방향으로 나아간다.학습에 관련된 단어Batch - 전체 데이터 세트Epoch - 전체 데이터 세트를 몇 번 반복하는가Mini batch - Batch를 batch size로 나눈 작은 데이터 뭉치Iteration - 총 반복한 횟수로 Epoch*mini batch개수 이다.Gradient descent 경사 하강법으로 딥러닝이 학습하는 방식이다.Cost function을 미분하여 기울기를 구하고..

1주차다음은 PDF 파일을 바탕으로 작성한 O,X 문제 10문제와 객관식 문제 15문제입니다. 각 문제에 대한 정답과 해설도 함께 제공하겠습니다.O, X 문제 (10문제)사물인터넷(IoT)은 물리적 개체들이 인터넷을 통해 상호 연결되는 네트워크를 의미한다. (O)해설: 사물인터넷(IoT)은 물리적 개체들이 인터넷을 통해 서로 연결되고 데이터를 주고받는 시스템입니다.만물인터넷(IoE)은 사물인터넷(IoT)과 동일한 개념이다. (X)해설: 만물인터넷(IoE)는 사물, 사람, 데이터, 프로세스 등 모든 것이 인터넷에 연결되는 개념으로, IoT보다 더 넓은 범위를 포함합니다.IoT ex) 공기 오염도 측정, GPS를 이용한 지진 경보IoE ex) 자동차 판매를 위한 마케팅, Big Data 기반 마케팅 프로모션..

11주차 - 딥러닝 작업 환경 만들기, 기본 코드 실행하기1차시 - 딥러닝 환경 만들기 1딥러닝 프레임워크는 이미 검증된 알고리즘을 편히 다룰 수 있게 해주고, 테스트 코드를 실행할 수 있다.딥러닝 실행을 위한 준비 사항데이터 - 딥러닝은 데이터를 이용해 예측 OR 판별을 수행하는 컴퓨터다컴퓨터 - 일반 cpu에서 동작시킬지 GPR에서 동작시킬지 선택플랫폼 - Python, Tensorflow프로그램 - 딥러닝 구동할 수 있도록  2차시 - 딥러닝 작업 환경 만들기 2딥러닝을 작동시킬 때 가장 많이 사용하는 언어는 아나콘다(환경 분리)를 사용한 Python이다. 3차시 - 테스트 코드 실행아나콘다, Pycharm를 통한 다양한 테스트 진행 12주차 - 선형 회귀 모델링, 학습, Python 실습1차시 -..

여기서 1개 데이터마다 input으로 들어갈 차원이 D이라고 가정하겠습니다. 배치는 1이라고 생각할게요.그럼 x는 (1,D)차원이고, 내부 hidden state는 (1,H)니까 x의 Weight는 (D,H)고, hidden state의 weight는 (H,H)겠져 그럼 forget gate에서는 weight를 곱한 x와 hiddenstate를 더한 후 (1,H)에 Sigmoid를 통해 0~1범위로 바꾼 뒤 cell state(장기 기억) (1,H)와 각 요소끼리 곱하여(1,H) 0인 장기 기억은 버리고, 1인 장기 기억은 가지고 갑니다.input gate에서는 또 다른 Weight를 곱한 x와 hiddenstate를 더한 후 sigmoid를 취한 것과또 다른 Weight를 곱한 x와 hiddenstat..

6주차 - 딥러닝1차시 - 심층 신경망, 딥러닝 개요퍼셉트론 이론 문제1. 역전파 알고리즘은 layer가 많을 수록 기울기 정보가 사라진다.(나중에 skip connection으로 해결)2. 학습 데이터에 대해 오차가 감소하지만 실제 데이터에서는 오히려 오차가 증가하는 과적합 문제(validation을 통해 확인하자)3. 문제 규모가 커질 때 마다 나타나는 높은 시간 복잡도와 컴퓨터 성능의 한계(병렬 처리)ResNet의 ImagNet 우승으로 딥러닝 기술이 발전하게 되었다.여기서 MLP = Multi-Layer Perceptron 기울기 소실은 ReLU를 통해 해결 과적합은 Dropout을 통해 해결 심층 신경망(DNN)과 딥러닝(Deep Learning)의 배경심층 신경망 : 여러 개의 은닉층을 가진 ..

1주 차 - 인공지능이란 Transformer : Self-Attention으로만 구현된 Pre-trained 모델로 Encoder(BERT)와 Decoder(GPT)로 구성되어 있으며 특정 Task에 대해 Fine-Tuning이 가능하다.생성형 인공지능 : Encoder(입력 정보를 압축)과 Decoder(압축된 정보를 통해 생산)으로 구성되어 있고 이미지(GAN, AutoEncoder), 텍스트(RNN, Transformer), 비디오(3D CNN,GAN), 오디오(1D, GAN)을 통해 생성하며 데이터 품질 및 개수가 중요고 보안도 새로운 이슈이다.Flow-based Model : Decoder가 Encoder의 역함수다. 인지 인공지능: 컴퓨터가 주변 환경을 인지(컴퓨터 비전, NLP, 데이터 마..