공대생 도전 일지

학습 내용1. 오픈 AI 시작과 챗 GPT2. 오픈 AI와 MS의 연합3. 챗 GPT 어떻게 동작하는가?4. 챗 GPT4의 등장과 새로운 변화는?5. 생성형 AI는 어떻게 비즈니스를 확장하는가?학습 목표오픈 AI의 서립 과정CHAT GPT의 작동 원리생성형 인공지능과 비즈니스의 확장 가능성비즈니스 모델  1. 오픈 AI 시작과 Chat GPT구글은 2019년 T5를 시작으로 생성형 AI에 두각을 드러냈으나 GPT에 빼앗겼다.Attention is all you need - 트랜스포머 모델은 생성형 AI의 핵심 알고리즘 일론 머스크 - 알파고 같은 AI가 한 기업에 있을 시 인공지능이 몇몇 기업에 의해 좌지우지 될 것! -> 특정 기업의 인공지능 독점 방지를 위해 투자=> Open AI 탄생  샘 알트먼 ..

1주차 - 생성형 AI인공지능을 활용한 다양한 콘텐츠, 우리 삶의 변화에 대해 공부하는 것 같네요 생성형 AI란? - 사용자가 원하는대로 결과를 생성해 내는 AI 머신러닝 - 컴퓨터가 데이터를 기반으로 학습한다. -> 패턴을 찾아서 추론한다. ex) 이미지 학습하여 번호판 인식딥러닝 - 인간의 뇌를 컴퓨터에 디자인해서 사용 -> 컴퓨터를 여러 대를 사용하고, 데이터를 많이 사용하여 학습 ex) 알파고생성형 AI - 사람의 창의적인 행동까지 따라서 결과를 생성한다. Discriminate Model - 판단 모델 -> 학습을 통해 패턴을 찾아서 문제에 적용 Generative Model - 생성 모델 -> 데이터를 기반으로 명령을 따라 생성한다. 생성 모델 특징1. 거대한 모델 - 파라미터 2. 엄청난 수..

Regularization이전 글에서 나왔던 오버 피팅을 방지하기 위해 나왔던 방법이다.2024.08.25 - [인공지능/공부] - 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural Network 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural NetworkLinear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한yoonschallenge.tistory.com이렇게 정규화 항은 loss function뒤..

Linear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한 오차를 Loss function으로 보여주며 값을 감소하는 방향으로 나아간다.학습에 관련된 단어Batch - 전체 데이터 세트Epoch - 전체 데이터 세트를 몇 번 반복하는가Mini batch - Batch를 batch size로 나눈 작은 데이터 뭉치Iteration - 총 반복한 횟수로 Epoch*mini batch개수 이다.Gradient descent 경사 하강법으로 딥러닝이 학습하는 방식이다.Cost function을 미분하여 기울기를 구하고..

1주차다음은 PDF 파일을 바탕으로 작성한 O,X 문제 10문제와 객관식 문제 15문제입니다. 각 문제에 대한 정답과 해설도 함께 제공하겠습니다.O, X 문제 (10문제)사물인터넷(IoT)은 물리적 개체들이 인터넷을 통해 상호 연결되는 네트워크를 의미한다. (O)해설: 사물인터넷(IoT)은 물리적 개체들이 인터넷을 통해 서로 연결되고 데이터를 주고받는 시스템입니다.만물인터넷(IoE)은 사물인터넷(IoT)과 동일한 개념이다. (X)해설: 만물인터넷(IoE)는 사물, 사람, 데이터, 프로세스 등 모든 것이 인터넷에 연결되는 개념으로, IoT보다 더 넓은 범위를 포함합니다.IoT ex) 공기 오염도 측정, GPS를 이용한 지진 경보IoE ex) 자동차 판매를 위한 마케팅, Big Data 기반 마케팅 프로모션..

11주차 - 딥러닝 작업 환경 만들기, 기본 코드 실행하기1차시 - 딥러닝 환경 만들기 1딥러닝 프레임워크는 이미 검증된 알고리즘을 편히 다룰 수 있게 해주고, 테스트 코드를 실행할 수 있다.딥러닝 실행을 위한 준비 사항데이터 - 딥러닝은 데이터를 이용해 예측 OR 판별을 수행하는 컴퓨터다컴퓨터 - 일반 cpu에서 동작시킬지 GPR에서 동작시킬지 선택플랫폼 - Python, Tensorflow프로그램 - 딥러닝 구동할 수 있도록  2차시 - 딥러닝 작업 환경 만들기 2딥러닝을 작동시킬 때 가장 많이 사용하는 언어는 아나콘다(환경 분리)를 사용한 Python이다. 3차시 - 테스트 코드 실행아나콘다, Pycharm를 통한 다양한 테스트 진행 12주차 - 선형 회귀 모델링, 학습, Python 실습1차시 -..

여기서 1개 데이터마다 input으로 들어갈 차원이 D이라고 가정하겠습니다. 배치는 1이라고 생각할게요.그럼 x는 (1,D)차원이고, 내부 hidden state는 (1,H)니까 x의 Weight는 (D,H)고, hidden state의 weight는 (H,H)겠져 그럼 forget gate에서는 weight를 곱한 x와 hiddenstate를 더한 후 (1,H)에 Sigmoid를 통해 0~1범위로 바꾼 뒤 cell state(장기 기억) (1,H)와 각 요소끼리 곱하여(1,H) 0인 장기 기억은 버리고, 1인 장기 기억은 가지고 갑니다.input gate에서는 또 다른 Weight를 곱한 x와 hiddenstate를 더한 후 sigmoid를 취한 것과또 다른 Weight를 곱한 x와 hiddenstat..

6주차 - 딥러닝1차시 - 심층 신경망, 딥러닝 개요퍼셉트론 이론 문제1. 역전파 알고리즘은 layer가 많을 수록 기울기 정보가 사라진다.(나중에 skip connection으로 해결)2. 학습 데이터에 대해 오차가 감소하지만 실제 데이터에서는 오히려 오차가 증가하는 과적합 문제(validation을 통해 확인하자)3. 문제 규모가 커질 때 마다 나타나는 높은 시간 복잡도와 컴퓨터 성능의 한계(병렬 처리)ResNet의 ImagNet 우승으로 딥러닝 기술이 발전하게 되었다.여기서 MLP = Multi-Layer Perceptron 기울기 소실은 ReLU를 통해 해결 과적합은 Dropout을 통해 해결 심층 신경망(DNN)과 딥러닝(Deep Learning)의 배경심층 신경망 : 여러 개의 은닉층을 가진 ..

1주 차 - 인공지능이란 Transformer : Self-Attention으로만 구현된 Pre-trained 모델로 Encoder(BERT)와 Decoder(GPT)로 구성되어 있으며 특정 Task에 대해 Fine-Tuning이 가능하다.생성형 인공지능 : Encoder(입력 정보를 압축)과 Decoder(압축된 정보를 통해 생산)으로 구성되어 있고 이미지(GAN, AutoEncoder), 텍스트(RNN, Transformer), 비디오(3D CNN,GAN), 오디오(1D, GAN)을 통해 생성하며 데이터 품질 및 개수가 중요고 보안도 새로운 이슈이다.Flow-based Model : Decoder가 Encoder의 역함수다. 인지 인공지능: 컴퓨터가 주변 환경을 인지(컴퓨터 비전, NLP, 데이터 마..

1주 차OX 문제GPT는 인코더와 디코더로 구성된다. (X) gpt 는 디코더만!생성형 인공지능은 텍스트, 이미지, 음악 등의 콘텐츠 생성을 중점으로 한다. (O) BERT는 GPT 이후에 개발된 모델이다. (X) 이전이다.강화 학습으로 사용자 피드백을 통한 미세 조정을 RLHF라고 한다. (O)Transformer 모델은 Masked Multi-Head Self Attention을 사용하지 않는다. (X) 사용하고 있다.GAN은 생성기와 판별기로 구성되어 있다. (O)Flow-based 모델에서는 디코더가 인코더의 역함수가 아니다. (X) 맞다생성형 인공지능은 인간의 사고와 인지 과정을 시뮬레이션한다. (X) 인지 인공지능이다.자연어 처리(NLP)는 언어학, 컴퓨터 과학, 인공지능 분야의 교차응용이다...