공대생 도전 일지

생성형 인공지능 = Generative AI LLM이전에는 그렇게 모델이 크지 않았다. LLM이후로 서비스의 폭이 늘어났다. GPT = Generative Pre-trained Transformer GPT 전 모델은 BERT (Bidirectional Encorder Representations from Transformers) 사용자 query(텍스트)를 기반으로 텍스트 응답을 형성 지금의 GPT3.5는 Query에 따라 사전적인 방식으로 대답을 한다. 인코더 - 외부의 글자를 코딩한다. 학습을 할 때만 사용한다. 디코더 - 인코더 된 정보를 통해 생성한다. Masked MSA- 가린뒤 맞추는 방식. 파인 튜닝이 중요하다! 미세조정을 통해 많은 상업적인 결과의 차이도 보고 있다. 이 한계를 극복하기 위..

퍼셉트론으로 시작하여 알파폴드 2로 끝나는 6개가 나온다. 가장 간단한 형태의 네트워크이다. 하드웨어로 구성된 최초의 인공신경망이었다. A, B, C 등 문자 이미지 인식이 가능해서 관심을 받았다. 규칙 기반 인공지능이다. 컴퓨터가 사람을 이긴 적이 없기 때문에 전 세계적인 관심을 받게 되었다. 70만 번 이상의 게임을 내장하였다. - 그 당시의 빅 데이터이다. 방대한 지식에 기반해 논리 판단에 따른 추론을 진행했다. 아직까지 업데이트되고 있다. 이세돌 9단과의 대국에서 승리하였다. 많은 대국 정보가 빅데이터로 사용되었다. 인공지능 소프트웨어와 하드웨어 능력의 결합이다. 바둑과 같은 많은 경우의 수를 해결하는 일은 처음이었다. 빅데이터와 인공지능 기술의 결합 때문이었다. 16만 개의 기보 == 3000만..

인공지능은 과학, 의학, 교육 및 산업을 포함한 전 분야에 관련되어 있다. 인공지능은 4차 산업혁명의 핵심 기술로 중요하게 여겨지고 있다. 인공지능을 처음 접하는 사람은 새로운 최신의 기술로 여겨질 것이나 사실 1950년대부터 시작하여 꾸준하게 발전한 오래된 기술이다. 신경망 연구에서의 문제로 첫번째 겨울을 맞이하게 된다. 다층신경망은 잘 되었지만 더 복잡하게 하려고 했더니 문제가 생겼다. 그리하여 두번째 겨울이 생기게 되었다. 복잡한 신경망을 학습하는 기술이 나왔고, 2011년부터 다양한 어플리케이션이 나오고 있다. 인공지능의 준비기 -AND, OR, NOT으로 뉴런을 연결하면 인간의 두뇌를 따라할 수 있다. 엘렌 튜링의 인간과 기계의 대화 가능성을 제시, 튜링 테스트를 제시 - 인공지능을 실질적으로 ..

인공지능 - 빅 데이터를 기반으로 유의미한 결과를 도출하는 기술 사물인터넷 = IoT = Internet of Things iot = 인터넷에 연결되어 데이터를 공유할 수 있는 사물 M2M - 기기간 상호 연결이 되어있지만 인터넷에 정보 공유 X=> 폐쇄성 == 기술의 보급이 느리다. IOT - 기본적으로 인터넷에 연결하여 통신할 수 있다. => 연결성 == 통신프로토콜을 따로 구현할 필요가 없다. IOT 네트워크 : 인터넷을 통해 액세스하는 물리적 개체의 네트워크 공항, 가게, 홈 네트워크, 공장 등 IOT 네트워크가 없는 분야가 없다. 핸드폰 사용자가 많은 것을 활용한 MCS가 있다. IOE = internet of everything 만물 인터넷 사물과 사람, 데이터, 프로세스 등 연결가능한 모든 ..

https://sites.google.com/view/aiksme/home?authuser=0 KSME, 대한기계학회 기계인공지능 연구회 sites.google.com 이번에 참석하지 못한 강의가 올라와있길래 저장!

VGG의 feature map의 크기이다. 큰 필터를 안 쓰는 이유는 밑에서 보여주겠다. 7*7을 한번 하나 3*3을 3번하나 관여영역(receptive field)는 같지만 파라미터의 수는 3*3이 훨씬 적다. 이러한 이유로 VGG에서도 3*3 filter를 여러번 사용하였다. skip connection은 gradient의 소실때문에 생겨났다. 정보의 손실을 손실을 줄여주고, gadient 소실 또한 줄여준다. Super-Resolution 영상처리에서 많이 사용되는 기법이다. 이전에도 사용했던 skip Connection을 통해 loss 손실을 방지하고, 이전에 무엇이 있었는지(공간정보, 상세정보)를 전달해준다. skip connection을 통해 전달받은 max값의 위치를 통해 decoder에서 ..

Overfitting overfitting은 traning data에 과도하게 optimized 되어 training data만 예측을 잘 하고, test data에는 오히려 낮은 점수를 보이는 것이다. 그래서 우린 데이터를 나누기로 결정한다. 데이터 불균형이 있는경우 (ex 100 10 100 -> 100 100 100)우린 데이터를 돌리기, 좌우대칭, 자르기, 밝기 변동 등을 활용해 데이터를 늘릴 수 있다. 네트워크가 너무 특정화되거나 커지면 오버피팅이 발생한다. 또한 weight가 너무 특화되거나 너무 큰 경우 발생한다. weight decay는 가중치가 커지지 않도록 방지하는 기술이다. 이 것은 하이퍼 파라미터로 커질수록 제제하는 강도도 커진다. 가중치가 너무 커지는 것을 방지하여 오버피팅을 피하..

Initialization 빠르게, 그리고 global minimun을 찾기 위해 Initialization은 중요하다. 위 사진만 봐도 금방 끝날 학습은 바로 보인다. 이전에도 나온 적 있는 그림이다. backpropagation을 하면서 gradient가 소실되는 것이다. vanishing gradient의 원인인 sigmoid와 tanh의 미분 브래프 이다. sigmoid는 미분하면 최대가 0.3이고, tanh는 1이고, 둘 다 양끝은 0이기 때문에 반복하다 보면 기울기 소실이 발생하는 것이다. 그리하여 나온 것이 ReLU이다. 그래도 여기서도 0이하의 값들이 소실되는 문제가 발생한다.(dying ReLU) 기울기 폭주는 너무 큰 기울기 값이 들어갔을 때 발생한다. 이것은 학습이 불안정해 지도록 만..

backpropagation backpropagation은 대부분의 인공지능의 파라미터 업데이트 방식이다. 우린 경사하강법을 통해 loss를 최소화 시키는 방향으로 학습한다. 기본적인 gradient 계산 방법이다. 이제 activation funcion(sigmoid, ReLU)와 여러 layer가 있는 NN에선 위와 같은 방식으로 backpropagation이 진행된다. 여기선 activation이 identity이기 때문에 미분하면 1이 나왔다. 여기선 첫번째 레이어의 파라미터를 구할 수 있게 된다. 그럼 저렇게 구한 미분값을 통해 학습률을 곱해서 원래의 파라미터에 빼게 된다. 이제 이러한 backpropagation에 여러 요소들을 추가하여 만든 optimization을 보겠따. optimizat..

RNN은 시간에 따라 변화하는 데이터를 얘측할 때 사용된다. stationary( 변화없는 )데이터 NON - stationary 데이터 둘 중에 무엇이든 이러한 데이터들은 이전의 값들이 필요하다. 그러나 CNN, FCN을 사용하면 이전 값들이 그냥 소멸되게 된다. 위 사진이 RNN에 대한 기본 원리 이다. 이렇게 RNN이 들어가면 t1 -> t n 까지 모든 결과가 모든 input들을 포함하게 된다. 위의 사지을 보면 확실히 뒤에 있는 부분은 미분이 많이 들어가서 gradient 소실이 크게 보인다. 그리하여 vanish나 explode를 막기 위해 LSTM을 사용하게 되었다. LSTM Long Short Term Memory LSTM을 이해하려면 gate 구조를 이해해야 된다. gate구조는 open..