재미있는 인공지능 속 세상 여행 3주차 - Chat GPT의 등장과 비즈니스 환경 변화

학습 내용

1. 오픈 AI 시작과 챗 GPT
2. 오픈 AI와 MS의 연합
3. 챗 GPT 어떻게 동작하는가?
4. 챗 GPT4의 등장과 새로운 변화는?
5. 생성형 AI는 어떻게 비즈니스를 확장하는가?

학습 목표

오픈 AI의 서립 과정
CHAT GPT의 작동 원리
생성형 인공지능과 비즈니스의 확장 가능성
비즈니스 모델 

 

1. 오픈 AI 시작과 Chat GPT

구글은 2019년 T5를 시작으로 생성형 AI에 두각을 드러냈으나 GPT에 빼앗겼다.

Attention is all you need - 트랜스포머 모델은 생성형 AI의 핵심 알고리즘 

일론 머스크 - 알파고 같은 AI가 한 기업에 있을 시 인공지능이 몇몇 기업에 의해 좌지우지 될 것! -> 특정 기업의 인공지능 독점 방지를 위해 투자=> Open AI 탄생 

 

샘 알트먼 - Open AI 대표
스타트업 투자 및 성장 구조로 전 세계 최초 개발한 Y combinator의 대표이다.

에어비엔비의 성장 가능성을 보고 투자자들에게 매력적인 숫자인 35조의 투자 가능성을 보이고, 스타트 업계에서 비즈니스 모델을 만드는데 익숙함을 보인 샘 알트먼이다.

Open AI - 개발자의 드림팀으로 일론 머스크 + 샘 올트먼 + 알파고 개발자 + AI 알고리즘 전문가
-> 이들이 GPT1, GPT2 등 계속적으로 AI 프로그램을 창조한다.

 

2. 오픈 AI와 MS의 연합

오픈 AI의 변화 - 인공지능 기반의 자율주행 테슬라 CEO가 본업인 일론 머스크가 이사직 사임 

논란 1. 테슬라 주주들의 반발 - 인공지능에 대해 다 열어주면 나중에 테슬라가 가진 정보도 열어줄 것이냐는 논란
논란 2. 연구 조직 의심 - 일론 머스크의 연구 조직 아니냐는 의심 제기
=> 일론머스크가 사임하며 자연스럽게 투자금도 회수 

 

대가를 바라지 않은 투자로 GPT-3(Chat GPT 직전 버전) 진화된 모델 출시

샘 올트먼 - 스타트업 성장에 대한 고민과 오픈 AI 운영에 대한 고민

MS - 오픈 AI의 방향에 찬성하며 1조원 투자 

 

모든 것을 Open 했던 Open AI는 GPT-3 이후 공개하지 않았다.
-> Closed AI라는 비판

 

MS에서 13조원 투자
투자 조건 - 생성형 인공지능의 인프라를 MS cloud만 사용 

 

클라우드는 빅 테크 기업들의 중요 비즈니스

오픈 AI의 Chat GPT 출시 후 API 모델 활용 
투자 후 수익화를 가능하게 된다.

오픈 AI의 고객들은 결국 MS Cloud를 사용하게 된다.
가져온 데이터 + 자사 소스를 통해 수익을 얻는다.

 

전략적인 계산을 통해 Open AI의 손을 잡은 MS 
-> MS Cloud 점유율 증가 

Amazon의 1등 독식 구조에서 MS Cloud의 점유율이 계속 증가한다.

 

이후 출시되는 Open AI의 프로덕트들은 오픈 소스 진영의 반대를 받았다

Before - 좋은 취지로 데이터 무료 제공
NOW - 클라우드에 돈을 내고 데이터를 사용하는 구조로 사용하는 데이터에 대한 저작권료 지불 필요성이 대두되고, 오픈 소스 관련자들의 노력에 대한 보상도 요구하고 있다.

오픈 소스 제작에 들어간 노력을 보상하라는 것이다.

 

MS - Open AI와의 제휴를 통해 지속적으로 AI 시장 파이 확대
Open AI - 엄청난 투자금 기반으로 마이크로소프트와 함꼐 진화된 GPT-4 개발

 

결국 자본과 비즈니스의 논리로 흘러간 Open AI
-> 초기의 목표였던 인공지능의 민주화 보다는 기업의 논리로 흘러갔다.

스타트업 상담가 샘 올트먼도 넘어서지 못한 자본과 비즈니스의 논리
-> 오픈 AI의 역사 

 

3. 챗 GPT 어떻게 동작하는가?

생성형 인공지능의 대표격 Chat GPT의 작동 원리는 외국어를 배우는 사람과 유사하다 
-> Chat GPT는 출시 후 사람들에게 놀라움을 선사함 

Chat GPT의 작동 원리와 gPT는 어떻게 진화했는지에 관한 탐구

 

G - Generative = 기존 정보를 기반으로 새롭게 생성한다.

P - Pre trained = 사전에 학습된 정보 기반

T - Transformer = 언어 처리 알고리즘

언어 처리 알고리즘의 사전 학습된 데이터를 바탕으로 실시간으로 생성하는 것 - Transformer를 통해 사전학습된 데이터를 기반으로 새롭게 생성하는 것

 

과거에는 사람의 방식을 AI에게 적용해 전문가처럼 만들려는 시도
Ex) 대한민국의 수도는 서울이라는 대답을 AI에게서 듣기 위한 질문과 대답의 규칙 형성

대한민국 뜻 학습 -> 수도의 뜻 학습 -> 서울의 뜻 학습 -> 질문과 대답의 규칙 형성

 

질문 시 문장이 변하면 달라진 문장 인식 불가로 인해 기존 AI학습 방식으로 정답 도출이 어렵다.

ex) 여기서 대한민국의 제2의 수도에 대해 질문했을 시 답변을 못한다!

제 2의 수도에 대한 정답도 모르고, 뜻도 모르기 때문이다.

 

1. 데이터의 뜻을 모른 채 먼저 학습
-> GPT의 빈칸 채우기 
ex) 블로그에 있는 내용을 학습 - 모든 글을 학습한다.

수 많은 데이터를 통해 빈칸 채우기를 진행한다.

 

2. 학습했던 기존 내용을 통해 '대한민국의 수도는 서울이다' 도출
마치 10000편의 논문 학습을 끝낸 사람처럼 특정 주제를 제시 했을 때 습득했던 지식이 떠오르는 것과 유사하다.

답을 도출할 때 확률적인 계산이 내표된다.

학습된 내용을 통해 가장 높은 확률의 단어를 고르는 것이다.

입력을 통해 그 다음 단어를 예측한다!

 

인간의 언어 학습 논리와 유사
영어를 배우는 방법 1 - 문법을 정복 -> 문법만 정복한다고 외국과 유창하게 영어로 대화할 수 없다.
영어를 배우는 방법 2 - 외국 생활 -> 의미를 모르는 상태에서 계속 듣기 -> 계속 대화하며 다음 단어를 학습할 수 있다.

네이티브 랭기지는 상황과 맥락에서 이해한다.
-> 수 많은 데이터에서 얻은 확률과 통계로 다음 단어를 예측한다.

 

GPT-3 발전 과정

오픈 AI에서 그간 GPT, GPT-2의 연구 성과를 바탕으로 매개변수 사이즈를 확대한 GPT-3 공개 (20)

GPT, GPT-2, GPT-3의 구조는 동일하나 모델 사이즈와 학습 데이터에서 차이가 있다.

매개변수 - 인간 뇌의 뉴런과 비슷하게 데이터를 빠르게 전송하는 방식 

매개변수 수 - 1.1억 개 -> 15억개 -> 1750억개 

학습 데이터 수 - 책 7000권 -> 인터넷 크롤링 추가 -> 5000억 토큰 사용 

 

GPT-3의 빈칸 채우기 정확도가 급상승

이유 
1. 학습 데이터 수 증가 - 수 많은 학습을 통해 정확한 확률을 추론 
2. 인간의 뇌 구조와 유사
- 딥러닝 이후 인간 뇌의 구조를 모방하는 것에 집중하는 AI 연구 -> 우리 뇌에서 시냅스(몸의 모든 정보를 빠르게 전달)의 역할을 모방 
- 어러 개의 컴퓨터를 붙이거나 여러 개의 GPU를 붙여 여러 개의 뇌를 연결한 효과를 가지고 왔다. 
ex) GPT2 - 파라미터 15억개 ->GPT3 - 파라미터 1750억개로 파라미터가 116.7배가 증가되었다. 
인간의 뇌 구조와 유사한 파라미터 증가 -> 기존 학습 방식보다 진화되어 더 똑똑해진 GPT3 => "인공지능은 더 이상 발명의 영역이 아니라 발견의 영역" - 새로운 공식이나 방법이 중요한 것이 아닌 대량의 리소스를 부어 결과를 확인하는 것 

파라미터 개수 증가 + 데이터 양 증가 => 인공지능 스스로 학습, 여기에 사람의 학습 가이드 추가!

 

RLHF - Reinforcement Learning for Human Feedback = 한계 극복을 위한 인간 피드백 강화 학습 
ex) 영어를 네이티브 처럼 잘하게 된 사람이 수능을 잘 볼 수 있을까? - No, 수능 시험의 테크닉이 필요하기 때문 

합격을 위해선 전문 강사의 지도가 필요하듯 GPT3에게 RLHF가 필요하다.
-> GPT3가 특화된 대답을 하기 위해서 사람의 가이드가 필요하다.

1. 대화 세트 만들기 - 좋은 질문과, 좋은 답변을 사람들이 직접 만들어 주기 
2. 사람이 등수를 매기기 - 인간 선호도를 통해 등수를 직접 준다.
3. 강화 학습 적용하기 
-> 데이터가 축적되면 스스로 대화와 등수 매기기가 가능하다.

 

4. Chat GPT4의 등장과 새로운 변화는?

더 똑똑하고 풍성해진 GPT4

GPT 3.5보다 자연스럽고 고난이도의 문제들도 정확히 해결한다
ex) 요구한 조건에 맞추어 신데레라 내용 요약, 작사 작업도 가수처럼 진행 

 

GPT4에 그림을 입력하게 된다.

멀티 모달 Multi-Modal
하나의 입력 방식이 아니라 다양한 형태의 입력 방식을 받은 생성형 인공지능이 이해하고, 결과를 낸다.

공 감각적인 입력을 받는다.

ex) 그림을 보고 자막을 만들고 분류하거나 분석, 해석 
부연 설명이 없어도 사진을 통해 스스로 인지하고, 추론한다.

모라백의 역설 - 인공지능한테 어려운 것이 사람한테는 쉽고, 인공지능한테 쉬운 것은 사람들한테 어렵다.
로봇은 무거운 것을 잘 들지만 관절을 잘 움직이지 못한다. -> GPT4 Multi-Modal 이후 바뀌었다. = 사람이 이해하는 방식과 비슷해졌다.

 

수학, 물리 문제 풀이 가능
시험 문제 이미지, 손글씨를 GPT4에 입력하면 복잡한 문제 이미지도 해석하고 해결해준다.
=> 수학 잘하는 친구가 생긴 효과 

 

Google - 택스트 검색 오픈 후 이미지 검색 오픈까지 3년 소모

Chat GPT - GPT3.5 출시 후 이미지 인식 GPT4 출시까지 3개월 소요

=> 급속도로 발전하고 있는 인공지능 기술 - 엄청난 데이터, Cloud, 기술로 인한 발전 속도의 기하급수적 향상이다.

 

입력 글자 수 증가 
GPT3.5 - 3000단어 
GPT4 - 25000단어 (약 50페이지 분량) - 보고소 하나를 통째로 전달 가능하고, 질문을 하거나 내용 요약, 내용 추출 및 시험, 대화가 가능하다.

게임 체인저의 역활
문서 요약, 보험 약관, 상품 설명서들을 GPT에 입력하여 이해가 안되는 경우에는 어떤 단어가 어려우니 그 단어를 좀 더 쉽게 바꿔달라고 요구하면 더욱 쉽게 바뀐다.

일정 관리하는 비서 역할로 사용 가능하게 된다.

기존에 해결하지 못한 문제들을 풀기 시작 - 올림피아드, 수학 과학 문제 등등

 

전 세계의 모든 언어에 대한 이해도 급상승

언어의 장벽을 뛰어넘은 GPT4 
인공지능을 통해 갈라진 언어를 모두 이해할 수 있게 되었다. - GPT3.5에서의 영어보다 GPT4의 한국어 이해도가 더 높다.
=> 한국어의 이해도가 엄청나졌으니 GPT4는 엄청난 위력을 보여줄 것이다.

 

높아진 안전성과 일관성

적절하지 않은 답변을 하는 빈도 감소 
-> 기업들은 AI 길들이기가 된 GPT4를 사용하게 시작했다. 
ex) 모건 스탠리의 GPT4를 통한 챗봇 제작 - 자연스러운 대화를 통해 정보를 주고 받을 수 있게 되었다.

 

빠르게 변화한 GPT4의 출시 => 기업들이 생성형 인공지능 개발에 자본과 리소스를 투자하게 된 계기이다.

 

5. 생성형 AI는 어떻게 비즈니스를 확장하는가 

돈이 많이 드는 Chat GPT

학습과 운영 시 비용이 많이 든다. 
데이빗 카프 - 돈이 Chat GPT의 매직을 끝장낼 것이다. == 돈이 너무나도 많이 든다.

현재 대부분 무료로 이용되고 있는 모델을 향후에 어떻게 미즈니스 모델화를 할 수 있는지가 문제이다.

클라우드 운영비 - 1일 9억원 
-> 유료화를 통해 한달 20$를 받고 있다. 

변수 - 늘어나는 사용자에 따라 운영 비용도 함께 증가하며, 3000억개 규모의 단어 학습 과정에서 저작권법 및 개인 정보 보호 규정 위반을 의심 -> 비용 증가 가능

API 활용 비즈니스 
- Chat GPT의 수익화에 대해 고민하던 Open AI와 MS가 내린 대표적 방식으로 Chat GPT의 능력을 가지고 와 내 사이트에서 사용할 수 있게 된다.

전 세계적으로 정보량을 확인했을 때 영어는 93%지만 한국어는 단지 3%다. 
한국과 특정 기업과 개인 내용에선 오류가 발생할 수 있게 된다. 

기업의 데이터 베이스를 통해 추가 학습을 진행한 후 정보를 바탕으로 매끄럽게 전달한다.

 

API 비즈니스 구조
건당 비용은 저렴하나 누적되는 방식으로 사용자가 증가할 수록 기업의 비용도 증가한다.

개인 사용자 - 무료 or 월 정액으로 사용량이 제한되지 않았다.
기업 - CALL당 과금으로 기업 챗봇이 받는 질문 한 건당 과금된느 구조로 많이 쓰면 많이 내게 된다.

API 사용량 + 기업 마진을 붙인 비즈니스 모델이다. 

 

Chat GPT를 운영하는 Open AI에게는 좋은 모델이다

MS 사 입장에서 고려해볼 관점
- 현재 Open AI는 개인정보를 다루거나 사용자들에게 뭔가를 요구하는 방식을 만들기에는 충분하지 않다.
- 개인정보 보호법 관련 개인 데이터 해외 유출 문제 우려 

 

ex) 생성형 마인드 맵을 만드는 서비스 - API 형식으로 Chat GPT가 들어가 있어 입력이 들어가면 출력을 통해 마인드 맵을 생성해준다.

 

 

정리하기

오픈 AI의 시작과 Chat GPT

Open AI와 MS의 연합 - 일론 머스크와 샘 알트만

Chat GPT의 작동 원리 - 작동 원리와 GPT의 뜻

Chat GPT의 발전 과정 - GPT의 데이터, 파라미터 양의 증가, RLHF을 통한 Chat GPT 생성

GPT4의 등장과 변화 - Multi modal의 등장 

Multi Modal이 가능한 Chat GPT 

챗 GPT 운영과 비즈니스 확장 - API를 기반으로 한 비즈니스를 통해 수익 생성

생성형 인공지능과 비즈니스 모델 - 챗봇 말고도 다양한 형태의 비즈니스 모델이 나온다. 
ex) 레고를 조합하는 것과 같이 데이터를 통해 다양한 비즈니스가 생성될 것이다.