생성형 인공지능 입문 - 14주차 transformer 기반 행동 생성 2

이번 시간은 14주차 입니다.
14주차 강의는 총 5개의 차시로 구성되어 있습니다.

이번 강의에서는 자율주행 생성 모델, 자율주행 생성 모델 학습, 자율 자동차 행동 생성,
행동 생성 트랜스 포머를 다룹니다.

강의를 통해서 여러분은 자율주행 생성 모델, 자율주행 생성 모델 훈련 장점, 자율주행 행동 생성을 설명할 수 있고,
AIGC(Artifical intelligence generated content), 행동 생성을 위한 트랜스포머의 응용 모델을 설명할 수 있게 됩니다.

1차시 - 자율주행차 생성 모델

레이더는 먼 거리를 확인할 수 있다. 

주차할 때 거리감지는 ultrasonic을 사용한다.

테슬라는 비전으로만 이동을 진행하고 있다.

 

길과 인식이 상호작용한다. 

Low Level - 인식

High Level - way point, heading 등등..

공간과 시간 영역을 다 확인해야 한다.

 

2차시 - 자율주행 생성 모델 학습

학습은 어떻게 할까?

어떤 것이 있을까?

Clip - openAI에서 text와 img의 연결쌍에 대한 것을 훈련시켜놨다. == 택스트와 이미지가 연결되었다.

Trajectory - 시퀀스이다. 궤적, 행동을 generation 한다.

HCI - 사람 컴퓨터 상호작용 

가장 쉬운 커맨드 == 말 -> txt

text -> LLM -> Clip

vedio -> CNN, Transfor,er -> Clip

 

3차시 - 자율주행 자동차 행동 생성 1

output에서 어떻게 행동할지 generation한다.

 

지능형 의사결정은 어떻게 혜측하는가.

우버, 테슬라, 웨이모 == 실시간으로 데이터 셋을 모을 수 있다.

이미지 데이터, 운행 데이터까지 전부 있다면 개인에 맞춰서 운행하게 된다. 선호도에 따른 운전 경험도 만들어 줄 수 있다. 

 

 

4차시 - 자율 자동차 행동 생성 2

AIGC - AI에 의해 생성된 콘텐츠 (텍스트, 이미지)

AGIC

학습을 위한 데이터, test를 위한 데이터까지 모두 생성한다.

자율주행 알고리즘도 시뮬레이터 안에서 테스트를 한다.

언리얼, 유니티와 같은 기술도 있다.

matlab의 road runner도 있겠네요

 

5차시 - 행동 생성 transformer 정리 

테슬라는 아직 아무런 문서도 만들지 않았다. 

이 것은 image net과 비슷하다. 

 

https://carla.org/

CARLA