공대생 도전 일지

벨만 기대 방정식 벨만 최적 방정식 정책 이터레이션 벨류 이터레이션 몬테카를로, TD MDP O MDP X

마르코프 프로세스 MP = s + P 마르코프 리워드 프로세스 MRP = MP + R + 감쇠인자 리턴 : 에피소드가 끝날때 까지의 보상과 각각의 감쇠 인자를 곱한 것 상태 가치 함수 : 현재 상태의 가치 리턴으로 표현될 수 있다. 마르코프 결정 프로세스 MDP = MRP + a 정책 함수 : 현재 상태에서 어떤 액션을 취해야 할지 정해져 있다. 상태 가치 함수 : 현재 상태의 가치로 리턴으로 표현할 수 있고, 다음 액션을 통해 갈 수 있는 상태의 가시함수의 기대값으로 표현 가능하다. 액션 가치 함수 : 현재 상태에서 액션을 취했을 때의 가치이다. 액션을 통해 갈 수 있는 곳의 상태 가치의 기대값으로 작성할 수 있다. 여러분이 작성하신 내용의 기본적인 아이디어는 올바르나, 조금 더 명확하고 정확하게 표현..

벨만 최적 방정식 (Bellman Optimality Equation) 벨만 최적 방정식은 강화학습에서 최적의 정책을 찾기 위한 재귀적인 관계를 나타냅니다. 이 방정식은 각 상태에서 취할 수 있는 모든 가능한 행동 중에서 가장 높은 기대 리턴을 제공하는 행동을 선택함으로써, 최적의 상태 가치 함수를 계산합니다. 벨만 기대 방정식 (Bellman Expectation Equation) 벨만 기대 방정식은 주어진 정책 (\pi)에 대해 각 상태의 가치 함수를 계산하는 데 사용됩니다. 이 방정식은 선택된 정책 하에서 각 상태의 기대 가치를 계산합니다. 반복적 정책 평가 (Iterative Policy Evaluation) 반복적 정책 평가는 주어진 정책의 가치 함수를 평가하기 위해 사용되며, 정책이 수렴할 때..

기반하여 강화학습 주제에 대한 다양한 유형의 문제를 만들었습니다. 각 문제는 주어진 내용에 기반하여 답과 해설을 포함합니다. OX 문제 강화학습은 지도학습과 같이 지도자의 도움을 받아 학습한다. (O/X) 답: X 해설: 강화학습은 지도자의 도움 없이, 주로 시행착오를 통해 스스로 학습하는 방식입니다. 서술형 문제 강화학습에서의 '에이전트'와 '환경'을 설명하시오. 답: 에이전트는 강화학습 과정에서 학습을 담당하는 주체로, 특정 상황에서 어떤 행동을 결정하고 실행합니다. 환경은 에이전트를 제외한 모든 요소로, 에이전트의 행동에 반응하여 상태 변화를 일으키고 에이전트에게 그 결과를 제공합니다. 빈칸 채우기 강화학습의 목적은 순차적 의사결정 과정에서 받은 보상의 **__을 최대화하는 것이다.** 답: 누적합..

공간 데이터(이미지)를 FCN하기 위해 1차원으로 변환하는 순간 형상정보가 분산 되기 때문에 패턴 인식이 어렵다. 또한 파라미터의 개수, 연산량의 기하급수적으로 증가하기 때문에 이미지 데이터 처리에 FCN은 별로다 시신경 시스템을 모방하였다. -> 계층적으로 합성곱을 진행한다. 입력 데이터 - Width * Height * Depth(채널) 수용영역 - filter의 크기에 따라 달라진다. activation map = convolution연산의 결과로 만들어지는 이미지 feature map = 합성곱 연산 결과만 한것 (activation function x) 서브 샘플링 - 데이터를 낮은 빈도로 샘플링 했을 때 샘플을 근사하는 연산 데이터가 이미지면 이미지 크기를 줄이는 연산이 되어 다운 샘플링이라고..

인공지능 - 인간의 지능을 모방하여 사람이 하는 일을 기계가 할 수 있도록 하는 기술 머신러닝 - 데이터의 특징을 스스로 판별하지 못한다. 딥러닝 - 데이터의 특징을 스스로 분석하여 답을 찾는다. 비정형 데이터 전부 가능 feature extraction 피쳐 추출- 데이터 별로 어떤 특징을 가지고 있는지 찾아내고, 그것을 토대로 데이터를 벡터로 변환하는 작업 데이터셋 - train + validation(검증 용이므로 데이터가 충분치 않다면 사용 X) + test 배치 크기 * iteration/epoch = 데이터 셋 크기 지도 학습 - 정답을 주고, 오차를 통해 학습 비지도 학습 - 정답 없이 비슷한 데이터를 클러스트링(범주화)하여 예측하는 방법 강화 학습 - 경험을 토대로 보상을 극대화 한다. t..

순차적 의사 결정 문제 해결 방식 - 시간 순서대로 주어진 상황에서 목적을 이루기 위해 행동을 하는 것의 반복 마르코프 성질 - 미래 (t+1)은 오로지 현재(t)에 의해 결정된다. 마르코프 리워드 프로세스 - 마르코프 프로세스 + 보상 리턴(G, 에피소드가 끝날 때 까지 보상의 합)의 최대화 v - s에서 시작하여 G의 기대값 측정 상태 가치 함수v - s의 v 알기 - s에서 G 기댓값 마르코프 결정 프로세스 - MRP + action 상태 가치 함수 v - 정책(a를 정해준다)에 따라 G가 달라진다. 액젼 가치 함수 q - s에서 a에 대한 평가 벨만 방정식 - 위의 v와 q를 식으로 작성한것 벨만 기대 방정식 - v와 q를 구하는 법 v(s) = E(G) = E(R + v(s)) - s가 다른 시..

이미지가 복잡할 수록 여러 단계를 거쳐야 한다. 필터에 좀 더 집중하였다. - 특성을 병렬로 뽑아내기, 압축하기 그룹핑하여 병렬처리하기 GPU성능이 낮아서 한개로 못 돌리기 때문에 물리적으로 GPU 구분하기 패딩과 스트라이드를 적절히 사용해서 크기를 조절했다. 한쪽은 형태를 학습하고, 한 쪽은 색상을 학습했다. 최대한 깊게 학습해보자! 표가 3장이나 되어서 생략 그런데 깊다고 좋은게 맞나? -> google net 단순히 깊은 것 보다 필터를 여러 크기로 다양하게 사용하여 여러가지 패턴을 병렬로 처리할 수 있게 되었다. 아직도 깊다... 기울기 소실과 longterm dependency 문제 ! 깊다고 좋은 것 아니다! 깊지 않아도 학습을 효과적으로 만들어 준다. 더하지 않고 concat하면 파라미터의 ..

정책 이터레이션 - 정책 평가와 개선의 반복 2. P를 모른다 -> 내가 어떤 s로 갈지 모른다. 해결법! 1. 평가 자리에 MC 방법론 이용하여 각 상태 v 구하기! 몬테카를로 방법론(Monte Carlo Methods)은 무작위 샘플링을 기반으로 하는 계산 알고리즘의 한 종류입니다. 다양한 분야에서 광범위하게 활용되며, 특히 복잡한 문제의 수치적 해를 찾는데 유용하게 사용됩니다. 기본 아이디어는 무작위성(randomness)을 이용하여 문제의 해를 확률적으로 추정하는 것입니다. 몬테카를로 방법은 다양한 형태로 나타날 수 있지만, 일반적인 사용 예로는 다음과 같은 것들이 있습니다: 적분의 근사: 함수의 적분을 근사하기 위해 무작위로 점들을 선택하고 함수 값의 평균을 이용합니다. 확률적 시뮬레이션: 금융..

여기서 k는 에피소드 단위의 시간! 반복적 정책 평가 - 각 s에 대한 v 반복 계산 가능 벨만 기대 방정식을 이용해 업데이트를 계속해서 실제 가치를 알 수 있다. 업데이트할 때 k단위의 시간 잘 안보면 무너질 수 있다. ( 행렬을 두고 하나만 업데이트 해야 한다.) 정책 이터레이션 - 정책 평가(v구하기)와 정책 개선(정책 생성)의 반복 -> 수렴 그리디 정책 - 먼 미래를 생각하지 않고 다음 칸의 v가 가장 큰 것을 선택 v평가(정책 평가) -> 높은 v만 따라가는 정책 만들기(정책 개선) -> 다시 v평가 반복 ----> 수렴 정책 개선 보다는 평가하는데서 많은 연산 수행 -> 평가 간소화 하는 것 가능 (최적 정책 찾는게 목적) -> 정책 평가를 1단계만 수행하고 정책 개선 - 빠른 정책 평가와 ..