공대생 도전 일지

여태까지 진행했던 프로젝트의 끝이 났네요학습하는데 1000시나리오에 20시간도 넘게 걸리니 도저히 완벽하고, 다양한 학습에서 진행할 순 없더라고요그래도 한 시나리오는 완벽하게 끝내는 모델을 완성했습니다.https://kr.mathworks.com/matlabcentral/fileexchange/170616-rl-based-amr-controller RL-Based AMR ControllerUsing Reinforcement learning, we implemented AMR controller with MATLAB/Simulink.kr.mathworks.com코드는 여기서 확인해 볼 수 있습니다. https://www.youtube.com/watch?v=V8dMHNvj_tc발표 영상입니다.. ㅎㅎ.. 저..

2024.07.23 - [인공지능/강화학습] - MATLAB/Simulink를 통한 강화학습 with Driving Scenario designer MATLAB/Simulink를 통한 강화학습 with Driving Scenario designer강화학습을 진행하면서 보상함수의 중요성에 대해 뼈져리게 느끼고 있네요 ㅎㅎ... 위 사진을 보시면 학습시간이 어마 무시하다는 것을 알 수 있습니다.다른 Fully Connected Layer를 기반으로 한 12kyoonschallenge.tistory.com이전에도 계속 작성했던 글인데 이제 슬슬 학습의 효과도 나고 있습니다.아직 속도에 대해선 해결하지 못했지만 금요일에 MathWorks에서 오시는 분을 뵙기로 했으니 그 때 해결해보려고 합니다.일단 학습 자체는..

강화학습을 진행하면서 보상함수의 중요성에 대해 뼈져리게 느끼고 있네요 ㅎㅎ... 위 사진을 보시면 학습시간이 어마 무시하다는 것을 알 수 있습니다.다른 Fully Connected Layer를 기반으로 한 12k 파라미터 네트워크들은 반복하는데 몇초도 걸리지 않지만 강화학습은 시뮬레이션 기반이라 그런지, 컴퓨터 리소스가 부족해서인지 진짜 한참 걸리고 있습니다.일단 램도 많이 쓰고 있고여 ㅎㅎ...그래도 뭔가 학습되는 과정을 보고, 변동성을 보니까 할 마음이 생깁니다.이전에 다양한 사례들을 보여드리면.... 아마 시간이 오래걸리더라도 조금 참고 기다리면서 더 진행하게 냅뒀으면 다른 결과를 보여줬을 수도 있겠지만 그게 정말 어려운 것 같습니다.딥러닝은 결과가 그때 그때 정확도나 loss로 모델이 똑똑해지고 ..

드디어 돌려보았습니다. 이건 랩탑 CPU로 한 20 ~ 30분 정도 학습했네요 계속 뭐가 문제인지 찾고 물어보고 하면서 해결법을 찾았습니다....그래도 겨우 돌리기라도 한 것이 큰 한걸음 이었습니다.위 영상은 제 랩탑에서 학습한 것이라 리소스가 부족해 조금만 학습해서 돌려본 영상입니다.아직은 보상함수에 대한 제대로된 측정을 못해서 목적지에 도달하지 않고 주변에서 빙글빙글 도는 모습만 보입니다.또한 isDoon에 대한 함수가 잘 전달이 되지 않는 것 같네요 아까 주황색 물체랑 부딪혔을 때 끝났어야 했는데...그래도 학습 되는 모습을 보고, 돌아가는 모습을 보니 감격스럽습니다..아직은 고칠 것도 많고, 점점 나아지는 모습을 보일 것 같습니다.내일은 데스크 탑을 통해 GPU를 활용하여 학습을 진행해보고, 또 ..

https://kr.mathworks.com/matlabcentral/answers/2137952-measurement-error-of-ultrasonic-sensor-in-driving-scenario-designer/?s_tid=ans_lp_feed_leaf Measurement Error of Ultrasonic Sensor in Driving Scenario DesignerI tried to obtain object and distance data using an ultrasonic sensor in the Driving Scenario Designer. The distance values extracted from the sensor data in the Driving Scenario Desig..

진짜 억까를 당한 하루였습니다....이상하게 초음파 센서의 측정 값이 떠서 확인해보니....Driving Scenario Designer에서 관측되는 값이랑 Simulink 에서 관측 되는 값이 완전히 다르더라고여 게다가 제 컴퓨터에선 이젠 초음파 센서를 작동만 하면 오류가 나는...진짜.....이게 드라이빙 시나리오 디자이너에서 측정되는 초음파 센서 값입니다. 없는 곳은 확실히 없고, 물체가 있는 곳은 물체를 정확하게 감지하는 것을 확인할 수 있습니다.그러나 이게 Simulink로 가면 바로 이렇게 이상한 층정값을 뱉어버립니다....뭐지 뭐지하다가 확실하게 이상한 것을 뒤늦게 발견했네요.....이제 울트라 소닉 못쓰니...센서 선택권은 Lidar, Radar, Camera밖에 없는데 여기선 카메라도 물..

기존 LiDAR,RADAR 구조에서 한계점을 느끼고 다시 작성하고 있습니다.센서 퓨전을 하는데 오히려 리소스를 잡아먹어서 강화학습에 집중할 수 없는 것을 깨닫고 다시 센서 구성부터 변경을 진행하였습니다.LiDAR와 Ultrasonic을 이용해 원거리, 근거리 정보 모두 잘 획득해 보려고 합니다.  데이터를 잘 획득하는 것을 볼 수 있습니다.구성은 이렇게 되어있습니다.이걸 Simulink로 빼서 루프를 돌리면 일단 해결입니다.smulink로 빼서 scenario로 달리는 것이 아닌 input을 통해 변하는 것으로 바꾸면 위와 같이 변하게 됩니다. 이제 RL Agent에 관찰값으로 넣어줘야 합니다.여기서부터 Agent를 설정해주고 환경을 설정해주고 해야하는데 이게 기억이 안나서 천천히 찾아보며 작성하겠습니다..

https://kr.mathworks.com/academia/student-challenge/2024/ai-challenge.html MATLAB 대학생 AI 경진대회 2024인공지능(AI) 기술을 활용한 아이디어를 MATLAB으로 구현해보는 학생경진대회입니다. 인공지능 기술을 우리 실생활에 새롭게 적용하거나 산업에서 기존의 프로세스를 개선할 수 있는 아이디어가kr.mathworks.com다른 일정 다 끝나고 준비하는 대학생 AI 경진대회!기본 환경 구성부터가 문제더라고여...Gazebo, roadrunner 등 다양한 시뮬레이션 고민하다가 matlab Driving Scenario Designer로 결정했습니다.최대한 리소스를 줄이는 것도 문제기 때문에....https://kr.mathworks.com..

Value optimization 방식 Neural Fitted Q Iteration (NFQ)신경망을 활용하여 Q 함수를 근사한다. 기본 뉴럴넷 형식이고, Q를 뉴럴넷으로 구현하였다.장 : 비선형 함수 근사를 통해 복잡한 환경에서도 사용 가능하다.단 : 데이터 활용 측면에서 효율성 떨어짐 Deep Q Learning (DQN)심층 신경망을 활용하여 Q 함수를 근사한다.장 : replay memory를 사용하여 샘플 효율성을 높였다.단 : 불안정한 학습과 과적합 문제가 발생 가능하다. Q를 뉴럴넷을 통해 구한다. == 학습이 불안정해지고, 오버피팅이 발생할 수 있다.데이터 셋이 많을 수록 좋아진다. -> 데이터 샘플이 편향성을 가지지 않고, 다양한 형태를 가져야 한다 == Q를 학습하는데 편향이 될 수 ..

전이 확률이 1이다 == action과 다음 state과 같다. Frozen Lake에서 랜덤만 넣으니 학습이 잘 되지않닸다.-> 경험을 다양하게 시켜보자 == max를 뽑고 입실론을 넣어주자 : 쪼금 늘었다.-> 에피소드를 진행할수록 입실론을 줄여보자 - 안좋아졌다. => 적당히 남겨놓고 경험하게 둬야 한다. -> 이전 Q와 알파 Q로 나누자 - 알파를 조절하면 정보의 반영 정보 조절 가능하다 - 파라미터 추가로 성능 향상 -> 입실론을 빼고 Q에 랜덤 노이즈를 더해줬다. == 랜덤성이 부여되었다.(Q값이 큰 차이가 없으면 다양한 경험이 가능하다.) - 가능성이 있는 곳을 선택하여 안 간 곳이 사라지고, 성능이 향상되었다.  더보기11. 강화학습 실습 예제11.1 Escape Room방탈출 예제:5개의..