공대생 도전 일지

9차인 경우 매우 큰 파라미터 값이 보인다. -> 오버피팅 트레이닝 데이터에서 에러가 폭증하였다. 오히려 언더피팅이 발생할 수 있다.

정규화 항만 추가되었다. 정규화를 통해 수렴속도가 빨라지게 된다.

정규화 - 과적합 예방 4차 함수를 사용하여 오버피팅이 발생되었다. 단순하고 부드러운 예측함수 - 과적합 해소 어떤 파라미터가 중요한지 판단하기 어렵다! -> 다해 람다의 역할? 어우야 자료에 오타가 있네요 람다가 굉장히 작으면 첫 번째 목적에 치중하고, 람다가 굉장히 크면 두 번째 목적에 치중하게 됩니다. 정규화 파라미터 값을 적당한 값으로 사용해야 한다.

XOR이 나오겠네요 나왔습니다 XOR!!! 선 하나만 만들어서는 XOR을 구분할 수 없다. 은닉층을 추가했을 때 복잡한 선을 만들 수 있다. BUT 학습은 어떻게????? -> 첫번째 겨울 -> Back propagation! 특징이 구분하기 너무 쉽다! -> 선형 분리 가능 사람조차 구분하기 힘든 일을 인공지능이 해줘야 필요성이 생긴다! 비선형 경계를 통해 좋은 성능을 낸다. 이 문제가 잘 풀린다면 비선형의 문제를 해결할 수 있다. 미분 가능하다 -> back propagation에서 사용된다. 위 과정을 반복하면서 쭉쭉 진행한다. 입력이 어떤 형태로 들어와도 표현 가능하다! 임의로 w와 b의 값을 정한다. -> 출력이 기대출력이 되도록 w와 b를 변화시킨다. 오차함수는 다양하다. 예측과 정답이 같아지..

흠 그럼 또 and or xor nand 나오겠네요.. 표현학습 = 신경망으로 구현한다. 신경망 = 방대하고 복잡한 데이터의 특징을 추출하는데 특화 사람이 피쳐를 결정해준다 -> 사람이 꼬리, 귀의 길이를 입력해줬다. 데이터를 그대로 입력해서 출력을 얻는 것 - 표현학습 == 신경망으로 구현한다. 신경망 - 인간의 두뇌를 모방 우린 인공 신경망을 만든 것이다. 시간의 순서대로 각각의 단점을 보완하면서 발전되었다. 단층 퍼셉트론의 한계 - 간단한 문제밖에 풀지 못한다. 입력과 출력 사이에 여러 층을 넣으면 해결할 수 있을 것 같으나 학습을 어떻게 하냐! 히든 레이어를 엄청 늘려보자 ! 표현학습에서 특징을 잘 추출하는 것 같다! -> 또 문제... => 기울기 소실, 과적합... 사람이 뭔가 사전 작업을 해..

사람은 경험을 통해 지혜로워진다. 머신러닝 - 데이터(경험)를 기반으로 모델을 학습하는 기술 최근에는 다향한 형태의 머신러닝 방법을 개발하고 있다 -> 신경망 기반 학습 신경망 기반 학습 컴퓨터가 스스로 특징을 결정하는 표현학습 가능한 것이다. 사람이 간과한 중요한 특징을 놓치지 않고 학습에 사용한다. 복잡한 특징들이 서로 혼합된 데이터 == 빅데이터 머신러닝의 학습방법 중 비지도학습과 강화학습 배우기! 표현학습 - 데이터의 특징을 컴퓨터가 자동적으로 추출 -> 머신러닝과 다른점 모든 사진에 레이블이 달렸기 때문에 지도 학습에 사용 가능한 것이다. 레이블이 없는 단순 데이터를 특징 끼리 묶어서 레이블을 만든다. 특정 기준을 만들거나 피쳐를 사람이 제공해 주면 컴퓨터가 클러스터를 만든다. 사과와 복숭아, ..

단층 신경망의 한계 -> xor gate를 표현하지 못한다.

일단 주어진 코드입니다. import random import numpy as np class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): if a == 0: self.move_left() elif a == 1: self.move_up() elif a == 2: self.move_right() elif a == 3: self.move_down() reward = -1 done = self.is_done() return (self.x, self.y), reward, done def move_right(self): self.y += 1 if self.y > 3: self.y = 3 def move_left(self): self...