인공지능과 빅데이터 1 ~ 5 주 차 정리

1주차 - 교과목 개요 

1차시 - 교과목 소개 

IoT = 사물인터넷 = 인터넷에 연결되어 데이터를 공유할 수 있는 사물 = 연결성이 좋다. = 데이터를 계속 생산한다.

IoE = 만물인터넷 = 연결 가능한 모든 것이 인터넷에 연결되는 것 (사람, 사물, 데이터, 프로세스 등) = 데이터를 엄청나게 생산 

클라우딩 컴퓨팅 기술로 적은 리소스로도 대규모 머신러닝 사용 가능 

엣지 컴퓨팅 - 실시간 빅데이터 처리에 효과적, 분산 컴퓨팅 페러다임 중 하나 

 

2차시 - 인공지능의 역사 

1차 산업 혁명 : 증기기관, 기계화
2차 산업 혁명 : 전기 에너지 산업화 
3차 산업 혁명 : 컴퓨터, 인터넷 정보화
4차 산업 혁명 : 인공지능, 빅데이터, 초연결 지능화

연도	구분	주요 내용	기타
1943 ~ 1956	준비기	맥걸럭과 피츠 앨런튜링 프린츠	명제 논리의 개념 뉴링테스트 최초의 체스 프로그램 작성
1956 ~ 1974	요람기	다트머스 회의 로젠블럿 매카시 바이젠바움 민스키와 페퍼트	인공지능이란 이름 탄생 마스 퍼셉트론 신경망 개발 Lisp 언어 개발 ELIZA 발표 퍼셉트론즈 란 책 출간
1974 ~ 1980	첫번째 겨울기	미국과 영국	퍼셉트론즈 이후 신경망 쇠퇴로 연구 기금 급격히 감소
1980 ~ 1987	발전기	DEC사 일본 리멜하트 등	XCON이란 전문가 시스템 개발 제 5세대 컴퓨터 트로젝트 수행 다층 신경망으로 부활
1987 ~ 1993	두 번째 겨울기	신경망의 정체 미국 미국방성 (DARPA)	제한적 성능과 컴퓨팅 파워 부족 300개 이상 인공지능 시장 붕괴 인공지능 관련 정부 연구 기금 고갈
1993 ~ 2011	안정기	IBM Deep Blue	세계 체스 챔피언 제퍼디 퀴즈쇼 챔피언
2011 ~	부흥기	힌튼 앤드류 응 구글의 알파고	딥러닝 기반의 ImageNet 고양이 인식 구글 프로젝트 딥러닝 기반의 세계 바둑 챔피언

로봇 기자와 인공지능 저널 리스트

 

3차시 - 인공지능 시스템

마크 | 퍼셉트론 - 가장 간단한 형태의 네트워크로 하드웨어로 구성된 최초의 인공신경망 

마이신 - 전염성 혈액 질환 진단 : 규칙 기반 인공지능 

왓슨 - 방대한 지식에 기반해 논리 판단에 따른 추론을 진행

인공지능 : 소프트웨어 + 하드웨어

컴퓨팅파워 + 빅데이터 + 인공지능 = 인간을 뛰어넘는 결과 

생각하는 기계 - 인공지능 분야에 탁월한 업적
튜링 테스트 : 얼마나 인간과 비슷하게 대화할 수 있는지를 통해 기계의 지능 판단 

 

 

2주차 - 인공지능이란

1차시 - 인공지능 분류와 개념

좁은 인공지능 - 자율주행 자동차, 시리 등 합리적으로 생각하고 행동하는 시스템, 일정 영역에 국한된 인공지능  = 약한 인공지능

일반 인공지능 - 인간 수준의 능력을 가지고 모든 분야에 적용될 수 있는 인공지능 == 인간과 같은 인공지능 

슈퍼 인공지능 = 모든 면에서 인간보다 훨씬 뛰어난 지능을 가지고 과학적 창의력, 일반적 지혜, 사회적 능력을 가짐

인공지능 기술의 핵심 - 삶에 도움을 주고, 받을 수 있을 까?

유사한 개념과 비교하는 것은 특정 개념만의 특징을 잘 파악하고 더 잘 이해하기 위함

인공지능(알려준 것 이상의 일을 처리할 수 있어야됨) > 머신러닝 > 표현학습 > 딥러닝 

각종 조건이 붙어있으면 프로그램 코딩이지 인공지능이 아니다.

과정 자체의 학습으로 특정 사용자에 따른 최적 온도 값을 맞춰 동작하는 것이 인공지능이다.

빅데이터를 통한 추론으로 더 정확한 결과를 얻을 수 있다.

 

2차시 - 규칙 기반 시스템과 머신 러닝

규칙 기반 시스템 - 정교하게 설계 된 규칙에 따라 결과 출력
input -> Hand-designed Program -> Output
모든 과정을 사람이 직접 구성한다.
알려준 것 이상 처리할 수 있는 기능이 내재 
추론을 통해 가르쳐 주지 않은 질문에 답을 한다 - 인공지능이라고 볼 수 이싿.

전문가 시스템
지식을 반영하기 위해 굉장한 복잡성과, 큰 구조를 기본적으로 가지고 있다.
지식을 바탕으로 하기 때문에 의사의 지식을 컴퓨터로 구성할 수 있게 된다.

규칙 기반 시스템 (Rule-Based System)

규칙 기반 시스템은 사전 정의된 규칙 세트를 사용하여 결정을 내리는 시스템입니다. 규칙은 일반적으로 "if-then" 문으로 표현됩니다. 예를 들어, "if 조건 A then 결과 B". 이런 시스템은 간단한 문제 해결에는 효과적이지만, 복잡한 문제나 데이터 패턴 인식에는 한계가 있습니다.

특징:

• 명확한 규칙과 로직 기반
• 데이터 패턴 인식이 어려움
• 유지보수가 어려울 수 있음

전문가 시스템 (Expert System)

전문가 시스템은 특정 분야의 전문가 지식을 컴퓨터 프로그램으로 구현한 것입니다. 규칙 기반 시스템과 유사하지만, 더 복잡한 규칙과 추론 엔진을 사용하여 전문가 수준의 결정을 내립니다. 의료 진단, 법률 자문 등 다양한 분야에서 사용됩니다.

특징:

• 전문 지식에 기반한 복잡한 규칙
• 추론 엔진을 사용한 문제 해결
• 특정 도메인에 특화

머신러닝 (Machine Learning)

머신러닝은 데이터를 통해 패턴을 학습하여 예측이나 결정을 내리는 시스템입니다. 사전 정의된 규칙 대신, 알고리즘이 데이터를 분석하고 학습하여 스스로 규칙을 생성합니다. 이는 특히 대규모 데이터 분석, 이미지 인식, 자연어 처리 등에서 효과적입니다.

특징:

• 데이터 기반 학습
• 스스로 규칙을 생성
• 다양한 응용 분야 (이미지 인식, 자연어 처리 등)

요약

• 규칙 기반 시스템: 명확한 "if-then" 규칙 사용, 유지보수 어려움.
• 전문가 시스템: 전문가 지식 기반, 복잡한 추론 가능.
• 머신러닝: 데이터 기반 학습, 다양한 응용 분야에서 높은 성능.

이 세 가지 시스템은 각기 다른 방식으로 문제를 해결하며, 사용 목적과 상황에 따라 적합한 시스템을 선택하는 것이 중요합니다.

머신러닝 - 명시적인 프로그래밍 없어도 컴퓨터가 데이터를 통해 스스로 학습 
input -> Hand-designed Features -> Mapping from features -> out

지도학습 - 분류된 데이터를 학습에 사용 (정답이 있는 데이터)
비지도 학습 - 유사한 특성을 가지는 기사끼리 그룹을 만들어주는 클러스터링 
강화 학습 - 행동에 따른 보상이 주어지는데 보상을 극대화 하기 위해 시행착오를 통해 학습 

클래식 머신러닝 = ML = Representation Learning 
input -> Hand-designed Features -> Mapping from features -> out
사람이 사용된 데이터로부터 특징들을 선정한다. -> 가장 큰 특징을 사람이 결정 
mapping from features : 데이터를 통해 얻은 결정 경계(decision boundary)를 활용하여 output 출력 

 

3차시 - 표현 학습과 딥러닝

표현학습 = Representation Learning
Input -> FEatures -> Mapping from features -> output
데이터로부터 feature 추출, 정확히 분류할 수 있는 기준을 컴퓨터가 정한다. == 모든 일을 컴퓨터가 

인공 신경망 - 표현 학습을 하는데 가장 적합한 구조로 매우 크고 다루기 어려운 데이터들의 특징을 모델링하는데 능력이 뛰어남  - 네트워크 구조를 통해 표현 학습을 진행 
빅 데이터를 직접 컴퓨터에 입력하여 컴퓨터가 최적의 feature를 추출한다.

mnist autoencoder왜 입 출력을 동일하게 만들까 ? - 숫자인지 아닌지 판별하는게 목적이기 때문 
숫자 2를 판별하기 위한 기준을 컴퓨터가 경험적으로 마련!

표현학습은 컴퓨터가 특징 (feature)를 추출한다!

딥러닝 - 고차원 특성을 스스로 추출하여 학습 
머신러닝의 한 분야로 데이터에 대한 기본 파라미터를 설정, 컴퓨터가 여러 처리 계층을 이용해 패턴을 인식함으로써 스스로 학습하도록 훈련시키는 기술
연속된 layer에서 점진적으로 의미 있는 표현을 배우는데 강점이 있으며, 데이터로부터 표현을 학습하는 새로운 방식 
input -> simple features -> Additional layers of more abstract features -> Mapping from features -> output 
 Additional layers of more abstract features - 다층이 되면서 다양하게 포현이 가능 == nonlinear 표현이 가능하다. 복잡한 classification 문제의 정확도도 향상

표현 학습 (Representation Learning)

표현 학습은 원시 데이터를 유용한 특징 또는 표현으로 자동으로 변환하는 기법을 의미합니다. 이 방법을 통해 모델은 사람이 직접 설계하지 않아도 데이터의 중요한 패턴을 스스로 학습할 수 있습니다. 대표적인 방법으로는 오토인코더, 단어 임베딩, 그리고 컨볼루션 신경망(CNN) 등이 있습니다.

특징:

• 데이터에서 중요한 특징을 자동으로 추출
• 더 나은 성능을 위한 데이터 전처리 불필요
• 다양한 기법 (오토인코더, 단어 임베딩 등)

딥러닝 (Deep Learning)

딥러닝은 다층 신경망을 이용하여 복잡한 패턴과 관계를 학습하는 머신러닝의 하위 분야입니다. 대량의 데이터를 처리하여 자동으로 표현을 학습하며, 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 뛰어난 성능을 보입니다.

특징:

• 다층 신경망 사용
• 대량의 데이터 처리에 최적화
• 이미지 인식, 음성 인식, 자연어 처리 등에서 높은 성능

요약

• 표현 학습: 원시 데이터를 유용한 특징으로 자동 변환, 중요한 패턴을 스스로 학습.
• 딥러닝: 다층 신경망을 이용한 복잡한 패턴 학습, 다양한 응용 분야에서 뛰어난 성능.

두 개념 모두 데이터를 효율적으로 처리하고 학습하는 방법을 제공하지만, 딥러닝은 특히 더 깊고 복잡한 모델 구조를 사용하여 더 높은 수준의 패턴과 관계를 학습하는 데 중점을 둡니다.

 

3주차 - 규칙 기반 시스템 

1차시 - 규칙 기반 시스템, 지식 기반 시스템

규칙 기반 인공지능 기술 - 주어진 규칙과 사실 관계를 바탕으로 추론 

Non - AI : 단순 계산, 프로그래밍, 알려진 정보만 활용

AI - 스스로 생각, 판단, 알려진 것 이상 처리 가능 

규칙 기반 시스템, 전문가 시스템 = AI but not ML - 입력과 출력 사이의 Hand-designed 과정 존재 
Representation Learning = classical ML = 데이터부터 규칙을 찾는다. 

규칙 기반 시스템 - AI로 주입하지 않은, 학습하지 않은 상황에 대해서도 대처를 한다. 

Non- AI vs Rule-based AI
Rule-based AI 성능이 더 우수하다. - 알려주지 않은 사실도 출력
실제로눈 아주 심플한 기능이 많이 필요

Rule-based AI vs ML
평균적 성능은 ML이 더 우수 - Data를 사용하기 때문
Rule-based AI는 한계가 존재하다. - 복잡한 문제일 수록, 데이터의 양이 증가하여 시스템 복잡도가 증가하기 때문
Robust(강건한) 시스템을 위해선 사실에 근거한 추론 방법을 사용하는 Bule-based AI가 적합하다.

데이터 - 활용 가치가 낮다 = 사실 : 시간, 색..
정보 - 데이터가 모여 만든 의미 = 의미 있는 사실 : 저차 색은 빨간색!
지식 - 추론을 위한 기본 정보 = 추론을 위한 정보 : 저 차가 멈췄으니 내가 가야지 
데이터 -처리> 정보 -일반화정렬> 지식 

모델링에 논리, 의미망, 프레임, 규칙, 수학적 함수를 넣고 모델에서 추론이 출력되면 문제 해결을 위한 모델로 지식 기반 시스템이 된다. = 규칙 기반 시스템, 전문가 시스템, 머신러닝 시스템 

규칙 기반 시스템 - 논리, 의미망, 프레임
전문가 시스템 - 규칙(그래프)
머신러닝 시스템 - 수학적 함수 

 

2차시 - 지식 표현과 추론, 지식 표현의 불확실성

논리 : 말로 표현된 문장들에 대한 타탕한 추론을위한 것
기호를 사용하여 문장을 표현하고, 참과 거짓을 판정한다.

명제 논리 - 참 거짓을 분명하게 판정할 수 있는 문장

술어 논리 - 대상의 속성이나 대상 간의 관계를 함수 형태로 나타냄 
Ex) 학생(윤) : T, 남자(윤) : T

추론 - 논리를 바탕으로 추론한다. = 인공지능의 핵심 요소 중 하나 규칙을 이용한 지식 표현과 추론

규칙 - IF와 THEN으로 표현되는 글 - AND, OF 등을 통한 규칙을 나열을 조합해 그래프로 표현할 수 있다.
의미망을 이용해 지식을 표현하고 추론할 수 있다. = 인공지능 
직접적인 연결은 없어도 상위 개념을 통해 연결되어 있다면 가능하다. - 시각적 지식 표현으로 직관적 이해 가능

의미망 표현의 장점 
시각적 지식 표현으로 직관적 이해 가능
지식의 추가 및 변경 용이
개념적 계층관계를 정의해 속성의 상속 관계 지정 가능
복잡한 지식을 구조화하여 표현 가능

의미망 표현이 단점
양이 늘면 관리 복잡
개념이나 관계를 임의로 정의하기 때문에 통일성 부족
논리적 결합 관계나 인과관계 기술시 링크 도입 필요 - 일관성이 떨어지고 추론이 복잡해짐
정적인 지식 표현 - 도적으로 바꾸기엔 한계가 있다.

지식 표현의 불확실성
복잡한 문제 = 더 큰 도움이 되는 문제 = 활용도가 높은 문제
복잡한 대상/ 내용의 지식 표현은 불확실한 점이 있다.
부정확한 언어 사용 - 모호함과 주관적 기준이 다르다 
퍼지 이론 - 이분적인 표현이 필요하지만 모든 것이 이분적이진 않다.

논리, 추론을 위해 Fuzzy set 도입
논리, 추론을 위해 이분적 표현이 필요하지만 모든 개념이나 범주가 항상 이분적이지 않아 도입 
두 가지 속성을 가질 수 있도록 만든다.

 

3차시 - 규칙 기반 시스템, 전문가 시스

지식 베이스( 사실, fact) + 추론 규칙(IF, THAN) = 추론을 통한 결과 출력 

추론을 통한 탐색
순방향 추론 - 조건부와 사실이 같을 때 결론부를 실행하는 것으로 조건부와 주어진 사실 매칭이 필요하다. -  개수가 많아지면 연산에 부담이 된다.
역방향 추론 - 규칙을 찾아 조건부의 조건이 만족하는지 확인하는 추론으로 가설이 주어지는 경우에 효과적 

전문가 시스템 - 전문가의 추론 과정을 시스템으로 옮긴 것 = Robust 분야에 활용
추론 엔진 : 지식을 기반으로 정보를 추론, 역방향 정방향 추론 
지식 베이스 - 사실과 규칙을 나타내며, 복잡한 지식 베이스를 구축할 Knowledge Engineer 필요하다.
대량 데이터의 논리적 표현, 구축 과정이 사람에 의해 만들어진다.

 

4주차 - 머신러닝

1차시 - 머신러닝 개요

원하는 모델을 구축하기 위해 데이터로 학습하는 것으로 데이터의 양과 질이 중대한 영향을 미친다.

머신러닝
아서 새무얼 : 프로그램을 명시적으로 작성하지 않고, 컴퓨터에 학습할 수 있는 능력을 부여하기 위한 연구 분야
톰 미첼 : 프로그램은 경험으로부터 학습한다. 프로그램이 일정 수준의 성능 측정을 가지고 작업을 수행한다고 했을 때, 경험이 증가함에 따라 작업을 수행하는 성능이 향상될 수 있다.
지능형 서비스를 하는 다양한 분야에서 머신러닝은 핵심 기술임 

인공지능 : 스스로 생각하고 판단하며 알려준 것 이상을 처리할 수 있어야 함
머신러닝 : 데이터로부터 학습 == 경험으로부터 지식을 학습 

머신러닝 : 시간에 따라 점차 효율이 향상되며, 입출력 데이터의 관계를 학습해 규칙 생성 
데이터를 통해 원하는 출력이 나오도록 학습하고, 실제 사용에서 문제를 해결하고 의사를 결정한다.

지도 학습 - 정답이 있다 : classification, regression 
비지도 학습 - 레이블 없어 알아서 구별
강화 학습 - 의사 결정을 위한 최적의 액션 선택 

전통적 프로그래밍 - 모든 경우의 수를 다 고려 + 새로운 데이터가 추가되면 반영
머신러닝 - 컴퓨터가 기준을 마련해서 알아서 분류한다.

 

2차시 - 지도학습 (분류, 회귀)

지도 학습 - 입력과 정답을 연관시키는 관계를 학습 

분류 - 특성에 따라 입력을 구분 짓는 모델
회귀 - 입출력 사이의 관계를 대표하는 모델 == 어떤 관계를 정의하는 대표 모델 

분류 - 유사한 특징을 가진 데이터끼리 묶어서 나누는 것. 특성에 따라 입력을 구분짓는다.
컴퓨터는 프로세싱 속도가 빨라 많은 데이터로부터 패턴인식을 하는데 장점이 있다.
비선형(오버, 언더 피팅 주의) 및 다차원 feature에 대한 분류도 가능하다.

회귀 - 변수들 사이의 관계를 결정하는 통계적 측정 
직선이 데이터를 잘 대표해야 한다.
데이터들의 대표성 또는 대표적인 관계를 모델링하고 싶을 때 사용한다.
비선령 회귀 및 다차원 feature에 대한 회귀도 가능하다.

 

3차시 - 분류 알고리즘 K-NN, SVM, Decision Tree

K-NN - 지도 학습 모델의 분류 기법, 가장 가까운 것들과 거리 계산으로 클래스를 분류
새로운 입력 데이터와 가장 가까운 k개의 이웃 데이터를 선택!
장점 - 간단하고 빠르고 효과적, 어떤 데이터라도 유사성 측정 가능
단점 - 적절한 k 값 선택이 중요하다.

SVM = Support Vector Machine - 통계 학습 이론의 결과 기반으로 어느 영역에 속하나.
가장 큰 폭을 가진 하나의 경계선을 찾는 알고리즘으로 여백이 최대가 되는 중심선을 찾는다.
패턴 인식과 자료 분석을 위한 지도 학습 모델 
Outlier가 섞여있는 경우 - 소프트 마진 : 이상치 몇개 무시, 하드 마진 : 마진 최대
3개 이상의 속성이 있는 경우 - 평면, Hyperplane으로 구분 
직선으루 분류가 힘든 경우 - 커널을 활용하여 비선형 형태 경계가 가능하다.

결정 트리 - 판단 분류를 위한 지식을 트리 형태로 나타낸 것으로 관측값과 목표값을 연결
노드 분할을 잘 하여 가능한 동일한 부류가 되도록 하는 속성을 선택한다.
노드 분할을 잘 하는 것이 핵심!

앙상블 분류기 - 여러 분류기를 만들고 투표나 가중치 투표 방식으로 결합한다.
배깅 - Bootstrap를 통해 여러 개의 학습 데이터 집단을 만들고 각각 마다 분류기를 만들어 투표나 가중치 투표를 하여 최종 판정 하는 기법
랜덤 포레스트 - 결정 트리를 사용하는 배깅 
부스팅 - 병렬이 아니라 순차적으로 만들어 진다.

ML - 정형 데이터(행과 열에 의해 데이터 속성이 구별되는 형태)에 강하다.

딥러닝 - 비정형 데이터 

 

5주차 - 신경망

1차시 - 비지도 학습 및 강화 학습 개요

신경망 기반 학습을 통해 컴퓨터가 스스로 특징을 결정하는 표현학습이 가능해져 사람이 간과한 중요한 특징을 놓치지 않고 학습에 사용한다.

표현학습은 데이터 특징을 컴퓨터가 자동적으로 추출하는 것으로 질병 및 고장진단, 비지니스 의사 결정, 무인 자동차, 기계번역, 컴퓨터 비전 기술 등이 있다.

비지도 학습은 레이블이 없는 데이터를 사용해 규칙성을 스스로 찾아내는 것이 학습의 주요 목표다.
데이터 마이닝 기법도 비지도 학습의 예로 결과는 지도 학습의 입력으로 사용 가능하다.

레이블이 없는 단순 데이터들 특징끼리 묶어서 레이블을 만든다. 특정 기준을 만들거나 피쳐를 사람이 제공해주면 컴퓨터가 클러스터를 만든다.
데이터를 입력하면 소속된 클러스터를 출력해주는 비지도 학습모델이다.
관계를 스스로 학습해 각 그룹으로 알아서 묶는 비지도 학습!
레이블이 없는 데이터를 각각 클러스터링 해주는 비지도 학습! == 군집화로 대표적 비지도 학습이다.
클러스터 - 유사한 것들끼리의 집합
클러스터링 - 유사한 특징을 가진 그룹들로 묶는 작업. 라벨 X
classification은 라벨이 있는 데이터들을 경계선을 기준으로 나누는 것이다.

응용 분야
전자 상거래 : 구매 이력으로 고객 분류
패턴 : 유사한 이미지를 그룹화
재무 : 신용카드 사기 탐지
기술 : 네트워크 침입과 악의적 활동 감지 

K-means 알고리즘은 클러스터링 알고리즘으로 유사한 특성을 가진 k개의 데이터 그룹으로 묶는 방법이다.
장점은 비교적 간단하고, 계산량이 적어 속도가 빠른 점이다. 데이터를 분류하는 머신러닝과 데이터 마이닝의 도구다
단점 은 클러스터링의 개수 k와 최초로 지정하는 중심들에 따라 결과가 다소 달라질 수 있다.
각 점은 다른 중심점보다 그 점이 속한 클러스터 중심점에 더 가깝다.
가장 가까운 점들을 클러스터에 할당 -> 할당된 점들의 중앙으로 클러스터 이동 의 반복이다.

강화학습 - 행동의 시행착오를 통한 학습으로 플러스 보상과 마이너스 보상을 통해 스스로 학습하는 방식이다.
행을 하고 나면 환경이 바뀌고 보상을 받으면 최적의 액션을 선택하도록 변한다.
강화학습은 보상이 주어지는 문제 해결에 효과적으로 알파고도 강화 학습을 통해 실력 향상되었다.

2차시 - 신경망과 단층 퍼셉트론 

표현학습은 데이터의 특징을 자동으로 추출하여 학습하고 신경망으로 구성되어 있다. (머신러닝은 사람이 feature를 결정)
신경망은 두뇌에 있는 뉴런 연결을 모방하여 방대하고 복잡한 데이터의 특징을 추출하는데 특화되어 있어 빅데이터의 특징을 자동으로 추출한다.

수상돌기 - 축색 돌기와 연결되어 전기 화학적인 신호를 받아들인다
축색돌기 - 수신한 신호의 결과 값이 임계값 이상이면 신호를 내보낸다.
신경연졉(시냅스) - 수상돌기와 축색돌기의 연결 부위로 신호를 증폭 및 감쇄

단층 퍼셉트론 : 입력 레이어와 출력 레이어로 구성된 가장 간단한 신경망 구조
단층 퍼셉트론으로는 간단한 문제밖에 풀지 못해서 여러 층을 넣고 backpropagation을 통한 학습을 진행해서 신경망의 수요가 늘었다.

 

3차시 - 단층 퍼셉트론의 한계와 다층 퍼셉트론

and와 or은 단층 퍼셉트론을 통해 weight와 bias를 구해 풀 수 있었다. 그러나 XOR은 분리가 불가능했다.
레이어를 추가해서 다층퍼셉트론을 만들고 BackPropagation으로 학습 하였다.
선형 분리로 불가능한 문제들을 풀 수 있게 되었다.

오차 : 예측값과 기대 출력값의 차이
다층 퍼셉트론 학습 : 오차가 최소가 되도록 가중치와 바이어스를 결정 
조금씩 업데이트하는 방법 = 최대 경사법 

한계 : 레이어가 엄청 늘어나면서 생긴 기울기 소멸과 과적합