인공지능과 빅데이터 4주차 2차시 - 지도학습(분류, 회귀) supervised Learning(classification, regression)

주어진 입력 == 데이터!

원하는 출력 == 레이블!

사람이 특징(feature)를 골라줘야된다. -> 이거 너무 귀찮아 보이니까 딥러닝 최고....

최초의 사진이 들어왔을 때 무엇인지 알려주는게 목표였다.

지도학습 방법

분류의 예시

분류 모델의 출력 == 이분법적인 선택(0,1, 사과 ...) != 값(132, 15.6...)

회귀 regression - 키에 따른 몸무게 예측, 내일 기온...

사람이 바로 결정하기 어려운 연관성이 있다 -> 머신러닝 사용 => 컴퓨터가 결정해준다.

분류 Classification - 유사한 특성을 가진 데이터끼리 묶어서 나눈다.

유사한 특징을 가진 데이터(옆모습, 뒷모습 등등)

분류 문제 - 컴퓨터가 잘 도와준다면 활용쳐가 많다. -> 컴퓨터가 많은 데이터에서의 패턴 인식을 잘한다.

위의 방식은 이항 분류이다. ex) 고장이다 아니다, 스팸이다 아니다, 성공이냐 실패냐 등등...

다항 분류 ex) mnist 등..

사람이 결정하는 features! - 귀, 꼬리!

파란점 - 고양이 사진

빨간점 - 토끼 사진

사진을 사진으로 입력한 것이 아니라 사람이 직접 귀와 꼬리를 자로.......ㅠ

선을 그린 후 수정하는 것이 학습하는 과정이라 볼 수 있다.

기준선 왼쪽에 위치하므로 고양이라고 판단한다.

다차원 feature에 대한 분류와 비선형도 가능하다.

딥러닝이 아닌데 비선형을 으케가지지? 레이어가 깊어질수록 비선형이 커지는거 아니었나.?

머신러닝을 활용한 classification에서 비선형을 가질 수 있다는데 비선형은 layer가 깊어져야 가질 수 있는거 아니야?
머신러닝은 층 하나만 가질 수 있는게 아니야?

머신러닝 모델, 특히 "딥러닝"이 아닌 "전통적인 머신러닝" 모델에서도 비선형 패턴을 학습할 수 있습니다. 여기서 "층"이 깊어지는 것은 주로 딥러닝, 즉 심층 신경망과 관련된 개념입니다. 전통적인 머신러닝 모델은 딥러닝과는 다르게 대부분 단일 층 구조를 가지지만, 그럼에도 비선형 문제를 효과적으로 해결할 수 있는 여러 기법과 알고리즘이 있습니다.

전통적인 머신러닝에서 비선형 문제 해결 방법:

1. 결정 트리(Decision Trees): 결정 트리는 데이터를 분류하거나 회귀 분석을 수행할 때, 데이터의 특성에 따라 트리의 가지를 나누어 결정을 내리는 방식으로 작동합니다. 이 과정에서 복잡한 비선형 관계도 모델링할 수 있습니다.
2. 앙상블 학습(Ensemble Learning): 랜덤 포레스트(Random Forests)나 그래디언트 부스팅(Gradient Boosting)과 같은 앙상블 학습 방법들은 여러 개의 결정 트리를 조합해 사용합니다. 이러한 방법들은 결정 트리 하나만 사용할 때보다 더 복잡한 비선형 관계를 포착할 수 있습니다.
3. 커널 기법(Kernel Methods): 서포트 벡터 머신(SVM) 같은 일부 머신러닝 모델은 커널 트릭을 사용하여 입력 데이터를 고차원 공간으로 매핑하고, 그 공간에서 선형 분리가 가능하도록 합니다. 이 방법을 통해 원래의 입력 공간에서는 비선형적으로 구분되는 패턴을 효과적으로 학습할 수 있습니다.
4. 특성 공학(Feature Engineering): 데이터의 비선형 관계를 포착하기 위해 원래 특성의 다항식 조합이나 다른 변환을 적용하는 방법입니다. 이렇게 변환된 특성을 사용하면 선형 모델조차도 비선형 문제를 풀 수 있습니다.

딥러닝 모델은 "층"을 쌓아 복잡한 비선형 관계와 패턴을 학습할 수 있지만, 전통적인 머신러닝 방법들도 알고리즘의 특성이나 데이터 전처리를 통해 비선형 문제를 해결할 수 있습니다. 딥러닝과 전통적인 머신러닝은 각각의 장단점이 있으며, 특정 문제에 가장 적합한 도구를 선택하는 것이 중요합니다.

비선형 - 언더피팅, 오버피팅이 발생할 수 있다.

학습데이터는 정확하게 분류해도 실제 문제에서는 정확하지 않을 수 있다.

underfittion

 

회귀 Regression

빨간 선을 어떻게 해야 잘 대표할지 고민해봐야 한다.

직선이 데이터를 잘 대표한다 - 점들간의 거리가 가장 적다 == loss, error가 적다!