반응형

인공지능 665

인공지능과 빅데이터 7주차 1차시 - 딥러닝 프레임워크

딥러닝 - 미래를 선도할 혁신 기술 발전 사유 - GPU 기반의 병렬 처리를 포함한 컴퓨팅 파워 발달, 인터넷을 통해 축적된 엄청난 양의 빅데이터, 딥러닝을 위한 획기적인 알고리즘의 개발 알고리즘 딥러닝 프레임워크 딥러닝 연구 주요 이슈 텐서플로우랑 파이토치...? 고성능 서버 - 회사에서 사용하는 고성능 GPU 서버 딥러닝 프레임워크! - 파이토치!!!!!!!!!! 텐서 플로우!!!!!!!!!!!!11 통합 개발 환경 - 코딩을 편한 환경에서, 프로그램에 도움을 주는 것 데이터 - 딥러닝 실행을 위한 준비사항 첫 번째 OS 환경 위에서 파이썬, 텐서플로우 -> 딥러닝 Kaggle과 Colab이 편리했습니다. PC를 100명에게 맞춰주는 것 보다 서버를 두는게 자원 관리 측에서 효율적인 활용이다. 프로그..

인공지능/공부 2024.04.15

자연어 처리 중간 정리 1

2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == encoding (one hot encoding) -> embedding (vector representation) 근데 이게 언어의 특성 때문에 어렵다! 1. 동음 이의어 2. 사회적으로 공유되는 정보, 지식, 경험들 3. 모호성 POS - 품사 (명사, 형용사, 동사..) Named entities - 인물, 지역, 나라... Syntax - 문법(의존 관계, 수식..) 3강 - word embedding 이전에는 원 핫 인코딩을 통해 단순히 단어 수의 차원을 통해 인코딩하여 sparse..

자연어 처리 정리 9강 - Text Summarization + Transformer(self, multi,masked attention)

결국 원문 X을 요약해서 y로 출력해주는 것! 학습시키려면 X와 y 데이터가 있어야 한다. 여기서 다시 Precision과 recall 정리하기! 정밀도 - 참이라고 예측, 판단한 것 중 참인 것 ex) 프로그램이 암이라고 예측한 사람들 중 진짜 암인경우 재현율 - 참인데 참이라고 맞춘 것 ex) 암에 걸린 사람들 중 예측 프로그램이 얼마나 맞췄냐 precision 정밀도 - 정확성이 중요한 경우 - 참이라고 예측한 경우 중 참인 확률 recall 재현율 - 최대한 많은 옵션을 주는 경우 - 참을 참이라고 예측한 확률 Transformer는 self attention과 그냥 attention, masked attention이 합쳐진 구조이다. RNN에서는 순서대로 집어 넣으니 순서 정보가 있으나 Tran..

고급 인공지능 활용 - 기말 고사 정리

9주차 나이브 베이즈 나이브 베이즈 – 베이즈 정리를 적용한 조건부 확률 기반의 분류 모델 조건부 확률 – A가 일어났을 때 B가 일어날 확률 스팸 필터링을 위한 대표적인 모델, 딥러닝보다 간단한 방법으로 자연어 처리원할 때 사용 수식 P(A|B) =P(B|A) * P(A) / P(B) P(A|B) – 사후확률, b가 발생했을 때 a가 발생할 확률 P(A) – 사전확률, B의 발생유무와 관련 없이 기본적으로 A가 발생할 확률 P(B|A) – 우도 Likelihood 혹은 가능도라고도 부름, A가 발생했을 때, B가 발생할 확률 P(B)- 전체에서 B가 발생할 확률 사전 확률로 사후 확률을 예측하는 조건부 확률을 기반으로 한다. 사후 확률 – 사건 A와 B가 있을 때, 사건 A가 발생한 상황에서 사건 B가..

인공지능/공부 2024.04.14

고급 인공지능 활용 - 중간고사 정리 (파이썬 기본, 데이터 정리, 인공지능이란...)

지능 – 인간이 가지는 고유한 성질, 생각하고 이해함으로써 행동으로 옮기는 능력 인공지능 : 컴퓨터가 학습하고 생각하여 스스로 판단할 수 있게 만드는 기술 사전적 개념 지성을 갖춘 존재, 시스템에 의해 만들어진 인공지능 전통적 개념 컴퓨터가 인간의 행동을 모방할 수 있게 하는 소프트웨어 기술적 개념 인간의 지능으로 할 수 있는 사고 합승 등을 컴퓨터가 할 수 있게 하는 방법을 연구하는 학문 프로그래밍 : 사람이 구현 vs 인공지능 : 스스로 데이터 학습 인공지능의 첫 등장 1956년 다트머스 컨퍼런스 전제: 학습의 모든 측면, 지능의 모든 특성이 원칙적으로 정확히 기술> 묘사하는 기계 연구 목표 – 사람의 다양한 능력을 컴퓨터가 대신 인공지능의 발달> 로봇의 기능 향상> 실생활에 로봇 도입 > 새로운 결..

인공지능/공부 2024.04.13

고급 인공지능 활용 과제 5 - 분류하기, 클러스터링

from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns data = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/titanic.csv') data = data.drop(['Name','Ticket'],axis=1) # 이름과 티켓 값은 생존과 관련 없기 때문이다. data = pd.get_dummies(data,columns=['Sex','Embarked'],drop_first = True)# 데이터 세분화 하면서 데이터 갯수 줄이기 (남자..

인공지능/공부 2024.04.13

고급 인공지능 활용 과제 4 - knn, 결정트리, 로지스틱 회귀

로지스틱 및 KNN은 과제 3에서 진행했으므로 빠르게 결과를 볼 수 있도록 진행한다. 로지스틱 회귀 import pandas as pd from google.colab import drive drive.mount('/content/drive') data = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/titanic.csv') data = data.drop(['Name','Ticket'],axis=1) # 이름과 티켓 값은 생존과 관련 없기 때문이다. data = pd.get_dummies(data,columns=['Sex','Embarked'],drop_first = True)# 데이터 세분화 하면서 데이터 갯수 줄이기 (남자 여자에서 하나 지우고, 3개중..

인공지능/공부 2024.04.13

고급 인공지능 활용 과제 3 - 로지스틱 회귀, KNN 알고리즘, 스케일링

import pandas as pd from google.colab import drive drive.mount('/content/drive') data = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/titanic.csv') ###로지스틱 회귀 모델 data = data.drop(['Name','Ticket'],axis=1) # 이름과 티켓 값은 생존과 관련 없기 때문이다. data = pd.get_dummies(data,columns=['Sex','Embarked'],drop_first = True)# 데이터 세분화 하면서 데이터 갯수 줄이기 (남자 여자에서 하나 지우고, 3개중에 하나 지우기) data.head() data.corr() # 데이터 간의..

인공지능/공부 2024.04.13

자연어 처리 정리 - 8강 Machine Translation with RNN

continuous inputs - time series - 날짜, 주가 등 시간의 순서가 있는 data 마지막은 각각의 인풋이 새로운 결과를 만든다. 여기서 Whh, Wxh, Wyh 등 모든 파라미터는 이전 에 사용했던 것과 동일하다. 기본적인 RNN 구조에서 parameter vector는 입력에 한개, 이전 입력에 대해 넘어 오는 것에서 한개, 출력으로 보내는 것에 한 개 있잖아 그럼 이 파라미터들은 t-1 시점이랑 t 시점이랑 값이 똑같은거야? 기본적인 RNN(Recurrent Neural Network) 구조에서는 시간에 따라 입력되는 다양한 시점의 데이터를 처리할 때, 모든 시점에서 같은 파라미터(가중치)를 공유합니다. 이는 RNN의 핵심 특징 중 하나로, 시간적으로 연속적인 데이터를 처리할 ..

728x90
728x90