자연어 처리 살펴보기 - 다양한 자연어 처리 Task 소개

목표 - 다양한 자연어 처리 Task들에 대한 목적과 수행 방법을 이해할 수 있다.

text classification - 긍정 부정 분류

정보 추출

문장 변환 및 생성

품사 분류 및 관계

토픽, 키워드 추출

챗봇

자연어 추론

text classification

어뷰징 디텍션 - 위험한 말들을 분류(선정성, 공격성 등)

information retrieval and document ranking

유사도 - 얼마나 유사한

text to text Generation

번역, 요약, 생성(이루다)

기계 번역 작업

텍스트 요약 작업

추출요약 - 기계적 방식으로 요약 -> 원문에서 중요한 문장을 뽑기

추상요약 - 문장을 사람이 요약하듯 요약 -> 문장 전체를 원문에 없는 문장으로 만들기

사람이 작성한 것 같은 텍스트!!!!!!

chat GPT나 이루다가 여기에 포함

개체명 인식

엔티티는 명사와는 다르다.

개체명 인식 -> 엔티티 구별

관계 추출 작업

둘 이상의 엔티티에서 발생한다.

종속 관계가 나온다!

추상 요약과 추출 요약 중 추출 요약에 해당한다.

키워드 추출 작업

원본 문서 안에 없는 단어가 나올 수 있어야 한다. 추상 요약의 일부분이라 볼 수 있다.

Chatbots

이루다 - 일상 대화 -> 자연스럽게 흘러가기만 하면 된다.

Text Reasoning

계산 과정을 뜻한다.

1. 태양의 온도는 몇도일까? -> 태양 문서 안에서 찾는다.

2. 전제와 가설 간의 관계를 추론한다.

글을 검사하는 작업을 한다.

DATA <-> Text

Data = text를 포함한 사진과, 음성 등 다양한 정보들

ex) 달리

multi modal이 여기에 포함?