공대생 도전 일지

2024.09.05 - [인공지능/자연어 처리] - ESC Task, ESConV 평가 방식 ESC Task, ESConV 평가 방식더보기ESC와 ESConV는 감성 인식 및 감성 대화와 관련된 자연어 처리(NLP) 분야에서 중요한 개념입니다. 특히 감성(감정)을 인식하고 이를 기반으로 대화하는 모델을 만들려는 목적이라면 유용한 도yoonschallenge.tistory.com위 글에서 감성적인 LLM에 대해 평가를 어떻게 진행해야 할까 찾아보다가 논문 리뷰를 진행하게 되었습니다.여기에 사용된 EGS라는 방법이 전문가와의 큰 차이도 없고, 자동화가 편해 프로젝트에 큰 도움이 될 것 같네요https://arxiv.org/abs/2401.06836 Enhancing Emotional Generation Ca..

더보기ESC와 ESConV는 감성 인식 및 감성 대화와 관련된 자연어 처리(NLP) 분야에서 중요한 개념입니다. 특히 감성(감정)을 인식하고 이를 기반으로 대화하는 모델을 만들려는 목적이라면 유용한 도구들이 될 수 있습니다. 각 개념에 대해 간단히 설명하겠습니다.1. ESC Task (Emotion Sentence Classification Task)ESC는 감정 문장 분류 작업을 의미합니다. 이 작업은 문장을 입력으로 받아 그 문장에서 나타나는 감정을 분류하는 것을 목표로 합니다. 감정 범주는 주로 긍정, 부정, 중립 등의 기본적인 분류부터 기쁨, 슬픔, 분노, 공포 등 세부적인 감정 상태까지 다양할 수 있습니다.ESC Task는 감정 분석 모델을 만들 때 핵심적인 작업 중 하나입니다. 감정 문장 분류..

LLM을 설명할 방법이 없을까 생각하면서 웹을 뒤적거리다가 파라미터가 전부 활성화 되어있는 것이 아닌 일부분만 활성화 되어있는 것을 볼 수 있었습니다.그럼 이런 파라미터를 버리면 되는거 아닌가? 하고 찾아보니 pruning이라는 방법이 있었습니다. ㅎㅎhttps://simpling.tistory.com/50 Neural Network Pruning - 모델 경량화Intro Pruning은 neural network를 경량화하고자 할 때 사용하는 방법입니다. Figure 1은 pruning을 잘 보여주는 그림입니다. 모든 node가 연결이 되어있던 왼쪽 그림으로 오른쪽과 같이 synapse(혹은 edge)와 neurosimpling.tistory.com이 부분에 대한 정리는 이 분 블로그에서 보고 배웠습니..

press conference 기자회견press 누르다, 밀다강제 모집, 징발resume [동] 재개하다 as of ~부로 completion [명] 완성ease [동] 완화시키다 traffic congestion 교통체증congestion 밀집, 정체, 과로deteriorating [형] 악화되는 affordable [형] 저렴한 flexible [형] 융통성이 있는perform [동] 실시하다, 수행하다 gather [동] 모으다, 수집하다 somewhat [부] 다소, 어느 정도, 약간promotional code 판촉용 할인 코드 device [명] 기기, 장치 sign up for ~에 등록하다, ~을 신청하다express train 고속열차 city official 시 공무원constructi..

pile 쌓아 올리다더미, 산더미 staircase [명] 계단regular routine check-up 정기 검진leave [동] 놔두다be free to do ~할 시간이 나다 take the freeway 고속도로를 타다following [전] ~ 후에 sign a contract 계약을 맺다, 계약서에 서명하다wonder if ~여부를 궁금해 하다 job application 구직departure [명] 출발, 떠남 stopover [명] (중간) 기착지 destination [명] 목적지, 도착지 be afraid that ~해서 유감이다 severely [부] 극심하게, 심각하게 inclement weather conditions 악천후inclement 날씨가 험한, 혹독한, 추훈 be es..

Pre-training = 특정 task로 특화하기 전 일반적인 data를 통해 먼저 학습하는 단계로 일반화된 언어 특성을 학습  1. 과거의 사전학습과거에는 딥러닝의 학습이 잘 진행되지 않아 레이어를 각각 학습시키고, 합치는 형식으로 진행  2. 사전 학습된 워드 임베딩  - Word2Vec, FastText,GloVe단어의 의미를 Dense 벡터 표현에 성공적으로 압축BUT 단어의 형태학적 특성을 반영하지 못하고, OOV 처리가 어려우며, 단어 사전이 클수록 학습하는데 오래걸린다는 단점이 있다. 3. 사전 학습된 언어 모델 ELMo한 단어에 여러 의미가 있으면 벡터 값이 달라지기에 위의 Word2Vec와 같은 한계를 어느정도 해결 그러나 LSTM기반을 벗어나지 못해 구조적인 문제가 발생고정된 크기 벡..

기존 RNN 모델의 성능이 별로였던 이유 - 입 출력이 고정되어 언어에 활용하기 부족한 점이 있다!what are you doing now ?너     지금  뭐해 ?   - ---------이렇게 비는 경우가 생긴다. Seq2Seq - LSTM으로 이루어진 Encoder와 Decoder을 통해 가변적인 길이의 입 출력을 가능하게 한다.Encoder - 입력된 문장을 context vector에 압축(인코딩)하여 정보 저장  -> 문장 수준의 벡터 활용 가능Decoder - context vector를 통해 출력 문장 생성 한계 - 고정된 크기의 context vector때문에 정보 손실, LSTM을 사용하기 때문에 Vanishing Gradient 문제 발생attention의 등장으로 입력 시퀸스의 길..

한국어는 교착어로 조사나 어미가 발달되어 있기 때문에 띄어쓰기 단위인 어절로 토큰화를 진행하면 의미적인 훼손이 일어난다.형태소를 추출하여 분리하는 작업이 선행되어야 의미를 이해하는데 도움이 된다.품사 태깅(POS)도 중요하다.ex) fly = 날다(동사), 파리(명사)오타와, 띄어쓰기가 없어도 형태소 분석기를 사용하면 잘 분류하나, 종류마다 성능이 다 다르다.정제 과정은 아래에서 확인 가능합니다.2024.03.05 - [인공지능/자연어 처리] - 한국어 데이터 전처리 - 한국어 코퍼스 전처리 Python 실습 한국어 데이터 전처리 - 한국어 코퍼스 전처리 Python 실습한국어 코퍼스 전처리 실습 Introduction Chapter 2. 한국어 데이터 전처리 강의의 한국어 코퍼스 전처리 실습 강의입니다..

nominate(후보자로)지명하다.nominate 는 사람을 목적어로 취해 그 사람을 '임명하다, 추천하다'의 뜻으로 뒤에 전치사 (for/as)와 함께 사용 된다.conditionally조건부로 appliance기기, 가전제품respective각각의 respect존경하다 strategically전략적으로briefly간략히, 잠시vendor판매자brief간결한, 간단한~에게 간단히 알리다.integral [형] 필수적인within [전] ~이내에 until further notice 추후 공지가 있을 때까지 burst [명] 폭발since '~이래로, 이후로' prior to '전에'job market 구직 시장 competitive [형] 경쟁하는 prepare oneself for ~에 스스로 대비하..

go through 살펴보다, 조사하다 examine [동] 검토하다, 점검하다 as noted 언급된 대로 come with ~이 딸려오다 defective [형] 결함있는, 하자있는 come by 방문하다 overall [형] 전반적인 wear out 마모되다 besides [부] 게다가, 뿐만 아니라 components [명] 부품 detect [동] 감지하다 expire [동] 만료되다 in good working order (기계 등이) 제대로 작동하는invoice [명] 거래내역서, 송장 description [명] 설명, 묘사 completion [명] 완료 quite [부] 상당히, 꽤 have A on board A와 한 배를 타다, A를 합류시키다 workload [명] 작업량, 업무량..