공대생 도전 일지

https://arxiv.org/abs/2501.09749 Enhancing Lexicon-Based Text Embeddings with Large Language ModelsRecent large language models (LLMs) have demonstrated exceptional performance on general-purpose text embedding tasks. While dense embeddings have dominated related research, we introduce the first Lexicon-based EmbeddiNgS (LENS) leveraging LLMs that achiearxiv.org기존 Dense embedding의 문제점을 말합니다.그리고 ..

2025.03.17 - [인공지능/논문 리뷰 or 진행] - Embedding + Generation Model 사전 논문 조사5 - 데이터 셋 및 평가 데이터 정리 Embedding + Generation Model 사전 논문 조사5 - 데이터 셋 및 평가 데이터 정리2024.12.23 - [인공지능/논문 리뷰 or 진행] - ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰 ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰https://arxiv.org/abs/2401.10225 ChatQA: Surpassing GPT-4 onyoonschallenge.tistory.com여기서 ..

https://aclanthology.org/2025.coling-main.94/ Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language ModelsChengkai Huang, Yu Xia, Rui Wang, Kaige Xie, Tong Yu, Julian McAuley, Lina Yao. Proceedings of the 31st International Conference on Computational Linguistics. 2025.aclanthology.org그런데 이 논문은 Embedding + Gen은 아닌 잘 못 찾은 논문이라 ㅎㅎ... 그래도 재밌어서 쭉 읽어 봤습니다. 이 논문은 검색을 언제 진행할까가 주요..

2024.04.15 - [인공지능/자연어 처리] - 자연어 처리 중간 정리 1 자연어 처리 중간 정리 1 2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == yoonschallenge.tistory.com 언어의 특성 - 동음이의어, 사회적 지식, 모호성 단어 -> 형태 -> 문법 -> 의미 -> 대화 품사, 이름, 문법 통계에 기반한 embedding 방식 onehot encoding - 그저 index. 차원이 너무 많다. TD - 통계에 기반한 단어 등장 횟수로 표현한 임베딩. TF- IDF : 이것도 통계에 기반한 임베딩으로 차원이 아..

너무 말도 안되는 문제들은 다 빼버렸습니다... 빈칸 문제 NLP는 ____, 기계학습, 언어학, 사회과학/인문학과 같은 다양한 학문이 융합된 분야입니다. 정답: 인공지능 문장 "One morning I shot an elephant in my pajamas"에서 "shot"는 ____의 문제를 예시로 들 수 있습니다. 정답: 모호성 NLP의 주요 작업 중 하나는 ___인식이며, 이는 텍스트에서 특정 정보를 식별하는 작업입니다. 정답: 개체명 텍스트 분석, 음성 인식, 대화 번역은 모두 NLP에서 ____를 위한 대표적인 예입니다. 정답: 표현 OX 문제 NLP에서 "processing as representation"은 언어를 컴퓨터와의 상호작용을 위해 전달하는 과정을 말한다. (O/X) 정답: O "..

2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == encoding (one hot encoding) -> embedding (vector representation) 근데 이게 언어의 특성 때문에 어렵다! 1. 동음 이의어 2. 사회적으로 공유되는 정보, 지식, 경험들 3. 모호성 POS - 품사 (명사, 형용사, 동사..) Named entities - 인물, 지역, 나라... Syntax - 문법(의존 관계, 수식..) 3강 - word embedding 이전에는 원 핫 인코딩을 통해 단순히 단어 수의 차원을 통해 인코딩하여 sparse..