공대생 도전 일지

https://arxiv.org/abs/2402.05672 Multilingual E5 Text Embeddings: A Technical ReportThis technical report presents the training methodology and evaluation results of the open-source multilingual E5 text embedding models, released in mid-2023. Three embedding models of different sizes (small / base / large) are provided, offering a balancearxiv.org여기선 다국어 모델의 학습 법과 평가 결과를 제시한다.기존 임베딩 모델을 학습할 땐 단순..

https://arxiv.org/abs/2002.03932 Pre-training Tasks for Embedding-based Large-scale RetrievalWe consider the large-scale query-document retrieval problem: given a query (e.g., a question), return the set of relevant documents (e.g., paragraphs containing the answer) from a large document corpus. This problem is often solved in two steps. The retriarxiv.org문서 검색에 시초인 논문인가 봅니다?기존에는 Doc와 Query 모두 넣..

https://arxiv.org/abs/2506.05176 Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation ModelsIn this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilitiesarxiv.orgLLM을 Embedding 모델로 ..

https://arxiv.org/abs/2506.04344 GEM: Empowering LLM for both Embedding Generation and Language UnderstandingLarge decoder-only language models (LLMs) have achieved remarkable success in generation and reasoning tasks, where they generate text responses given instructions. However, many applications, e.g., retrieval augmented generation (RAG), still rely on separarxiv.org GritLM과 마찬가지로 Generatio..

https://arxiv.org/abs/2501.09749 Enhancing Lexicon-Based Text Embeddings with Large Language ModelsRecent large language models (LLMs) have demonstrated exceptional performance on general-purpose text embedding tasks. While dense embeddings have dominated related research, we introduce the first Lexicon-based EmbeddiNgS (LENS) leveraging LLMs that achiearxiv.org기존 Dense embedding의 문제점을 말합니다.그리고 ..

2025.03.17 - [인공지능/논문 리뷰 or 진행] - Embedding + Generation Model 사전 논문 조사5 - 데이터 셋 및 평가 데이터 정리 Embedding + Generation Model 사전 논문 조사5 - 데이터 셋 및 평가 데이터 정리2024.12.23 - [인공지능/논문 리뷰 or 진행] - ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰 ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰https://arxiv.org/abs/2401.10225 ChatQA: Surpassing GPT-4 onyoonschallenge.tistory.com여기서 ..

https://aclanthology.org/2025.coling-main.94/ Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language ModelsChengkai Huang, Yu Xia, Rui Wang, Kaige Xie, Tong Yu, Julian McAuley, Lina Yao. Proceedings of the 31st International Conference on Computational Linguistics. 2025.aclanthology.org그런데 이 논문은 Embedding + Gen은 아닌 잘 못 찾은 논문이라 ㅎㅎ... 그래도 재밌어서 쭉 읽어 봤습니다. 이 논문은 검색을 언제 진행할까가 주요..

2024.04.15 - [인공지능/자연어 처리] - 자연어 처리 중간 정리 1 자연어 처리 중간 정리 1 2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == yoonschallenge.tistory.com 언어의 특성 - 동음이의어, 사회적 지식, 모호성 단어 -> 형태 -> 문법 -> 의미 -> 대화 품사, 이름, 문법 통계에 기반한 embedding 방식 onehot encoding - 그저 index. 차원이 너무 많다. TD - 통계에 기반한 단어 등장 횟수로 표현한 임베딩. TF- IDF : 이것도 통계에 기반한 임베딩으로 차원이 아..

너무 말도 안되는 문제들은 다 빼버렸습니다... 빈칸 문제 NLP는 ____, 기계학습, 언어학, 사회과학/인문학과 같은 다양한 학문이 융합된 분야입니다. 정답: 인공지능 문장 "One morning I shot an elephant in my pajamas"에서 "shot"는 ____의 문제를 예시로 들 수 있습니다. 정답: 모호성 NLP의 주요 작업 중 하나는 ___인식이며, 이는 텍스트에서 특정 정보를 식별하는 작업입니다. 정답: 개체명 텍스트 분석, 음성 인식, 대화 번역은 모두 NLP에서 ____를 위한 대표적인 예입니다. 정답: 표현 OX 문제 NLP에서 "processing as representation"은 언어를 컴퓨터와의 상호작용을 위해 전달하는 과정을 말한다. (O/X) 정답: O "..

2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == encoding (one hot encoding) -> embedding (vector representation) 근데 이게 언어의 특성 때문에 어렵다! 1. 동음 이의어 2. 사회적으로 공유되는 정보, 지식, 경험들 3. 모호성 POS - 품사 (명사, 형용사, 동사..) Named entities - 인물, 지역, 나라... Syntax - 문법(의존 관계, 수식..) 3강 - word embedding 이전에는 원 핫 인코딩을 통해 단순히 단어 수의 차원을 통해 인코딩하여 sparse..