공대생 도전 일지

https://github.com/jina-ai/late-chunking GitHub - jina-ai/late-chunking: Code for explaining and evaluating late chunking (chunked pooling)Code for explaining and evaluating late chunking (chunked pooling) - jina-ai/late-chunkinggithub.com 일단 코드는 여기서 나왔습니다.코드에 익숙해지기 위해 조금 제맘대로 파 해치기도 했습니다.청크 풀링 (Chunked Pooling)그 다음으로, 우리가 임베딩에 사용할 모델을 로드합니다. 여기에서는 jinaai/jina-embeddings-v2-base-en을 선택했지만, 평균 풀링..

https://arxiv.org/abs/2307.16789 ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIsDespite the advancements of open-source large language models (LLMs), e.g., LLaMA, they remain significantly limited in tool-use capabilities, i.e., using external tools (APIs) to fulfill human instructions. The reason is that current instruction tuning laarxiv.org 이 논문은 API를 정리하여 GPT를 이용..

https://arxiv.org/abs/2501.05485 S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic AnalysisDocument chunking is a critical task in natural language processing (NLP) that involves dividing a document into meaningful segments. Traditional methods often rely solely on semantic analysis, ignoring the spatial layout of elements, which is crucial forarxi..

일단 RAG에 좋은 사이트를 발견해서 기록https://openrag.notion.site/Open-RAG-c41b2a4dcdea4527a7c1cd998e763595#6d4997a734a24a658fafcabb16684abe Open RAG | NotionAn open-source and open-access RAG platformopenrag.notion.site https://arxiv.org/abs/2410.13070 Is Semantic Chunking Worth the Computational Cost?Recent advances in Retrieval-Augmented Generation (RAG) systems have popularized semantic chunking, which aim..

https://arxiv.org/abs/1908.10084 Sentence-BERT: Sentence Embeddings using Siamese BERT-NetworksBERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes aarxiv.org RAG가 상용화 될 수 있었던 논문인 것 같습니다.기존 엄청나게 오..

https://arxiv.org/abs/2312.10997 Retrieval-Augmented Generation for Large Language Models: A SurveyLarge Language Models (LLMs) showcase impressive capabilities but encounter challenges like hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution byarxiv.org  이 논문도 서베이 논문이었습니다.RAG에 대한 조사를 진행..

https://arxiv.org/abs/2304.12998 ChatLLM Network: More brains, More intelligenceDialogue-based language models mark a huge milestone in the field of artificial intelligence, by their impressive ability to interact with users, as well as a series of challenging tasks prompted by customized instructions. However, the prevalent large-scaarxiv.org 여러 개의 LLM이 협력하며 작업을 진행하는데 거기에 Reflection을 추가했습니다.그 R..

https://link.springer.com/article/10.1007/s13369-021-06343-7이 논문은 토큰 임베딩 관련 논문이었습니다.우르두라는 형태론적으로 복잡한 언어에서 문구를 정확히 분할하기도 어렵고, 임베딩이 다의어와 문맥 의존적인 내용을 잘 못 담아 냈습니다.그래서 기존 비문맥적 워드투백터에서 문맥적인 임베딩을 읽을 수 있는 ELMo를 통해 문맥을 훨씬 더 파악할 수 있게 되었고, 청킹 과정 또한 개선해 냈습니다.  연구 문제- 우르두와 같은 형태론적으로 복잡한 언어에서 문구(chunk)를 정확히 분할하기 어려움.- 기존 비문맥적 임베딩(Word2Vec)은 다의어와 문맥 의존성을 반영하지 못함.연구 목적- 문맥 기반 임베딩(ELMo)을 활용하여 우르두 언어의 문구 청킹 성능을 개..

https://link.springer.com/article/10.1007/s10489-020-02144-x 청킹에 대해 찾아보다가 이 논문을 보게 되었습니다.문서에 대한 청킹을 찾으려고 했는데 여긴 문장 단위 청킹이 들어가서 좀 다른 내용이긴 하지만 그래도 뭔가 새로운 내용을 배운 것 같습니다.이러한 방법을 문서 단위 청킹으로 들어가기엔 컴퓨팅 자원이 너무 들어가서 사용 불가능할 것 같지만 그래도 문장을 작은 의미 단위로 나눠 청크를 비교하고, 유사도를 계산하며 쌍 분류를 통해 직관적인 해석을 보여줘 높은 점수를 받았습니다.논문의 발표 년도가 좀 오래 되기도 했고, 지금과 같은 초 거대 LLM시대엔 좀 다를 것 같긴 합니다...? 연구 목표문장 간 유사성(semantic textual similarit..

https://arxiv.org/abs/2409.04701 Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding ModelsMany use cases require retrieving smaller portions of text, and dense vector-based retrieval systems often perform better with shorter text segments, as the semantics are less likely to be over-compressed in the embeddings. Consequently, practitioners oftearxiv.org    논문의 목적문서를 청크 단위로 나..