공대생 도전 일지

https://arxiv.org/abs/1908.10084 Sentence-BERT: Sentence Embeddings using Siamese BERT-NetworksBERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes aarxiv.org RAG가 상용화 될 수 있었던 논문인 것 같습니다.기존 엄청나게 오..

https://arxiv.org/abs/2312.10997 Retrieval-Augmented Generation for Large Language Models: A SurveyLarge Language Models (LLMs) showcase impressive capabilities but encounter challenges like hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution byarxiv.org  이 논문도 서베이 논문이었습니다.RAG에 대한 조사를 진행..

https://arxiv.org/abs/2304.12998 ChatLLM Network: More brains, More intelligenceDialogue-based language models mark a huge milestone in the field of artificial intelligence, by their impressive ability to interact with users, as well as a series of challenging tasks prompted by customized instructions. However, the prevalent large-scaarxiv.org 여러 개의 LLM이 협력하며 작업을 진행하는데 거기에 Reflection을 추가했습니다.그 R..

https://link.springer.com/article/10.1007/s13369-021-06343-7이 논문은 토큰 임베딩 관련 논문이었습니다.우르두라는 형태론적으로 복잡한 언어에서 문구를 정확히 분할하기도 어렵고, 임베딩이 다의어와 문맥 의존적인 내용을 잘 못 담아 냈습니다.그래서 기존 비문맥적 워드투백터에서 문맥적인 임베딩을 읽을 수 있는 ELMo를 통해 문맥을 훨씬 더 파악할 수 있게 되었고, 청킹 과정 또한 개선해 냈습니다.  연구 문제- 우르두와 같은 형태론적으로 복잡한 언어에서 문구(chunk)를 정확히 분할하기 어려움.- 기존 비문맥적 임베딩(Word2Vec)은 다의어와 문맥 의존성을 반영하지 못함.연구 목적- 문맥 기반 임베딩(ELMo)을 활용하여 우르두 언어의 문구 청킹 성능을 개..

https://link.springer.com/article/10.1007/s10489-020-02144-x 청킹에 대해 찾아보다가 이 논문을 보게 되었습니다.문서에 대한 청킹을 찾으려고 했는데 여긴 문장 단위 청킹이 들어가서 좀 다른 내용이긴 하지만 그래도 뭔가 새로운 내용을 배운 것 같습니다.이러한 방법을 문서 단위 청킹으로 들어가기엔 컴퓨팅 자원이 너무 들어가서 사용 불가능할 것 같지만 그래도 문장을 작은 의미 단위로 나눠 청크를 비교하고, 유사도를 계산하며 쌍 분류를 통해 직관적인 해석을 보여줘 높은 점수를 받았습니다.논문의 발표 년도가 좀 오래 되기도 했고, 지금과 같은 초 거대 LLM시대엔 좀 다를 것 같긴 합니다...? 연구 목표문장 간 유사성(semantic textual similarit..

https://arxiv.org/abs/2409.04701 Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding ModelsMany use cases require retrieving smaller portions of text, and dense vector-based retrieval systems often perform better with shorter text segments, as the semantics are less likely to be over-compressed in the embeddings. Consequently, practitioners oftearxiv.org    논문의 목적문서를 청크 단위로 나..

https://academic.oup.com/cercor/article/33/8/4448/6702814 오 이 논문은 진짜 뇌에 대해 연구한 논문이었습니다. 사람이 언어를 어떻게 인지하여 뇌에서 판단하는지.... 이 연구는 Delta-band 신경 활동이 문장 처리에서 구문적 청크(chunking)와 의미적 연관성에 의해 어떻게 달라지는지를 비교MEG 데이터를 사용하여 1 Hz와 2 Hz 주파수 대역에서의 신경 반응을 측정하고, Word2Vec 모델로 예측한 의미적 연관성을 기반으로 신경 반응을 분석연구 결과, 구문적 청크 형성이 1 Hz 신경 반응을 주도하며, 의미적 연관성은 그 기여도가 상대적으로 낮음을 보여줌Sentence sequence와 paired-word sequence에서 강한 1 Hz 반..

https://arxiv.org/abs/2309.01918 RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and Action ChunkingThe grand aim of having a single robot that can manipulate arbitrary objects in diverse settings is at odds with the paucity of robotics datasets. Acquiring and growing such datasets is strenuous due to manual efforts, operational costs, and safety challen..

https://arxiv.org/abs/2410.13070 Is Semantic Chunking Worth the Computational Cost?Recent advances in Retrieval-Augmented Generation (RAG) systems have popularized semantic chunking, which aims to improve retrieval performance by dividing documents into semantically coherent segments. Despite its growing adoption, the actual benefits ovearxiv.org 제가 생각했던 내용을 논문으로 정리해놨는데성능이 나빠진 다는 것이 오히려 의외였습니다....

https://arxiv.org/abs/2404.12494 BIRD: A Trustworthy Bayesian Inference Framework for Large Language ModelsPredictive models often need to work with incomplete information in real-world tasks. Consequently, they must provide reliable probability or confidence estimation, especially in large-scale decision making and planning tasks. Current large language modelsarxiv.org    연구 목적대규모 언어 모델(LLM)의 확..