공대생 도전 일지

ChatLLM Network: More brains, More intelligence - 논문 리뷰

https://arxiv.org/abs/2304.12998 ChatLLM Network: More brains, More intelligenceDialogue-based language models mark a huge milestone in the field of artificial intelligence, by their impressive ability to interact with users, as well as a series of challenging tasks prompted by customized instructions. However, the prevalent large-scaarxiv.org 여러 개의 LLM이 협력하며 작업을 진행하는데 거기에 Reflection을 추가했습니다.그 R..

Improving Phrase Chunking by using Contextualized Word Embeddings for a Morphologically Rich Language

https://link.springer.com/article/10.1007/s13369-021-06343-7이 논문은 토큰 임베딩 관련 논문이었습니다.우르두라는 형태론적으로 복잡한 언어에서 문구를 정확히 분할하기도 어렵고, 임베딩이 다의어와 문맥 의존적인 내용을 잘 못 담아 냈습니다.그래서 기존 비문맥적 워드투백터에서 문맥적인 임베딩을 읽을 수 있는 ELMo를 통해 문맥을 훨씬 더 파악할 수 있게 되었고, 청킹 과정 또한 개선해 냈습니다.  연구 문제- 우르두와 같은 형태론적으로 복잡한 언어에서 문구(chunk)를 정확히 분할하기 어려움.- 기존 비문맥적 임베딩(Word2Vec)은 다의어와 문맥 의존성을 반영하지 못함.연구 목적- 문맥 기반 임베딩(ELMo)을 활용하여 우르두 언어의 문구 청킹 성능을 개..

Interpretable semantic textual similarity of sentences using alignment of chunks with classification and regression - 논문 리뷰

https://link.springer.com/article/10.1007/s10489-020-02144-x 청킹에 대해 찾아보다가 이 논문을 보게 되었습니다.문서에 대한 청킹을 찾으려고 했는데 여긴 문장 단위 청킹이 들어가서 좀 다른 내용이긴 하지만 그래도 뭔가 새로운 내용을 배운 것 같습니다.이러한 방법을 문서 단위 청킹으로 들어가기엔 컴퓨팅 자원이 너무 들어가서 사용 불가능할 것 같지만 그래도 문장을 작은 의미 단위로 나눠 청크를 비교하고, 유사도를 계산하며 쌍 분류를 통해 직관적인 해석을 보여줘 높은 점수를 받았습니다.논문의 발표 년도가 좀 오래 되기도 했고, 지금과 같은 초 거대 LLM시대엔 좀 다를 것 같긴 합니다...? 연구 목표문장 간 유사성(semantic textual similarit..

Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models - 논문 리뷰

https://arxiv.org/abs/2409.04701 Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding ModelsMany use cases require retrieving smaller portions of text, and dense vector-based retrieval systems often perform better with shorter text segments, as the semantics are less likely to be over-compressed in the embeddings. Consequently, practitioners oftearxiv.org    논문의 목적문서를 청크 단위로 나..

Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words - 논문 리뷰

https://academic.oup.com/cercor/article/33/8/4448/6702814 오 이 논문은 진짜 뇌에 대해 연구한 논문이었습니다. 사람이 언어를 어떻게 인지하여 뇌에서 판단하는지.... 이 연구는 Delta-band 신경 활동이 문장 처리에서 구문적 청크(chunking)와 의미적 연관성에 의해 어떻게 달라지는지를 비교MEG 데이터를 사용하여 1 Hz와 2 Hz 주파수 대역에서의 신경 반응을 측정하고, Word2Vec 모델로 예측한 의미적 연관성을 기반으로 신경 반응을 분석연구 결과, 구문적 청크 형성이 1 Hz 신경 반응을 주도하며, 의미적 연관성은 그 기여도가 상대적으로 낮음을 보여줌Sentence sequence와 paired-word sequence에서 강한 1 Hz 반..

RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and Action Chunking - 논문 리뷰

https://arxiv.org/abs/2309.01918 RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and Action ChunkingThe grand aim of having a single robot that can manipulate arbitrary objects in diverse settings is at odds with the paucity of robotics datasets. Acquiring and growing such datasets is strenuous due to manual efforts, operational costs, and safety challen..

Is Semantic Chunking Worth the Computational Cost? - 논문 리뷰

https://arxiv.org/abs/2410.13070 Is Semantic Chunking Worth the Computational Cost?Recent advances in Retrieval-Augmented Generation (RAG) systems have popularized semantic chunking, which aims to improve retrieval performance by dividing documents into semantically coherent segments. Despite its growing adoption, the actual benefits ovearxiv.org 제가 생각했던 내용을 논문으로 정리해놨는데성능이 나빠진 다는 것이 오히려 의외였습니다....

BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models - 논문 리뷰

https://arxiv.org/abs/2404.12494 BIRD: A Trustworthy Bayesian Inference Framework for Large Language ModelsPredictive models often need to work with incomplete information in real-world tasks. Consequently, they must provide reliable probability or confidence estimation, especially in large-scale decision making and planning tasks. Current large language modelsarxiv.org    연구 목적대규모 언어 모델(LLM)의 확..

https://arxiv.org/abs/2307.05300 Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-CollaboratioHuman intelligence thrives on cognitive synergy, where collaboration among different minds yield superior outcomes compared to isolated individuals. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM..

https://arxiv.org/abs/2402.12327 Shall We Team Up: Exploring Spontaneous Cooperation of Competing LLM AgentsLarge Language Models (LLMs) have increasingly been utilized in social simulations, where they are often guided by carefully crafted instructions to stably exhibit human-like behaviors during simulations. Nevertheless, we doubt the necessity of shaping agearxiv.org 이 논문은 LLM 에이전트들이 경쟁적 환경에..