공대생 도전 일지

https://arxiv.org/abs/2307.06945 In-context Autoencoder for Context Compression in a Large Language ModelWe propose the In-context Autoencoder (ICAE), leveraging the power of a large language model (LLM) to compress a long context into short compact memory slots that can be directly conditioned on by the LLM for various purposes. ICAE is first pretrained usinarxiv.org긴 컨텍스트를 이겨내기 위해 다양한 접근 방법이 있..

2025.02.25 - [인공지능/논문 리뷰 or 진행] - GRIT 생성과 Embedding을 동시에 Generative Representational Instruction Tuning - 논문 리뷰일단 시작은 이 논문이겠습니다.생성과 Embedding을 동시에 하는 모델이 있으면 좋겠다 싶었는데 2025 ICLR에 올라간 것 같네요 ㅎㅎ...그래서 이 논문을 인용한 다른 논문들을 확인해보면서 제가 무엇을 할 수 있을지, 좀 더 다른 점을 어떻게 만들 수 있을지 확인해보겠습니다. https://arxiv.org/abs/2403.20327 Gecko: Versatile Text Embeddings Distilled from Large Language ModelsWe present Gecko, a comp..

https://arxiv.org/abs/2402.09906 기존 모델들은 생성만 잘하거나, Embedding만 잘 진행하였습니다.그리하여 둘 다 잘 하도록 두개 다 학습을 진행한 GRIT이 등장합니다.생성과 Representation 모두 진행하여 학습하는 것을 볼 수 있다. 임베딩에서는 양방향 Attention을 사용하고, 생성에서는 단방향 Attention을 진행하는 것을 볼 수 있습니다.진짜 단순한 아이디어였고, Loss도 어려운 수식이 아닙니다.Closed Model인 OpenAI를 이기는 모습을 볼 수 있습니다.Embedding 성능에서 높은 성과를 보이는 것을 볼 수 있습니다. 여기서 8X7B의 성능이 낮은 이유는 배치가 작아졌다는 이유라고 말합니다. 여기선 생성형 능력을 볼 수 있습니다.생성..

https://arxiv.org/abs/2405.17428 NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding ModelsDecoder-only large language model (LLM)-based embedding models are beginning to outperform BERT or T5-based embedding models in general-purpose text embedding tasks, including dense vector-based retrieval. In this work, we introduce the NV-Embed model, incarxiv.org  이 논문에서도 단방향 Attentio..

https://arxiv.org/abs/2404.05961 LLM2Vec: Large Language Models Are Secretly Powerful Text EncodersLarge decoder-only language models (LLMs) are the state-of-the-art models on most of today's NLP tasks and benchmarks. Yet, the community is only slowly adopting these models for text embedding tasks, which require rich contextualized representations. In tarxiv.org 기존 Attention 메커니즘은 전체적인 입력 시퀸스에서 ..

https://arxiv.org/abs/2311.05772 LLM을 Agent로 사용하는 방식엔 크게 두 가지이다.1. 다음 작업을 반복적으로 결정2. LLM을 통해 계획 생성, 하위 작업을 실행그러나 이러한 방법들은 하위 작업들을 실패하면 작업이 실패해 버린다-> 계획을 실행할 수 없는 경우 다시 재귀적으로 분해하여 문제를 해결하는 As-Needed Decomposition And Planning for complex Tasks(ADaPT)를 제안한다. 이 이미지가 너무 명확하게 ADaPT를 설명해줍니다.Excutor에게는 간결한 언어 작업 사양이 제공됩니다. LLM을 통해 Action을 진행하고, 환경과 반복적으로 상호작용하며 완료되거나, 설정된 최대 반복 제한까지 계속됩니다. Task를 원자 수준의..

https://arxiv.org/abs/2404.03275 DELTA: Decomposed Efficient Long-Term Robot Task Planning using Large Language ModelsRecent advancements in Large Language Models (LLMs) have sparked a revolution across many research fields. In robotics, the integration of common-sense knowledge from LLMs into task and motion planning has drastically advanced the field by unlocking unprecarxiv.org 기존 연구들은 장기 작업에..

https://arxiv.org/abs/2305.16653 AdaPlanner: Adaptive Planning from Feedback with Language ModelsLarge language models (LLMs) have recently demonstrated the potential in acting as autonomous agents for sequential decision-making tasks. However, most existing methods either take actions greedily without planning or rely on static plans that are not adaarxiv.org Planner - 작은 단위의 목표로 나누고, 각 목표를 달성하..

https://arxiv.org/abs/2502.09992 Large Language Diffusion ModelsAutoregressive models (ARMs) are widely regarded as the cornerstone of large language models (LLMs). We challenge this notion by introducing LLaDA, a diffusion model trained from scratch under the pre-training and supervised fine-tuning (SFT) paradigm. LLaarxiv.org 이 식이 기존 언어 모델이 예측을 진행하는 순서입니다. 이 식은 기존 생성형 모델이 사용하던 식으로 Diffusion의 식..

https://arxiv.org/abs/2405.16510 Planning with Multi-Constraints via Collaborative Language AgentsThe rapid advancement of neural language models has sparked a new surge of intelligent agent research. Unlike traditional agents, large language model-based agents (LLM agents) have emerged as a promising paradigm for achieving artificial general intelligearxiv.org 여러 제약 조건이 있는 복잡한 작업 계획에 대해 실행 가능하거..