공대생 도전 일지

https://arxiv.org/abs/2309.08112 Empowering Private Tutoring by Chaining Large Language ModelsArtificial intelligence has been applied in various aspects of online education to facilitate teaching and learning. However, few approaches has been made toward a complete AI-powered tutoring system. In this work, we explore the development of a full-fledarxiv.org 오 LLM이 선생님이 된다!Memory를 활용하여 아는 것, 모르는 ..

https://arxiv.org/abs/2307.07924 ChatDev: Communicative Agents for Software DevelopmentSoftware development is a complex task that necessitates cooperation among multiple members with diverse skills. Numerous studies used deep learning to improve specific phases in a waterfall model, such as design, coding, and testing. However, the deep leaarxiv.org 이 논문도 이전에 보았던 마인크레프트 Agent와 비슷하게 Long term, S..

항목내용논문의 주제LLM의 협상 대화에서의 다면적 능력을 체계적으로 평가.연구 목표- 협상 대화에서 LLM의 이해, 주석, 파트너 모델링, 응답 생성 능력을 평가.- LLM을 활용한 협상 시스템의 가능성과 한계를 탐구.데이터셋CRA, DND, CA(CaSiNo), JI(Job Interview) 등 총 4개 데이터셋 사용.- Multi-Issue Bargaining Task(MIBT) 기반으로 협상 시나리오 설계.평가 방식- 태스크 설계: 35개 태스크로 세분화(이해, 주석, 파트너 모델링, 응답 생성).- 시간 단계: 협상 시작(Start), 진행(During), 종료(End)로 구분.- 객관적(정답 존재) 및 주관적(심리 상태 추론) 평가로 나눔.비교 모델GPT-4, GPT-3.5, Mistral-7..

https://arxiv.org/abs/2402.12354 LoRA+: Efficient Low Rank Adaptation of Large ModelsIn this paper, we show that Low Rank Adaptation (LoRA) as originally introduced in Hu et al. (2021) leads to suboptimal finetuning of models with large width (embedding dimension). This is due to the fact that adapter matrices A and B in LoRA are updated warxiv.org기존 LoRA가 A,B 모두 같은 학습률을 가졌다면 여기서 A,B는 다른 학습률을 가져..