공대생 도전 일지

https://arxiv.org/abs/2005.14165 Language Models are Few-Shot LearnersRecent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fiarxiv.orghttps://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Eli..

https://github.com/jina-ai/late-chunking GitHub - jina-ai/late-chunking: Code for explaining and evaluating late chunking (chunked pooling)Code for explaining and evaluating late chunking (chunked pooling) - jina-ai/late-chunkinggithub.com 일단 코드는 여기서 나왔습니다.코드에 익숙해지기 위해 조금 제맘대로 파 해치기도 했습니다.청크 풀링 (Chunked Pooling)그 다음으로, 우리가 임베딩에 사용할 모델을 로드합니다. 여기에서는 jinaai/jina-embeddings-v2-base-en을 선택했지만, 평균 풀링..

일단 RAG에 좋은 사이트를 발견해서 기록https://openrag.notion.site/Open-RAG-c41b2a4dcdea4527a7c1cd998e763595#6d4997a734a24a658fafcabb16684abe Open RAG | NotionAn open-source and open-access RAG platformopenrag.notion.site https://arxiv.org/abs/2410.13070 Is Semantic Chunking Worth the Computational Cost?Recent advances in Retrieval-Augmented Generation (RAG) systems have popularized semantic chunking, which aim..

모델을 굽기 위해 데이터를 수집하면서 토큰 수 확인은 필수기에 한번 가지고 왔습니다.from datasets import list_datasets, load_dataset# 데이터셋 불러오기dataset = load_dataset("nvidia/ChatQA-Training-Data","synthetic_convqa")# 데이터셋 분할 정보 확인print(dataset)일단 데이터 불러오기!import pandas as pdimport tiktokendf = pd.DataFrame(dataset["train"])df이제 DataFrame으로 변경하고 데이터 형식 확인하기여기선 다른 이름이 많은데 저는 특정 column만 골라서 사용할 겁니다.import mathdef tokenize_in_batches(d..

2024.12.23 - [인공지능/논문 리뷰 or 진행] - ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰 ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰https://arxiv.org/abs/2401.10225 ChatQA: Surpassing GPT-4 on Conversational QA and RAGIn this work, we introduce ChatQA, a suite of models that outperform GPT-4 on retrieval-augmented generation (RAG) and conversational question answering (Q..

2024.12.23 - [인공지능/논문 리뷰 or 진행] - ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰 ChatQA: Surpassing GPT-4 on Conversational QA and RAG - 논문 리뷰https://arxiv.org/abs/2401.10225 ChatQA: Surpassing GPT-4 on Conversational QA and RAGIn this work, we introduce ChatQA, a suite of models that outperform GPT-4 on retrieval-augmented generation (RAG) and conversational question answering (Q..

DEPS2024.11.27 - [인공지능/논문 리뷰 or 진행] - Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents - 논문 리뷰 Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents - 논https://arxiv.org/abs/2302.01560 Describe, Explain, Plan and Select: Interactive Planning with Large Langua..

https://huggingface.co/blog/moe Mixture of Experts ExplainedMixture of Experts Explained With the release of Mixtral 8x7B (announcement, model card), a class of transformer has become the hottest topic in the open AI community: Mixture of Experts, or MoEs for short. In this blog post, we take a look at the buildinghuggingface.co MoE란? 모델의 규모가 크면 클수록 더 좋은 성과를 보인다.그러나 MoE를 사용하면 훨씬 더 적은 컴퓨팅으로 모델을 학..

https://github.com/huggingface/chat-ui GitHub - huggingface/chat-ui: Open source codebase powering the HuggingChat appOpen source codebase powering the HuggingChat app. Contribute to huggingface/chat-ui development by creating an account on GitHub.github.comhttps://docs.vllm.ai/en/latest/serving/openai_compatible_server.html Chat UI는 모델을 잘 보일 수 있게 사이트를 만들어주는 느낌이고, Vllm은 모델을 빠르게 돌려주는 툴 인것 같네요  일단..

ESC task 설명목적데이터셋기존 kullm v3 학습에 사용한 데이터셋 + esconv 번역한 데이터기존 데이터셋 달라진 점우리 데이터셋 예시실험 결과분석 결과최종 모델 설명 + 데모? ESC task 설명ESC - Emotional Support Conversation감정적 지지를 제공하는 대화 시스템을 정의하는 작업 도움을 요청하는 사용자의 감정적 상태를 파악하고, 그들의 문제를 탐색한 뒤 위로하거나 적절한 조언을 제공, 사용자가 감정적 안정감을 찾도록 돕는 대화 형태 탐색 : 문제를 파악하기 위해 대화하는 단계위로 : 공감을 표현하고 그들의 감정에 대한 이해를 제공하는 단계행동 : 문제를 해결할 수 있는 행동을 제안하는 단계ESConv - Emotional Supprot Conversation ..