공대생 도전 일지

GritLM 코드 까보기, 진행해보기

2025.02.25 - [인공지능/논문 리뷰 or 진행] - GRIT 생성과 Embedding을 동시에 Generative Representational Instruction Tuning - 논문 리뷰 GRIT 생성과 Embedding을 동시에 Generative Representational Instruction Tuning - 논문 리뷰https://arxiv.org/abs/2402.09906 기존 모델들은 생성만 잘하거나, Embedding만 잘 진행하였습니다.그리하여 둘 다 잘 하도록 두개 다 학습을 진행한 GRIT이 등장합니다.생성과 Representation 모두 진행하여 학yoonschallenge.tistory.com gritLM는 임베딩과 generation을 동시에 진행하는 모델이라 코..

파이썬 복습 - Data Frame

df.index # ~ df.keys() #list()df.keys()이렇게 키와 인덱스에도 접근이 가능하다. df에서 인덱스로 접근은 조금 다른 방식으로 진행된다. 넵다 df[0]은 오류가 발생한다.이렇게 진행해야 제대로 된 값을 출력하는 것을 볼 수 있다. 이렇게 key 값으로도 접근이 가능하다. 두 개 이상의 열을 확인할 때는 이중 list를 사용해서 두개 다 표현해준다. 특정 row와 col에 접근할 땐 이렇게 해야 한다. df["age"]=[10,10,10,30,30]이렇게 해서 나이를 추가할 수 있다. 이젠 인덱스를 특정한 열로 변경을 해본다. boolen 값을 이용해 여러개 중 하나만 뽑을 땐 df안에 넣어서 참, 거짓을 활용한다.이런 형식을 통해 출력이 되는 것이다.여기선 df 순서가 좀 ..

ATP-LLaVA: Adaptive Token Pruning for Large Vision Language Models - 논문 리뷰

https://arxiv.org/abs/2412.00447 ATP-LLaVA: Adaptive Token Pruning for Large Vision Language ModelsLarge Vision Language Models (LVLMs) have achieved significant success across multi-modal tasks. However, the computational cost of processing long visual tokens can be prohibitively expensive on resource-limited devices. Previous methods have identified rarxiv.org Pruning은 모델에 쓸모 없는 파라미터를 버리기 위해 하..

Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios - 논문 리뷰

https://aclanthology.org/2024.findings-acl.259.pdf https://arxiv.org/abs/2401.17167 Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex ScenariosThe recent trend of using Large Language Models (LLMs) as tool agents in real-world applications underscores the necessity for comprehensive evaluations of their capabilities, particularly in complex sce..

ALFWorld 뜯어보기

https://alfworld.github.io/ ALFWorldAligning Text and Embodied Environments for Interactive Learningalfworld.github.io https://github.com/alfworld/alfworld GitHub - alfworld/alfworld: ALFWorld: Aligning Text and Embodied Environments for Interactive LearningALFWorld: Aligning Text and Embodied Environments for Interactive Learning - alfworld/alfworldgithub.com여기서 다운받을 수 있습니다. alfred.pddl에서는 각 ta..

https://arxiv.org/abs/2410.18387 Interpretable Bilingual Multimodal Large Language Model for Diverse Biomedical TasksSeveral medical Multimodal Large Languange Models (MLLMs) have been developed to address tasks involving visual images with textual instructions across various medical modalities, achieving impressive results. Most current medical generalist models are regarxiv.org 지금 존재하는 모델들은 Re..

print("awegaewg",3,"awegawegaweg",654684,"\n\naegage")print에선 ,를 통해 여러가지 출력할 수 있다. List a = [1,2,3,[4,5,6],[7,8],9]print(a)이렇게 부분만 지정해줄 수 있습니다. -는 뒤에서부터 숫자를 세기에 2개가 빠지는 것을 볼 수 있습니다.List는 독립적이지 않습니다.그렇기에 .copy를 통해 독립적으로 만들어 줘야 함  생성할 때 곱하기 연산자도 사용 가능합니다. 이걸 통해 좀 더 다양하게 생성 가능!이렇게 되니 조심해야 합니다. 다양하게 응용해서 생성 가능합니다. append를 통해서 list에 값 추가 가능  저 곱하기 기호는 조심해서 사용하긴 해야 겠네요  count를 통해 list안에 몇개가 있는지 알 수 있습..

class로 된 python이라 self나 다른 것 들이 붙어있긴 한데 적당히 보면 될 것 같습니다.기록 용이라....from datasets import load_from_disk, DatasetDictimport argparse, os, json, torch, itertools, math, refrom typing import List, Dict, Tuplefrom scipy.special import digammafrom vllm import LLM, SamplingParamsfrom collections import defaultdict, Counterfrom transformers import AutoTokenizerfrom setproctitle import setproctitle 일단 전부 ..

https://arxiv.org/abs/2411.10979 VidComposition: Can MLLMs Analyze Compositions in Compiled Videos?The advancement of Multimodal Large Language Models (MLLMs) has enabled significant progress in multimodal understanding, expanding their capacity to analyze video content. However, existing evaluation benchmarks for MLLMs primarily focus on abstract videoarxiv.org AbstractMultimodal LLM(MLLMs)는 상당..

https://arxiv.org/abs/2401.14016 Towards Uncertainty-Aware Language AgentWhile Language Agents have achieved promising success by placing Large Language Models at the core of a more versatile design that dynamically interacts with the external world, the existing approaches neglect the notion of uncertainty during these interacarxiv.org 최근에 준비하고 있던 주제인데 이미 선행 자료가 있었더라고요...?그렇게 찾을 땐 안나오더니 하필... 여..