공대생 도전 일지

이전 글에서 이어진다 하긴 애매하지만 제 정보를 저장해놓고 보기 편하게 하려고 만드는 저장소입니다...2024.12.10 - [인공지능/Agent] - Negotiation AI 1 정보의 싸" data-og-host="yoonschallenge.tistory.com" data-og-source-url="https://yoonschallenge.tistory.com/907" data-og-url="https://yoonschallenge.tistory.com/907" data-og-image="https://scrap.kakaocdn.net/dn/bLohT6/hyXKubelU7/khviVLBLaPUc18X8hbkCLk/img.png?width=800&height=464&face=0_0_800_464,ht..

2024.11.08 - [인공지능/XAI] - Sparse Autoencoder를 통한 LLM의 Bias 줄이기 - 성에 따른 직업 4조금씩 잡혀가는 모습입니다... import osfrom setproctitle import setproctitlesetproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = "0"import torchfrom tqdm import tqdmimport plotly.express as pximport pandas as pdimport numpy as np# Imports for displaying vis in Colab / notebooktorch.set_grad_enabled(False)# For the most part I'll try ..

https://arxiv.org/abs/2311.05997 JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language ModelsAchieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle whenarxiv.orgJARVIS-1은 멀티모달..

LLM을 설명할 방법이 없을까 생각하면서 웹을 뒤적거리다가 파라미터가 전부 활성화 되어있는 것이 아닌 일부분만 활성화 되어있는 것을 볼 수 있었습니다.그럼 이런 파라미터를 버리면 되는거 아닌가? 하고 찾아보니 pruning이라는 방법이 있었습니다. ㅎㅎhttps://simpling.tistory.com/50 Neural Network Pruning - 모델 경량화Intro Pruning은 neural network를 경량화하고자 할 때 사용하는 방법입니다. Figure 1은 pruning을 잘 보여주는 그림입니다. 모든 node가 연결이 되어있던 왼쪽 그림으로 오른쪽과 같이 synapse(혹은 edge)와 neurosimpling.tistory.com이 부분에 대한 정리는 이 분 블로그에서 보고 배웠습니..