공대생 도전 일지

https://arxiv.org/abs/2310.06694 Sheared LLaMA: Accelerating Language Model Pre-training via Structured PruningThe popularity of LLaMA (Touvron et al., 2023a;b) and other recently emerged moderate-sized large language models (LLMs) highlights the potential of building smaller yet powerful LLMs. Regardless, the cost of training such models from scratch on trillionsarxiv.orgLLaMA와 같은 모델들은 작지만 강력한 ..

https://arxiv.org/abs/2412.00447 ATP-LLaVA: Adaptive Token Pruning for Large Vision Language ModelsLarge Vision Language Models (LVLMs) have achieved significant success across multi-modal tasks. However, the computational cost of processing long visual tokens can be prohibitively expensive on resource-limited devices. Previous methods have identified rarxiv.org Pruning은 모델에 쓸모 없는 파라미터를 버리기 위해 하..

LLM을 설명할 방법이 없을까 생각하면서 웹을 뒤적거리다가 파라미터가 전부 활성화 되어있는 것이 아닌 일부분만 활성화 되어있는 것을 볼 수 있었습니다.그럼 이런 파라미터를 버리면 되는거 아닌가? 하고 찾아보니 pruning이라는 방법이 있었습니다. ㅎㅎhttps://simpling.tistory.com/50 Neural Network Pruning - 모델 경량화Intro Pruning은 neural network를 경량화하고자 할 때 사용하는 방법입니다. Figure 1은 pruning을 잘 보여주는 그림입니다. 모든 node가 연결이 되어있던 왼쪽 그림으로 오른쪽과 같이 synapse(혹은 edge)와 neurosimpling.tistory.com이 부분에 대한 정리는 이 분 블로그에서 보고 배웠습니..