공대생 도전 일지

컴퓨터 구조는 컴퓨터 시스템의 작동 원리를 이해하기 위한 핵심 개념을 다룹니다. 아래에 컴퓨터 구조를 체계적으로 정리했습니다.1. 컴퓨터 구조의 개요1.1. 컴퓨터의 기본 구성 요소컴퓨터는 하드웨어와 소프트웨어로 구성되며, 하드웨어는 다음 5가지 주요 구성 요소로 이루어집니다.중앙 처리 장치 (CPU, Central Processing Unit):명령어를 처리하고 계산을 수행하는 핵심 장치.메모리 (Memory):데이터를 임시로 저장하며, 주로 RAM과 ROM으로 구성.입력 장치 (Input Device):키보드, 마우스 등 데이터를 입력하는 장치.출력 장치 (Output Device):모니터, 프린터 등 결과를 출력하는 장치.보조 저장 장치 (Secondary Storage):하드 디스크, SSD 등 ..

자료구조와 알고리즘은 컴퓨터 과학에서 가장 핵심적인 주제 중 하나로, 데이터를 효율적으로 저장하고 처리하며 문제를 해결하는 방법을 다룹니다. 아래에 이를 체계적으로 정리했습니다.1. 자료구조 (Data Structures)자료구조는 데이터를 체계적으로 저장하고 관리하는 방법입니다. 자료구조는 사용 목적과 데이터의 특성에 따라 선택되며, 주요 자료구조와 그 특징은 다음과 같습니다.선형 자료구조 (Linear Data Structures)배열 (Array)특징: 고정된 크기의 연속된 메모리 공간에 데이터를 저장.장점: 인덱스를 이용한 빠른 접근 (O(1)).단점: 크기 고정, 삽입/삭제가 비효율적 (O(n)).연결 리스트 (Linked List)특징: 노드(Node)가 데이터와 다음 노드의 주소를 포함.장점..

https://arxiv.org/abs/2310.08560 MemGPT: Towards LLMs as Operating SystemsLarge language models (LLMs) have revolutionized AI, but are constrained by limited context windows, hindering their utility in tasks like extended conversations and document analysis. To enable using context beyond limited context windows, we propose virtarxiv.org  MemGPT는 대규모 언어 모델의 제한된 컨텍스트 윈도우 문제를 해결하기 위해 운영 체제의 가상 메모리..

https://arxiv.org/abs/2406.04341 Interpreting the Second-Order Effects of Neurons in CLIPWe interpret the function of individual neurons in CLIP by automatically describing them using text. Analyzing the direct effects (i.e. the flow from a neuron through the residual stream to the output) or the indirect effects (overall contribution) fails tarxiv.org 1차적으로 뉴런의 활성화 정도만을 확인하면 뉴런의 특성을 제대로 표현할 수 없..

https://arxiv.org/abs/2002.08910 How Much Knowledge Can You Pack Into the Parameters of a Language Model?It has recently been observed that neural language models trained on unstructured text can implicitly store and retrieve knowledge using natural language queries. In this short paper, we measure the practical utility of this approach by fine-tuning pre-traarxiv.org  이 논문은 대규모 언어 모델(T5)이 외부 지식..

https://arxiv.org/abs/2404.14394 A Multimodal Automated Interpretability AgentThis paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-languagearxiv.org  이 논문은 수 많은 실험을 통해 특정 사진에만 나타나는 Feature를 찾아내는 것인데 사진도 생..

https://arxiv.org/abs/1103.0398 Natural Language Processing (almost) from ScratchWe propose a unified neural network architecture and learning algorithm that can be applied to various natural language processing tasks including: part-of-speech tagging, chunking, named entity recognition, and semantic role labeling. This versatility isarxiv.org 이 논문은 기존 태스크별 특징 공학을 제거하고, 대규모 비지도 데이터를 활용해 End-to-E..

https://arxiv.org/abs/2305.14763 Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language ModelsThe escalating debate on AI's capabilities warrants developing reliable metrics to assess machine "intelligence". Recently, many anecdotal examples were used to suggest that newer large language models (LLMs) like ChatGPT and GPT-4 exhibit Neural Theory-ofarxiv.org  이 논문..

https://arxiv.org/abs/2310.02071 Towards End-to-End Embodied Decision Making via Multi-modal Large Language Model: Explorations with GPT4-Vision and BeyondIn this study, we explore the potential of Multimodal Large Language Models (MLLMs) in improving embodied decision-making processes for agents. While Large Language Models (LLMs) have been widely used due to their advanced reasoning skills and..

https://arxiv.org/abs/2410.08869 Evolution of SAE Features Across Layers in LLMsSparse Autoencoders for transformer-based language models are typically defined independently per layer. In this work we analyze statistical relationships between features in adjacent layers to understand how features evolve through a forward pass. We provarxiv.org이 논문은 SAE의 초기 논문 같네요모든 Layer에 SAE를 장착하고, 그 SAE를 분석하여 ..