공대생 도전 일지

https://arxiv.org/abs/1906.02715 Visualizing and Measuring the Geometry of BERTTransformer architectures show significant promise for natural language processing. Given that a single pretrained model can be fine-tuned to perform well on many different tasks, these networks appear to extract generally useful linguistic features. A natarxiv.org 이 논문은 BERT의 내부 임베딩 공간을 분석하여 대형 언어 모델(LLM)을 해석하려는 연구입니..

컴퓨터 구조는 컴퓨터 시스템의 작동 원리를 이해하기 위한 핵심 개념을 다룹니다. 아래에 컴퓨터 구조를 체계적으로 정리했습니다.1. 컴퓨터 구조의 개요1.1. 컴퓨터의 기본 구성 요소컴퓨터는 하드웨어와 소프트웨어로 구성되며, 하드웨어는 다음 5가지 주요 구성 요소로 이루어집니다.중앙 처리 장치 (CPU, Central Processing Unit):명령어를 처리하고 계산을 수행하는 핵심 장치.메모리 (Memory):데이터를 임시로 저장하며, 주로 RAM과 ROM으로 구성.입력 장치 (Input Device):키보드, 마우스 등 데이터를 입력하는 장치.출력 장치 (Output Device):모니터, 프린터 등 결과를 출력하는 장치.보조 저장 장치 (Secondary Storage):하드 디스크, SSD 등 ..

자료구조와 알고리즘은 컴퓨터 과학에서 가장 핵심적인 주제 중 하나로, 데이터를 효율적으로 저장하고 처리하며 문제를 해결하는 방법을 다룹니다. 아래에 이를 체계적으로 정리했습니다.1. 자료구조 (Data Structures)자료구조는 데이터를 체계적으로 저장하고 관리하는 방법입니다. 자료구조는 사용 목적과 데이터의 특성에 따라 선택되며, 주요 자료구조와 그 특징은 다음과 같습니다.선형 자료구조 (Linear Data Structures)배열 (Array)특징: 고정된 크기의 연속된 메모리 공간에 데이터를 저장.장점: 인덱스를 이용한 빠른 접근 (O(1)).단점: 크기 고정, 삽입/삭제가 비효율적 (O(n)).연결 리스트 (Linked List)특징: 노드(Node)가 데이터와 다음 노드의 주소를 포함.장점..

https://arxiv.org/abs/2310.08560 MemGPT: Towards LLMs as Operating SystemsLarge language models (LLMs) have revolutionized AI, but are constrained by limited context windows, hindering their utility in tasks like extended conversations and document analysis. To enable using context beyond limited context windows, we propose virtarxiv.org  MemGPT는 대규모 언어 모델의 제한된 컨텍스트 윈도우 문제를 해결하기 위해 운영 체제의 가상 메모리..