공대생 도전 일지

https://arxiv.org/abs/2401.06102 Patchscopes: A Unifying Framework for Inspecting Hidden Representations of Language ModelsUnderstanding the internal representations of large language models (LLMs) can help explain models' behavior and verify their alignment with human values. Given the capabilities of LLMs in generating human-understandable text, we propose leveraging the modarxiv.org 이 방식은 출력을..

https://www.pnas.org/doi/10.1073/pnas.1907367117 이 논문은 Self-supervised learning을 통해 BERT가 학습하는데 구조적 의미를 잘 파악하고 학습하는 것인지 의문을 가지고 작성한 논문입니다.어텐션 프로브와 구조적 프로브를 사용하여, BERT가 문법적 관계와 계층적 구조를 학습하는 능력을 평가했으며, 그 결과 BERT가 이러한 의미를 효과적으로 이해하고 있음을 확인했습니다.다만, BERT가 학습한 언어 구조가 정확히 어떤 방식으로 구성되는지 완전히 설명하기 어렵고, 인간의 언어 습득 방식과는 다소 차이가 있다는 한계가 있습니다.    논문은 '자기 지도 학습(Self-Supervision)을 통해 훈련된 인공 신경망에서 나타나는 언어 구조'를 다룹니..

https://chatgpt.com/g/g-bkU61gv9b-myeonjeobwang-daegieob-gonggieob-sagieob-moyi-myeonjeob ChatGPT - 면접왕 - 대기업 / 공기업 / 사기업 모의 면접!AI와 면접연습 해보세요! 실시간 피드백 및 점수를 통해 더 나은 면접을 준비할 수 있습니다. #네이버 #카카오 #쿠팡 #배달의민족 #당근마켓 #라인 #토스 #삼성전자 #SK #LGchatgpt.com여기서 면접 준비도 가능합니다!여기선 제 자기소개서나 연구 계획서 기반으로 답변을 말하면 알아서 평가 및 어떻게 고치면 좋겠다고 말해주네요이젠 전공 면접에 대해서도 조금 정리가 필요해서 정리도 시켜봤습니다.2024.11.22 - [기타] - 면접 준비 - 컴퓨터 구조, 운영체제, 컴..

https://arxiv.org/abs/1906.02715 Visualizing and Measuring the Geometry of BERTTransformer architectures show significant promise for natural language processing. Given that a single pretrained model can be fine-tuned to perform well on many different tasks, these networks appear to extract generally useful linguistic features. A natarxiv.org 이 논문은 BERT의 내부 임베딩 공간을 분석하여 대형 언어 모델(LLM)을 해석하려는 연구입니..

컴퓨터 구조는 컴퓨터 시스템의 작동 원리를 이해하기 위한 핵심 개념을 다룹니다. 아래에 컴퓨터 구조를 체계적으로 정리했습니다.1. 컴퓨터 구조의 개요1.1. 컴퓨터의 기본 구성 요소컴퓨터는 하드웨어와 소프트웨어로 구성되며, 하드웨어는 다음 5가지 주요 구성 요소로 이루어집니다.중앙 처리 장치 (CPU, Central Processing Unit):명령어를 처리하고 계산을 수행하는 핵심 장치.메모리 (Memory):데이터를 임시로 저장하며, 주로 RAM과 ROM으로 구성.입력 장치 (Input Device):키보드, 마우스 등 데이터를 입력하는 장치.출력 장치 (Output Device):모니터, 프린터 등 결과를 출력하는 장치.보조 저장 장치 (Secondary Storage):하드 디스크, SSD 등 ..

자료구조와 알고리즘은 컴퓨터 과학에서 가장 핵심적인 주제 중 하나로, 데이터를 효율적으로 저장하고 처리하며 문제를 해결하는 방법을 다룹니다. 아래에 이를 체계적으로 정리했습니다.1. 자료구조 (Data Structures)자료구조는 데이터를 체계적으로 저장하고 관리하는 방법입니다. 자료구조는 사용 목적과 데이터의 특성에 따라 선택되며, 주요 자료구조와 그 특징은 다음과 같습니다.선형 자료구조 (Linear Data Structures)배열 (Array)특징: 고정된 크기의 연속된 메모리 공간에 데이터를 저장.장점: 인덱스를 이용한 빠른 접근 (O(1)).단점: 크기 고정, 삽입/삭제가 비효율적 (O(n)).연결 리스트 (Linked List)특징: 노드(Node)가 데이터와 다음 노드의 주소를 포함.장점..

https://arxiv.org/abs/2310.08560 MemGPT: Towards LLMs as Operating SystemsLarge language models (LLMs) have revolutionized AI, but are constrained by limited context windows, hindering their utility in tasks like extended conversations and document analysis. To enable using context beyond limited context windows, we propose virtarxiv.org  MemGPT는 대규모 언어 모델의 제한된 컨텍스트 윈도우 문제를 해결하기 위해 운영 체제의 가상 메모리..

https://arxiv.org/abs/2406.04341 Interpreting the Second-Order Effects of Neurons in CLIPWe interpret the function of individual neurons in CLIP by automatically describing them using text. Analyzing the direct effects (i.e. the flow from a neuron through the residual stream to the output) or the indirect effects (overall contribution) fails tarxiv.org 1차적으로 뉴런의 활성화 정도만을 확인하면 뉴런의 특성을 제대로 표현할 수 없..

https://arxiv.org/abs/2002.08910 How Much Knowledge Can You Pack Into the Parameters of a Language Model?It has recently been observed that neural language models trained on unstructured text can implicitly store and retrieve knowledge using natural language queries. In this short paper, we measure the practical utility of this approach by fine-tuning pre-traarxiv.org  이 논문은 대규모 언어 모델(T5)이 외부 지식..

https://arxiv.org/abs/2404.14394 A Multimodal Automated Interpretability AgentThis paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-languagearxiv.org  이 논문은 수 많은 실험을 통해 특정 사진에만 나타나는 Feature를 찾아내는 것인데 사진도 생..