공대생 도전 일지

어우 여기까지 오는데도 너무 머네요 ㅎㅎ,,,,일단 코드 작성하면서 설명하겠습니다.import osfrom setproctitle import setproctitlesetproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = ""항상 하는 이름과 GPU 설정하기COLAB = Falsefrom IPython import get_ipython # type: ignoreipython = get_ipython(); assert ipython is not Noneipython.run_line_magic("load_ext", "autoreload")ipython.run_line_magic("autoreload", "2")이것도 없애도 되는 것 같은데....다음번엔 지워볼게요impo..

앞으로 인공지능, NLP에 집중을 할 예정이라 자율주행에서 마지막 글이 되지 않을까 싶습니다.그래도 처음으로 자동차 관련으로 상을 받아봤네요2019년부터 내연기관, 전기 자동차, 자율주행 자동차 다 해봤지만 수상하나 없었던 것이 아쉬웠는데 그나마 다행입니다.https://kr.mathworks.com/academia/student-challenge/2024/ai-challenge/winners.html MATLAB 대학생 AI Challenge 2024 수상작MATLAB 대학생 AI Challenge 2024의 수상작 Top 3를 소개합니다. 참가해주신 모든 팀을 비롯하여 여러분께서 보내주신 관심과 성원에 감사드립니다.kr.mathworks.com아쉽게 2등 했지만 그래도 노력에 대한 보상을 받은 느낌이..

2024.10.13 - [기타] - 한국의 역사와 영토 1주차 정리 및 퀴즈 한국의 역사와 영토 1주차 정리 및 퀴즈2024.09.25 - [기타] - 역사와 한국의 영토 - 1주차 러일 전쟁과 한반도 역사와 한국의 영토 - 1주차 러일 전쟁과 한반도호사카 유지 교수님 강의를 듣고 정리한 내용입니다. Introduction19세기말부터의yoonschallenge.tistory.com 호사카 유지 교수님 강의를 듣고 정리한 내용입니다. Introduction19세기말부터의 한국 역사를 진행한다.1897년 대한 제국 선포 이후의 역사를 배운다.  러일전쟁과 한반도대한 제국 선포와 독립 협회 1897년 고종 황제가 대한 제국을 선포했다.king Gojong에서 Emperor Gojong이 되면서 왕이 입었던 ..

전 시간에 발사체의 움직임에 대해 배웠다.외부에서의 힘이 없으니 중력에 의한 수직방향 속도만 신경 써 주면 된다. Curvilnear 조건에서는 un은 항상 0이다. 그러므로 v= vt*ut이다. 즉 tangential 방향만 남는 것이다.아래 식은 통째로 외우는 것이 좀 더 편할 것 같다.위 사진이 속도와 가속도의 차이이다 곡률 반경은 위와 같은 식으로 구하게 된다. 여기서는 부피, 회전을 무시하고 질점만 보면 된다. A 지점에서의 속도와 t(시간)에 따른 속도 변화이다.이제 v를 벡터로 전환한다.여기선 회전 반경 구하는 식을 외우냐, 못 외우냐가 관건이네요위에서 구한 an, at를 통해 크기와, 각도를 구해줍니다. 회전반경, 속도, 시간이 다 주어져 있으므로 그냥 가지고 있는 식에 전부 때려 박으면 ..

기존에 진행했던 튜토리얼들이 너무 길어서 짧게 줄여봤습니다.최대한 설명도 적으면서 저도 나중에 기억할 수 있게 적어볼게요import osfrom setproctitle import setproctitlesetproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = "0"항상하는 이름이랑 gpu번호 적기!import torchfrom tqdm import tqdmimport plotly.express as pximport pandas as pd# Imports for displaying vis in Colab / notebooktorch.set_grad_enabled(False)# For the most part I'll try to import functions and c..

Logit Lens로 SAE 특징 이해하기이 노트북은 "Logit Lens로 SAE 특징 이해하기" 게시물에 문서화된 분석을 수행하기 위해 mats_sae_training 라이브러리를 사용하는 방법을 보여줍니다.따라서 이 노트북에는 다음 섹션이 포함됩니다:Huggingface에서 GPT2-Small Residual Stream SAE를 로드하기.특징에 대한 가상 가중치 기반 분석 수행 (특히 logit 가중치 분포를 살펴봄).neuronpedia에서 공용 대시보드를 사용하기 위해 Neuronpedia 탭을 프로그래밍 방식으로 열기.토큰 세트 강화 분석 수행 (Gene Set Enrichment Analysis를 기반으로).설정여기서는 다음과 같은 작업을 위한 다양한 함수를 로드합니다:Huggingface..

내일 완성형으로 작성하겠지만 여기서 pandas 버전 문제가 있더라고여그러므로 pandas를 아래와 같이 버전 다운 시키면 됩니다.pip install pandas==2.2.0https://stackoverflow.com/questions/78524556/typeerror-cannot-convert-numpy-ndarray-to-numpy-ndarraySAE Lens + Neuronpedia Tutorial이 튜토리얼은 기계적 해석 가능성에서 인기 있는 새로운 기법인 희소 오토인코더(Sparse Autoencoders, SAEs)를 사용하여 신경망을 분석하는 방법에 대한 입문서입니다. 더 자세한 내용은 이 게시물을 참고하세요.하지만 여기서는 SAE 특징이 무엇인지, SAELens에 SAEs를 로드하고 특..

SAELens을 사용한 기본 SAE 훈련 이 튜토리얼은 작은 크기의 Sparse Autoencoder(SAE)를 훈련하는 방법을 설명하며, 구체적으로 tiny-stories-1L-21M 모델을 대상으로 합니다.SAELens 라이브러리는 활발히 개발 중이므로, 이 튜토리얼이 오래되었을 경우 여기를 통해 이슈를 제기해 주세요.try: #import google.colab # type: ignore #from google.colab import output %pip install sae-lens transformer-lens circuitsvisexcept: from IPython import get_ipython # type: ignore ipython = get_ipython()..

어제 inference만 했다면 오늘은 평가까지 진행해보겠습니다.import jsonimport osimport torchfrom setproctitle import setproctitlefrom transformers import AutoModelForCausalLM, AutoTokenizer, pipelinefrom peft import PeftModel, PeftConfigfrom openai import OpenAIclient = OpenAI(api_key="")여기에 api 키를 넣어줍니다.연구실 API가 있으니 너무 편하네요....setproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = "7"# 테스트 데이터 경로 및 저장 경로 설정test_data_pat..

SAE를 통해 LLM의 데이터를 변경, 조작해보자가 시작되었습니다!!!!https://transformer-circuits.pub/2024/scaling-monosemanticity/ Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 SonnetAuthors Adly Templeton*, Tom Conerly*, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte ..