공대생 도전 일지

SAELens을 사용한 기본 SAE 훈련 이 튜토리얼은 작은 크기의 Sparse Autoencoder(SAE)를 훈련하는 방법을 설명하며, 구체적으로 tiny-stories-1L-21M 모델을 대상으로 합니다.SAELens 라이브러리는 활발히 개발 중이므로, 이 튜토리얼이 오래되었을 경우 여기를 통해 이슈를 제기해 주세요.try: #import google.colab # type: ignore #from google.colab import output %pip install sae-lens transformer-lens circuitsvisexcept: from IPython import get_ipython # type: ignore ipython = get_ipython()..

어제 inference만 했다면 오늘은 평가까지 진행해보겠습니다.import jsonimport osimport torchfrom setproctitle import setproctitlefrom transformers import AutoModelForCausalLM, AutoTokenizer, pipelinefrom peft import PeftModel, PeftConfigfrom openai import OpenAIclient = OpenAI(api_key="")여기에 api 키를 넣어줍니다.연구실 API가 있으니 너무 편하네요....setproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = "7"# 테스트 데이터 경로 및 저장 경로 설정test_data_pat..