공대생 도전 일지

지금 Llama 3.2 1B 버전으로 SAE 6개를 만들고 있습니다.각각의 Context_length와 epoch, Latent space size는 다 같은데 l1 regularization coefficient만 다릅니다.그래서 l1 regularization coefficient에 따른 각각 SAE들의 Mse Loss, Sparsity 등을 비교해보려고 합니다.l1 coefficient0.01151050100l1 Loss 1298.54412108.1557647.2919631.1267517.7765212.89535mse loss2.52211156.46039287.31024372.92572791.67743808.39392over_all loss15.50755264.61615523.77002734.193..

2024.10.09 - [기타] - 한국 역사와 영토 7주차 - 일제 강점기 말, 일본의 항복 이후 독도 한국 역사와 영토 7주차 - 일제 강점기 말, 일본의 항복 이후 독도1차시 - 일본의 항복 1. 일제 시대의 독도와 일본의 패전1) 일제 시대의 독도1905.2 - 독도는 시마네현 오키섬으로 편입1910 - 한일 병합1945 - 8.15까지 일본의 행정 하에 있었음"그러나 독도 편입 자체yoonschallenge.tistory.com 정리요약: 한국과 일본의 독도 영유권 분쟁 및 그 역사적 배경1차시: 일본의 항복과 독도일제 시대의 독도1905년, 일본은 독도를 시마네현 오키섬으로 편입.한일 병합 후, 1945년 8.15까지 일본의 행정하에 있었으나, 독도 편입은 한국 침략 과정에서 부당하게 이루어졌..

2024.10.07 - [기타] - 한국 역사와 영토 6주차 - 임시 정부와 독립군 한국 역사와 영토 6주차 - 임시 정부와 독립군1차시 - 임시정부와 독립군1. 대한민국 임시정부 수립과 대립 1) 대한민국 임시 정부 수립 대한민국 임시 정부- 1919.3.1 독립운동 후 해외에서 독립운동을 추진해 온 이승만, 여운형, 김구 등에 의yoonschallenge.tistory.com 정리요약: 대한민국 임시정부와 독립군 활동 (1차시)1. 대한민국 임시정부 수립과 대립대한민국 임시정부 수립: 1919년 3.1 독립운동 후 이승만, 여운형, 김구 등에 의해 상하이에서 수립. 여러 지역에서 정부 수립이 이루어졌으나 상하이 정부로 통합됨.임정의 활동: 안창호가 임정 내무총장으로 취임해 연통제를 조직화하고, '독립..

2024.10.06 - [기타] - 한국 역사와 영토 5주차 - 일제의 탄압 한국 역사와 영토 5주차 - 일제의 탄압1차시 - 일제에 의한 탄압 (1910~1931)1. 일제에 의한 무단 정치 시대 (1910~1919)1) 일제에 의한 한국 지배 정책1910.8.29 - '한일 병합 조약'의 반포로 대한 제국은 일본 지배하에 들어갔다.국가라는 뜻을yoonschallenge.tistory.com  정리요약 및 중요한 내용 정리1차시: 일제에 의한 탄압 (1910~1931)무단정치 시대(1910~1919):한일병합조약(1910.8.29)으로 대한제국은 일본의 식민지가 되었다.정치적 억압: 일제는 치안 유지와 반대파 숙청을 위해 무단정치를 실시했다.차별 교육 정책: 일본과 조선의 교육은 차별적이었으며, 조선인..

.2024.10.05 - [기타] - 역사와 한국의 영토 4주차 - 울릉도 분쟁 역사와 한국의 영토 4주차 - 울릉도 분쟁1차시 - 울릉도1. 17 세기 울릉도 분쟁의 시작1) 울릉도에 도항하기 시작한 일본 17세기 초 일본 돗토리번의 상인 오야 진키치가 일본 북쪽에서 배로 돗토리로 귀항 중 표류해 우연히 울릉도 발견yoonschallenge.tistory.com 정리1차시 - 울릉도 분쟁의 시작과 전개1. 17세기 울릉도 분쟁의 시작17세기 초: 일본 돗토리번의 상인 오야 진키치가 우연히 울릉도를 발견하고, 무라카와 이치베와 함께 에도 막부에 도해 면허를 요청하여 발급받음.1625년경: 불완전한 면허가 발급되었고, 70년 이상 불법으로 울릉도에 도항하며, 독도를 기항지로 사용함. 일본 측은 독도를 처음..

2024.09.30 - [기타] - 역사와 한국의 영토 3주차 - 역사와 한국의 영토 3주차 -1차시 - 독도 독도의 여러 이름1. 일본의 모순된 논리1905 - 일본이 한국을 침략하는 과정에서 독도를 시마네현의 오키섬으로 편입. 한국을 을사늑약으로 제압1906.3 - 독도를 일본에 편입했다고 한yoonschallenge.tistory.com 정리1차시 - 독도1. 일본의 모순된 논리1905년: 일본이 한국을 침략하는 과정에서 독도를 시마네현 오키섬으로 편입했으며, 이후 을사늑약으로 한국을 제압.1905년 당시 일본은 독도에 대해 '무주지 선점' 논리를 적용했으나, 현재는 '고유 영토'라고 주장하며 모순된 논리를 보임.이 모순을 통해 일본의 역사적 주장이 크게 잘못되었음을 배울 수 있음.2. 독도 명칭의..

2024.09.29 - [기타] - 역사와 한국의 영토 2주차 - 일본의 한국 침략과 일진회 일본에 유리한 상황 1905.1 - 러시아 정부가 다수의 민중을 살상하는 사건 " data-og-host="yoonschallenge.tistory.com" data-og-source-url="https://yoonschallenge.tistory.com/756" data-og-url="https://yoonschallenge.tistory.com/756" data-og-image="https://scrap.kakaocdn.net/dn/WU849/hyXhVTOchd/8Dzd0PnWiRKLxy0qLw09z1/img.png?width=800&height=800&face=0_0_800_800,https://scrap...

2024.09.25 - [기타] - 역사와 한국의 영토 - 1주차 러일 전쟁과 한반도 역사와 한국의 영토 - 1주차 러일 전쟁과 한반도호사카 유지 교수님 강의를 듣고 정리한 내용입니다. Introduction19세기말부터의 한국 역사를 진행한다.1897년 대한 제국 선포 이후의 역사를 배운다.  러일전쟁과 한반도대한 제국 선포와 독립yoonschallenge.tistory.com  1주차 강의 요약대한 제국의 선포와 독립 협회대한 제국 선포 (1897년):고종이 왕에서 황제로 등극하면서 '대한 제국'을 선포.중국 황제를 받들던 조선에서 독립적인 황제국으로 거듭난 획기적인 사건.미국, 영국, 일본, 러시아, 청나라 등 외국에서도 이를 공식적으로 인정.고종은 황제의 상징인 황금색 용포를 입고 즉위.일본의 속..