공대생 도전 일지

https://arxiv.org/abs/2401.12874 From Understanding to Utilization: A Survey on Explainability for Large Language ModelsExplainability for Large Language Models (LLMs) is a critical yet challenging aspect of natural language processing. As LLMs are increasingly integral to diverse applications, their "black-box" nature sparks significant concerns regarding transparency andarxiv.org      1. 문제 정의..

https://arxiv.org/abs/2402.01761 Rethinking Interpretability in the Era of Large Language ModelsInterpretable machine learning has exploded as an area of interest over the last decade, sparked by the rise of increasingly large datasets and deep neural networks. Simultaneously, large language models (LLMs) have demonstrated remarkable capabilities acrarxiv.org 파라미터 단에서 LLM을 설명하는 것이 아닌 LLM의 출력이 이유..

https://arxiv.org/abs/2406.04093 Scaling and evaluating sparse autoencodersSparse autoencoders provide a promising unsupervised approach for extracting interpretable features from a language model by reconstructing activations from a sparse bottleneck layer. Since language models learn many concepts, autoencoders need to be veryarxiv.orgSparse Autoencoder를 지속적으로 하긴 하지만 뭔가 확실하게 알고 하는 느낌이 아니라서 읽어 ..

어제 코드를 정신없이 작성했고...오늘은 그에 대한 기록을 해놔야 기억을 할 수 있을 것 같네요일단 Beam 부터 시작하겠습니다. Beam은 가운데 있는 노드마다 n개의 자유도를 가집니다. n은 적을 땐 20개가 될 수도 있고, 100개가 될 수 도 있습니다.Beam의 단면 형상따라 모습이 바뀌는 것으로 알고 있습니다.이렇게 Node마다 n개의 자유도와 미분 자유도로 구성되어 있습니다.그럼 이제 빔의 특점 지점 즉 Nodal section의 3차원 변위는 이러한 방식으로 구할 수 있습니다.지정된 Psi함수에 edge정보와 scoord 좌표를 넣어주면 특정 위치의 변위를 구할 수 있습니다. 그럼 특정 지점 변위 두 개를 잡아서 같다고 두면 두 지점의 변위는 동시에 움직이게 됩니다이렇게 각각 변위를 뽑아서 ..

학습 완료 직전에 네트워크 오류로 허깅페이스에서 데이터를 가져오지 못하여 60%, 80%만 확인할 수 있습니다...ㅠ l1 coefficient0.01151050100l1 Loss 1205.29108.9743.2535.9213.9712.47mse loss2.24153.03287376.66764.88782.06over_all loss14.29262503.28735.831463.392028.89below_1e-500015839964026below_1e-600015839804026dead_features00015839114017ce_loss_score   0.810.320.33l03650.7183.5820.788.270.630.47ce_loss_with_sae   4.99.019.01ce_loss_withou..

지금 Llama 3.2 1B 버전으로 SAE 6개를 만들고 있습니다.각각의 Context_length와 epoch, Latent space size는 다 같은데 l1 regularization coefficient만 다릅니다.그래서 l1 regularization coefficient에 따른 각각 SAE들의 Mse Loss, Sparsity 등을 비교해보려고 합니다.l1 coefficient0.01151050100l1 Loss 1298.54412108.1557647.2919631.1267517.7765212.89535mse loss2.52211156.46039287.31024372.92572791.67743808.39392over_all loss15.50755264.61615523.77002734.193..

2024.10.09 - [기타] - 한국 역사와 영토 7주차 - 일제 강점기 말, 일본의 항복 이후 독도 한국 역사와 영토 7주차 - 일제 강점기 말, 일본의 항복 이후 독도1차시 - 일본의 항복 1. 일제 시대의 독도와 일본의 패전1) 일제 시대의 독도1905.2 - 독도는 시마네현 오키섬으로 편입1910 - 한일 병합1945 - 8.15까지 일본의 행정 하에 있었음"그러나 독도 편입 자체yoonschallenge.tistory.com 정리요약: 한국과 일본의 독도 영유권 분쟁 및 그 역사적 배경1차시: 일본의 항복과 독도일제 시대의 독도1905년, 일본은 독도를 시마네현 오키섬으로 편입.한일 병합 후, 1945년 8.15까지 일본의 행정하에 있었으나, 독도 편입은 한국 침략 과정에서 부당하게 이루어졌..

2024.10.07 - [기타] - 한국 역사와 영토 6주차 - 임시 정부와 독립군 한국 역사와 영토 6주차 - 임시 정부와 독립군1차시 - 임시정부와 독립군1. 대한민국 임시정부 수립과 대립 1) 대한민국 임시 정부 수립 대한민국 임시 정부- 1919.3.1 독립운동 후 해외에서 독립운동을 추진해 온 이승만, 여운형, 김구 등에 의yoonschallenge.tistory.com 정리요약: 대한민국 임시정부와 독립군 활동 (1차시)1. 대한민국 임시정부 수립과 대립대한민국 임시정부 수립: 1919년 3.1 독립운동 후 이승만, 여운형, 김구 등에 의해 상하이에서 수립. 여러 지역에서 정부 수립이 이루어졌으나 상하이 정부로 통합됨.임정의 활동: 안창호가 임정 내무총장으로 취임해 연통제를 조직화하고, '독립..

2024.10.06 - [기타] - 한국 역사와 영토 5주차 - 일제의 탄압 한국 역사와 영토 5주차 - 일제의 탄압1차시 - 일제에 의한 탄압 (1910~1931)1. 일제에 의한 무단 정치 시대 (1910~1919)1) 일제에 의한 한국 지배 정책1910.8.29 - '한일 병합 조약'의 반포로 대한 제국은 일본 지배하에 들어갔다.국가라는 뜻을yoonschallenge.tistory.com  정리요약 및 중요한 내용 정리1차시: 일제에 의한 탄압 (1910~1931)무단정치 시대(1910~1919):한일병합조약(1910.8.29)으로 대한제국은 일본의 식민지가 되었다.정치적 억압: 일제는 치안 유지와 반대파 숙청을 위해 무단정치를 실시했다.차별 교육 정책: 일본과 조선의 교육은 차별적이었으며, 조선인..

.2024.10.05 - [기타] - 역사와 한국의 영토 4주차 - 울릉도 분쟁 역사와 한국의 영토 4주차 - 울릉도 분쟁1차시 - 울릉도1. 17 세기 울릉도 분쟁의 시작1) 울릉도에 도항하기 시작한 일본 17세기 초 일본 돗토리번의 상인 오야 진키치가 일본 북쪽에서 배로 돗토리로 귀항 중 표류해 우연히 울릉도 발견yoonschallenge.tistory.com 정리1차시 - 울릉도 분쟁의 시작과 전개1. 17세기 울릉도 분쟁의 시작17세기 초: 일본 돗토리번의 상인 오야 진키치가 우연히 울릉도를 발견하고, 무라카와 이치베와 함께 에도 막부에 도해 면허를 요청하여 발급받음.1625년경: 불완전한 면허가 발급되었고, 70년 이상 불법으로 울릉도에 도항하며, 독도를 기항지로 사용함. 일본 측은 독도를 처음..