공대생 도전 일지

1차시 - 한 일 양국의 독도 영유권한일 양국의 독도 영유권 주장 1) 개요일본 정부 - 1954.07독도를 일본 영토로 주장하는 의견서 제출vs한국 정부 - 응수당시 한국 측이 주장한 내용을 포함, 17세기의 울릉도 분쟁 이 후 20세기 초까지의 독도에 관한 역사적 증거들을 고찰  2) 개정 일본 여지 노정 전도 (1779)18세기 이후 일본이 작성한 모든 공식 지도 - 독도를 조선 영토 혹은 일본 영토 외로 기재개정일본여지노정전도- 1779년 에도막부의 친번 미도번의 학자 나가쿠보 세키수이가 작성한 사찬 지도였는데 후에 관허 지도가 됨- 울릉도와 독도가 기재, 일본 측은 독도를 일본 영토로 주장할 때 이용하는 지도- 울릉도와 독도 그리고 조선의 남단도 그려져 있고, 경위도선이 그어져 있음개정일본여지노..

1차시 - 일본에서의 독도 1. 일본 영역 참고도1) 독도에 관한 일본 국회에서의 질의응답샌프란시스코 조약은 1951.09.08 연합국과 패전국 일본 사이에서 조인1951.10.22 일본 국회의 소 위원회에서 샌프란시스코 조약 상 일본의 영토가 어떻게 되었는지 설명일본의 후생장관이 '일본영역참고도'를 위원회에 참석한 국회의원들에게 배포- 독도는 다케시마 or 리앙쿠르 락스로 기재 및 그 위에 선이 그어져 있듯이 보임 - 독도가 한국 측 영역에 들어가 있다는 것을 나타내는 반원 사회당 야마모토 국회의원의 질문 - 독도가 일본 영토인지 울릉도에 부속되어 조선에 옮겨지는지 설명을 해달라 일본 정부 쿠사바 후생성 장관의 답변- 현재 점령 하 행정구역에서 독도는 일본 영역에서 제외되어 있으나 평화 조약에 있어서 ..

https://arxiv.org/html/2212.10678v2 Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot DebiasingIn practice, given a job, we provide a prompt x:=(x1,..,xl)x:=(x_{1},..,x_{l})italic_x := ( italic_x start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , . . , italic_x start_POSTSUBSCRIPT italic_l end_POSTSUBSCRIPT ) instructing a language model to generate text aboarx..

https://arxiv.org/abs/2309.00770 Bias and Fairness in Large Language Models: A SurveyRapid advancements of large language models (LLMs) have enabled the processing, understanding, and generation of human-like text, with increasing integration into systems that touch our social sphere. Despite this success, these models can learn, perpetuatarxiv.org        논문 요약: Bias and Fairness in Large Langua..

https://arxiv.org/abs/2410.22517 Attention Speaks Volumes: Localizing and Mitigating Bias in Language ModelsWe explore the internal mechanisms of how bias emerges in large language models (LLMs) when provided with ambiguous comparative prompts: inputs that compare or enforce choosing between two or more entities without providing clear context for preference. Moarxiv.org 이 논문은 LLM의 편향을 조절하기 위해 A..

기존 라마 1B의 출력입니다. 결론적으론 제 SAE를 못 쓰게 되었는데 파라미터 업데이트가 문제였네요....8일전 업데이트해서 저 파라미터에 대한 SAE가 아니기 때문에 이전 Llama를 사용해야 해서.....일단... 시작은 "yoonLM/sae_llama3.2org_1B_512_16_l1_100" 모델입니다.1B 뒤부터 Contest_length, Latent_space_scale, l1_coefficient 입니다.모델 부르는 방법은 아래와 같습니다.import osfrom setproctitle import setproctitlesetproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = "0"import torchfrom tqdm import tqdmimport..

SAE-VIS 데모참고: 이것이 최종 버전 데모입니다. (첫 번째 및 두 번째 이전 버전은 최신 버전의 라이브러리를 나타내지 않습니다.)이 Colab 파일은 제가 만든 오픈소스 희소 오토인코더 시각화 도구(sparse autoencoder visualizer)를 시연하기 위해 생성되었습니다. 자세한 내용은 여기에서 확인할 수 있습니다. 추가적으로 참고할 링크들은 다음과 같습니다:GitHub 저장소개발자 가이드: 코드베이스를 이해하고 기여하고자 하는 분들을 위한 자료사용자 가이드: 코드베이스의 모든 기능을 이해하고자 하는 분들을 위한 자료 (이 Colab을 따라 읽는 것도 또 다른 방법이며, 대부분 자가 설명적입니다)이 Colab에서는 두 가지 종류의 시각화 방법을 시연합니다:특징 중심 시각화: 단일 특징..

https://huggingface.co/blog/moe Mixture of Experts ExplainedMixture of Experts Explained With the release of Mixtral 8x7B (announcement, model card), a class of transformer has become the hottest topic in the open AI community: Mixture of Experts, or MoEs for short. In this blog post, we take a look at the buildinghuggingface.co MoE란? 모델의 규모가 크면 클수록 더 좋은 성과를 보인다.그러나 MoE를 사용하면 훨씬 더 적은 컴퓨팅으로 모델을 학..

2024.10.15 - [인공지능/자연어 처리] - l1 Coefficient에 따른 Sparse Autoencoder 학습, 출력 확인 l1 Coefficient에 따른 Sparse Autoencoder 학습, 출력 확인학습 완료 직전에 네트워크 오류로 허깅페이스에서 데이터를 가져오지 못하여 60%, 80%만 확인할 수 있습니다...ㅠ l1 coefficient0.01151050100l1 Loss 1205.29108.9743.2535.9213.9712.47mse loss2.24153.03287376.66764.88782yoonschallenge.tistory.com이전 글에 좀 더 작은 latent space 있습니다. l1 coefficient0.010.050.10.010.050.1latent_spa..

https://github.com/huggingface/chat-ui GitHub - huggingface/chat-ui: Open source codebase powering the HuggingChat appOpen source codebase powering the HuggingChat app. Contribute to huggingface/chat-ui development by creating an account on GitHub.github.comhttps://docs.vllm.ai/en/latest/serving/openai_compatible_server.html Chat UI는 모델을 잘 보일 수 있게 사이트를 만들어주는 느낌이고, Vllm은 모델을 빠르게 돌려주는 툴 인것 같네요  일단..