공대생 도전 일지

https://arxiv.org/abs/2402.12354 LoRA+: Efficient Low Rank Adaptation of Large ModelsIn this paper, we show that Low Rank Adaptation (LoRA) as originally introduced in Hu et al. (2021) leads to suboptimal finetuning of models with large width (embedding dimension). This is due to the fact that adapter matrices A and B in LoRA are updated warxiv.org기존 LoRA가 A,B 모두 같은 학습률을 가졌다면 여기서 A,B는 다른 학습률을 가져..

https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language ModelsAn important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes learxiv.org Efficient parameter tuning 방식인 LoRA!기존 weight는 그대..

2024.11.16 - [FEM/HOB] - HOB 기록 저장소 - HOB Shell Node 연결, 벽 연결까지 + Modal HOB 기록 저장소 - HOB Shell Node 연결, 벽 연결까지 + Modal이제 드디어 HOB에 끝이 보이네요작년에 "C++로 돈 벌어보자" 라고 시작한 CAE 프로그램 제작이 슬슬 마지막이 보입니다.Beam, Shell을 벽면에 접합하는 것으로 시작하여 Node 연결도 진행하고, Modal에yoonschallenge.tistory.com기존에 제작한 버전에서 좌표계 때문에 문제가 생긴 것이 있었습니다.제가 사용한 좌표계와 기존 제작자가 사용한 좌표계가 살짝 달라서 오류가 생겼고, 빔의 방향이 다를 때 떨어지는 버그가 있었습니다.제가 사용한 좌표계가 절대적으로 맞지 않다..

https://arxiv.org/abs/2402.13550 Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation DialoguesA successful negotiation requires a range of capabilities, including comprehension of the conversation context, Theory-of-Mind (ToM) skills to infer the partner's motives, strategic reasoning, and effective communication, making it challenging fo..

1차시 - 한일 회담1. 한일 회담 시작과 중단1951 10 - 한일 예비 회담 시작1953 10- 구보타 간이치로 일본 대표 - 조선의 철도, 항만 등을 만들었고, 많을 땐 2천만엔 이상 투입- '구보타 발언'을 망언으로 규정, 한일 회담은 1958.04까지 중단  2. 한일 간 쟁점1) 쟁점 1기본 조약 전문에 일본 측 사과를 쓰는 문제1965 당시는 사과가 들어가지 않음- 1998 10 김대중 대통령과 일본이 오부치 수상이 공동으로 발표한 '21세기를 향한 새로운 한일 파트너십 선언'에서 해결- 일본이 가해자였고, 한국이 피해자였음이 기재, 일본 측 사과를 명기 2) 쟁점 21. 구조약과 협정 등에 대한 취급 문제이 문제에 관해 한일 기본 조약 '제 2조'는 다음과 같이 정해짐- 1910년 8월 2..

1차시 - 울릉도사적1. 장한상의 울릉도사적1) 조선왕조, 장한상을 울릉도로 파션17세기 말 울릉도 분쟁조선 왕조는 장한상을 울릉도로 파견1969.09.19 - 삼척 출발0920 ~ 1003 - 울릉도에 10여일 체류하면서 울릉도를 살핌1006 - 삼척으로 돌아옴 이 기록을 울릉도사적에 기록  2) 울릉도사적 독도관련 부분 국역서쪽을 바라보면 대관령의 구불구불한 모습이 보이고, 동쪽을 바라보면 바다 속에 한 섬이 보이는데, 아득하게 신 방향에 위치하여 그 크기는 울도(=울릉도)의 0.33 미만이고, 거리는 300여리에 불과하다. 3) 울릉도 사적 해설장한상이 울릉도 신 방향, 즉 동남동에 본 섬은 바로 독도다.울릉도와 독도 간 거리장한상 - 300리(120km)실측 - 90km에 가까운 수치독도의 크기장..

https://arxiv.org/abs/2305.16291 Voyager: An Open-Ended Embodied Agent with Large Language ModelsWe introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) anarxiv.org이 논문도 마인크레프트 환경에서 LLM이 세부적인 목표를 정하고,..

https://arxiv.org/abs/2301.12314 Progressive Prompts: Continual Learning for Language ModelsWe introduce Progressive Prompts - a simple and efficient approach for continual learning in language models. Our method allows forward transfer and resists catastrophic forgetting, without relying on data replay or a large number of task-specific parametearxiv.org 이 논문의 특징에 대해 크게 모르겠네요결국 Soft prompt tuni..

2024.11.12 - [인공지능/XAI] - Sparse Autoencoder를 통한 LLM의 Bias 줄이기 - 성에 따른 직업 5논문에 나온 이 표와 제가 만든 SAE 모델을 비교해 봐야 합니다.Explicit이랑 Implicit는 무시하고 숫자만 보면 됩니다.이 결과가 8layer라서 16, 24까지만 더 해보겠습니다.편향이 많이 줄었습니다...? 확실하게 편향이 줄어든 것을 볼 수 있었고 표도 함 가져와봐야 겠네요 JobDominanceMale ProbabilityFemale ProbabilityDiverse ProbabilityMale Probability (No SAE)Female Probability (No SAE)Male Probability Change (%)Female Probabil..