공대생 도전 일지

2024.11.12 - [인공지능/XAI] - Sparse Autoencoder를 통한 LLM의 Bias 줄이기 - 성에 따른 직업 5논문에 나온 이 표와 제가 만든 SAE 모델을 비교해 봐야 합니다.Explicit이랑 Implicit는 무시하고 숫자만 보면 됩니다.이 결과가 8layer라서 16, 24까지만 더 해보겠습니다.편향이 많이 줄었습니다...? 확실하게 편향이 줄어든 것을 볼 수 있었고 표도 함 가져와봐야 겠네요 JobDominanceMale ProbabilityFemale ProbabilityDiverse ProbabilityMale Probability (No SAE)Female Probability (No SAE)Male Probability Change (%)Female Probabil..

2024.11.08 - [인공지능/XAI] - Sparse Autoencoder를 통한 LLM의 Bias 줄이기 - 성에 따른 직업 4조금씩 잡혀가는 모습입니다... import osfrom setproctitle import setproctitlesetproctitle("")os.environ["CUDA_VISIBLE_DEVICES"] = "0"import torchfrom tqdm import tqdmimport plotly.express as pximport pandas as pdimport numpy as np# Imports for displaying vis in Colab / notebooktorch.set_grad_enabled(False)# For the most part I'll try ..

2024.11.05 - [인공지능/논문 리뷰 or 진행] - Bias and Fairness in Large Language Models: A Survey Bias and Fairness in Large Language Models: A Surveyhttps://arxiv.org/abs/2309.00770 Bias and Fairness in Large Language Models: A SurveyRapid advancements of large language models (LLMs) have enabled the processing, understanding, and generation of human-like text, with increasing integration into systemsyoon..

https://arxiv.org/abs/1807.11714 Gender Bias in Neural Natural Language ProcessingWe examine whether neural natural language processing (NLP) systems reflect historical biases in training data. We define a general benchmark to quantify gender bias in a variety of neural NLP tasks. Our empirical evaluation with state-of-the-art neural coarxiv.org 여기선 단어를 교체하면서 임베딩 공간, attention score를 보고 편향을 확인했습..

XOR은 단층 신경망으론 절대로 못 만든다... 비선형성을 추가해주는 activation function! 영향력을 조절한다... 좋네요 x0 = 1 w0= bias다. sigmoid보다는 도함수가 조금 더 크다. 이건 둘중 하나만 구분할 때 사용한다. 마지막 레이어의 노드가 하나만 있어야 한다. 사진과 같은 경우에는 모든 픽셀을 다 맞출 필요가 없다 즉 loss function의 구조를 다시 만든다 ex) cos 유사도