공대생 도전 일지

https://arxiv.org/abs/1607.06520 Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word EmbeddingsThe blind application of machine learning runs the risk of amplifying biases present in data. Such a danger is facing us with word embedding, a popular framework to represent text data as vectors which has been used in many machine learning and natural lanarxiv.org 워드 임베딩은 데이터 내 성별 고..

https://arxiv.org/abs/1807.11714 Gender Bias in Neural Natural Language ProcessingWe examine whether neural natural language processing (NLP) systems reflect historical biases in training data. We define a general benchmark to quantify gender bias in a variety of neural NLP tasks. Our empirical evaluation with state-of-the-art neural coarxiv.org 여기선 단어를 교체하면서 임베딩 공간, attention score를 보고 편향을 확인했습..

https://journals.aps.org/prper/abstract/10.1103/PhysRevPhysEducRes.19.010132 저는 멀티 에이전트, 컴퓨터의 모든 것을 관할하는 Agent를 확인하고 싶었는데 여기서 Agent == Chat GPT 였네요...게다가 나온지 오래된 모델이라 지금 모델이랑 비교하면 좀 차이가 클 것으로 예상됩니다.이 전의 언어모델의 약점이 무엇이었는지 확인하는 차 적당히 보고 지나가면 될 것 같습니다.쉬운 코딩 문제는 잘 풀지만 물리학 입문 과정 조차 잘 풀지 못한다.약점으론 수학적 계산 오류, 논리적 오류, 개념적 이해 부족이 있고 학습 능력(지식 업데이트)나 메타인지(자기 점검 능력)이 없다.데이터 셋이 고정되었고(2021년), 매 입력마다 출력이 바뀌며 불안정..

https://arxiv.org/abs/2407.01502 AI Agents That MatterAI agents are an exciting new research direction, and agent development is driven by benchmarks. Our analysis of current agent benchmarks and evaluation practices reveals several shortcomings that hinder their usefulness in real-world applications. First,arxiv.org 저는 AI Agent에 대한 방법론을 확인해 보고 싶었는데 이 논문은 벤치마크에 대한 논문이었습니다.기존 벤치마크는 정확도에만 집중해서 그에 ..

https://arxiv.org/abs/2405.14860 Not All Language Model Features Are LinearRecent work has proposed that language models perform computation by manipulating one-dimensional representations of concepts ("features") in activation space. In contrast, we explore whether some language model representations may be inherently multi-dimearxiv.org 결국 여태까지 SAE 진행한 것과 큰 차이점은 없지만 코사인 유사도가 높은 것들을 고르다 보면 순환적인..