공대생 도전 일지

LLM interpretability1 : Toy Models of Superposition

https://transformer-circuits.pub/2022/toy_model/ Toy Models of SuperpositionIt would be very convenient if the individual neurons of artificial neural networks corresponded to cleanly interpretable features of the input. For example, in an “ideal” ImageNet classifier, each neuron would fire only in the presence of a specific vtransformer-circuits.pub 제가 원했던 분야 중 하나입니다.드디어 조금씩 진행하게 되었네요 일부 뉴런은 명확..

https://youtu.be/ZCJfq77sFE8?si=BuVkGLRfDvfLGuKn 곡선 운동에서는 이동거리를 위치만 사용해서 구하면 안 되고, 원호를 통해 구해야 한다.즉 여기서 △r이 변위가 아니라 그 위에 있는 △s가 변위인 것이다. △r = r' - r△s != △r여기서 △t -> 0으로 가면 순간 속도를 구할 수 있게 되는데 이것은 항상 곡선의 접선(Tangent)이다.곡선 운동에서는 속도의 방향이 계속 바뀌기 때문에 가속도 0은 불가능하다! 속도 성분 구하는 법!velocity는 무조건 경로에 접선이다!가속도도 동일하게 구한다!acceleration도 hodograph(속도 벡터를 이어 붙여서 만든 path)에 접선이다.   투사체 운동수평(horizontal) 운동 - 등속 운동수직(V..

https://arxiv.org/abs/2406.14952 ESC-Eval: Evaluating Emotion Support Conversations in Large Language ModelsEmotion Support Conversation (ESC) is a crucial application, which aims to reduce human stress, offer emotional guidance, and ultimately enhance human mental and physical well-being. With the advancement of Large Language Models (LLMs), many researchers haarxiv.org  ESC - 인간의 스트레스를 줄이고 정서적..

1주차 - 생성형 AI인공지능을 활용한 다양한 콘텐츠, 우리 삶의 변화에 대해 공부하는 것 같네요 생성형 AI란? - 사용자가 원하는대로 결과를 생성해 내는 AI 머신러닝 - 컴퓨터가 데이터를 기반으로 학습한다. -> 패턴을 찾아서 추론한다. ex) 이미지 학습하여 번호판 인식딥러닝 - 인간의 뇌를 컴퓨터에 디자인해서 사용 -> 컴퓨터를 여러 대를 사용하고, 데이터를 많이 사용하여 학습 ex) 알파고생성형 AI - 사람의 창의적인 행동까지 따라서 결과를 생성한다. Discriminate Model - 판단 모델 -> 학습을 통해 패턴을 찾아서 문제에 적용 Generative Model - 생성 모델 -> 데이터를 기반으로 명령을 따라 생성한다. 생성 모델 특징1. 거대한 모델 - 파라미터 2. 엄청난 수..

이 문제는 단순하게 풀렸다.변위, 평균 속도야 이동거리만 따져서 구할 수 있었고, 가속도는 속도를 시간으로 두 번 미분하여 구했습니다. a를 통해서 v를 구하였습니다.그러나 하도 손으로 수학을 안해서 그런지 저 적분할 때 부터 어떻게 했는지 기억이 안나서 잠깐 아리 까리 했었네요적분만 잘 진행했다면 식은 그 뒤로 쭉쭉 풀립니다.가속도와 위치가 섞여있는 식!그럼 속도와 가속도를 모두 섞은 시간이 없는 식을 사용해봅시다. 이 문제도 위의 문제와 동일하게 가속도를 위치로 표현했습니다.동일한 방식으로 적분하여 진행했습니다.분모에 미지수가 있을 때 적분하면 마이너스 붙는것도 깜빡하고 ㅎㅎ.... 시간에 대한 가속도를 줬으면 하나하나 천천히 적분해가면서 속도에 관한 식과 위치에 관한 식으로 바꿔줬습니다.이 부분에서..

운동학 - Kinematics : 운동만 다루며, 위치, 속도, 가속도 그리고 시간의 변화를 다룬다.운동역학 - Kinetics : 외부에서 힘이 가해졌을 때 운동학에 어떤 영향을 끼치는지  직교좌표계(Cartesian) : x,y,z  데카르트 극좌표계(Polar) : rcosθ, rsinθx = rcosθy = rsinθr = root(x^2 + y^2)θ = arctan(y/x)원통 좌표계 (Cylindrical) : Polar + height(cartesian)구면좌표계(Spherical) :   운동학 - 외력이 없다 == 가속도가 그대로다 -> 운동만 생각하자좌표계 s원점 O지점 P위치 벡터 r : O -> P 속도(velocity) v = ∂r / ∂t여기서 t->0 이라면 순간 속도가 된다..

alternate [형] 대안의, 대체 temporarily [부] 일시적으로 clear [동] 치우다, 깨끗이 하다 detour [명] 우회 snowstorm [명] 눈보라 quick [형] 빠른 motorist [명] 운전자 instead [부] 대신에trade fair 무역 박람회 on behalf of ~을 대표해, 대신해 look around 둘러보다 familiar [형] 익숙한, 잘 아는 attendee [명] 참가자 firm [명] 회사, 기업 eagerly [부] 열성적으로 purchase [동] ~을 구입하다 flock to ~로 모여들다 announce that ~라고 공지하다, 발표하다 complimentary [형] 무료의 along with [전] ~와 함께 purchase [명..

이 것도 이전 논문과 마찬가지고 감정적인 대화를 잘 하는 LLM을 만들고, 그에 대한 평가를 하기 위해 읽었네요2024.09.05 - [인공지능/자연어 처리] - ESC Task, ESConV 평가 방식 ESC Task, ESConV 평가 방식더보기ESC와 ESConV는 감성 인식 및 감성 대화와 관련된 자연어 처리(NLP) 분야에서 중요한 개념입니다. 특히 감성(감정)을 인식하고 이를 기반으로 대화하는 모델을 만들려는 목적이라면 유용한 도yoonschallenge.tistory.com https://arxiv.org/abs/2306.05685 Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaEvaluating large language model (LLM..

2024.09.05 - [인공지능/자연어 처리] - ESC Task, ESConV 평가 방식 ESC Task, ESConV 평가 방식더보기ESC와 ESConV는 감성 인식 및 감성 대화와 관련된 자연어 처리(NLP) 분야에서 중요한 개념입니다. 특히 감성(감정)을 인식하고 이를 기반으로 대화하는 모델을 만들려는 목적이라면 유용한 도yoonschallenge.tistory.com위 글에서 감성적인 LLM에 대해 평가를 어떻게 진행해야 할까 찾아보다가 논문 리뷰를 진행하게 되었습니다.여기에 사용된 EGS라는 방법이 전문가와의 큰 차이도 없고, 자동화가 편해 프로젝트에 큰 도움이 될 것 같네요https://arxiv.org/abs/2401.06836 Enhancing Emotional Generation Ca..

더보기ESC와 ESConV는 감성 인식 및 감성 대화와 관련된 자연어 처리(NLP) 분야에서 중요한 개념입니다. 특히 감성(감정)을 인식하고 이를 기반으로 대화하는 모델을 만들려는 목적이라면 유용한 도구들이 될 수 있습니다. 각 개념에 대해 간단히 설명하겠습니다.1. ESC Task (Emotion Sentence Classification Task)ESC는 감정 문장 분류 작업을 의미합니다. 이 작업은 문장을 입력으로 받아 그 문장에서 나타나는 감정을 분류하는 것을 목표로 합니다. 감정 범주는 주로 긍정, 부정, 중립 등의 기본적인 분류부터 기쁨, 슬픔, 분노, 공포 등 세부적인 감정 상태까지 다양할 수 있습니다.ESC Task는 감정 분석 모델을 만들 때 핵심적인 작업 중 하나입니다. 감정 문장 분류..