공대생 도전 일지

속력이 시간에 대한 함수로 주어지고, 위치와 가속력을 t=3 일 때 구하라고 한다.이건 그냥 미분과 적분하면 끝! 초기 속도, 초기 위치가 주어졌다.위로 가는 것이니 가속도도 주어진 셈이고 이다.v=0일 때 t 를 구해서 적분하여 s를 구할 수 있고, 여기서 s= 0일 때 t를 구하여 다시 v를 구할 수 있다.여기에 나온 vdv = ads를 사용하진 않을 것 같다.계산이 편할 것 같긴 하지만 시험 땐 내가 편한 방식으로 풀 것 같아서...초기 속도, 위치, 가속도가 s에 관한 식으로 주어졌다.v와 t를 구하는 문제다이 문제는 v dv = a ds를 통해서 v를 먼저 구한다. 그리하여 s일 때 속도를 구할 수 있다.그 다음 v = ds/dt  => v dt = ds 를 통해 t에 관한 식을 뽑아 낼 수 있..

일(U) = 힘 * 이동 거리 = 운동 에너지(T)일률(P) = 일의 미분 = 힘 * 속도 보존력(V) = 중력 + 스프링 힘 T1 + V1 = T2 + V2 15장 - Kinetics of particle : Impulse & momentum (충격량과 운동량)가해진 시간에 비례한다. 충격량은 운동량의 변화량과 같다.  충돌: 정면 충돌 -> 변형 ->  복구 -> 다시 날아가기

뭔가 GPT로 요즘 kaggle도 씹어 먹을 수 있다 그래서 한번 쯤 진행해 보고 싶었던 내용입니다.GPT한테 대회 규정 다 던져주고, 이 가이드 라인에 따라 제작해달라고 하니까 작성해줍니다.o1-preview는 사용 횟수에 제한이 있으니 적절히 사용해야 되니까 4o를 많이 사용해서 최대한 요약했습니다. 가이드라인: 제1회 MAI 경진대회 준비1. 대회 목표 및 데이터 분석목표: H&E 염색된 조직 이미지를 통해 유전자 발현 정보를 예측하는 모델 개발.데이터:학습 데이터: 6992개의 이미지와 3467개의 유전자 발현 정보.테스트 데이터: 2277개의 이미지 (유전자 발현 정보는 제공되지 않음).특징*: 각 이미지에 대해 다차원적인 유전자 발현 정보를 추론해야 하므로, 이미지 처리와 고차원 예측 능력을 ..

1주차 - 러일 전쟁 및 한반도1897 - 고종황제가 대한 제국 선포 1894 ~ 1895 청일 전쟁에서 일본이 승리 -> 한반도 장악이 더 쉬워짐1876.2 강화도 조약을 통해 조선을 개항하고, 청나라와의 관계 약화 1895.12 - 청일 전쟁에서 일본이 이긴 후 복귀한 개화파의 서재필은 독립 협회를 창립하여 대한 제국 설립에 도움을 줌 -> 청나라로부터 자주 독립이 목표였고, 진정한 독립 국가가 되길 염원 독립 협회 - 입헌 군주제 -> 만민 공동회를 개최하여 고종도 허락 서구파 - 전제 군주제 -> 고종과 이간질하여 힙헌 군주제 폐지, 독립 협회 해산 => 근대화가 멀어지고, 일본이 쉽게 처들어 올 수 있게 되었음 일본이 청일 전쟁 승리 후 요동 반도를 점령했으나 삼국(러, 독, 프)가 반환하라고 ..

https://arxiv.org/abs/2404.16014 Improving Dictionary Learning with Gated Sparse AutoencodersRecent work has found that sparse autoencoders (SAEs) are an effective technique for unsupervised discovery of interpretable features in language models' (LMs) activations, by finding sparse, linear reconstructions of LM activations. We introduce the Gatedarxiv.org  기존 SAE에 LSTM과 같은 GATE 구조를 추가하여 필요한 항만 ..

https://openreview.net/forum?id=vc1i3a4O99 Interpreting and Steering LLM Representations with Mutual...Large language models (LLMs) excel at addressing general human queries, yet they can falter or produce unexpected responses in specific scenarios. Gaining insight into the internal states of LLMs...openreview.net  여태가지 다 해봤던 내용인 것 같아서 크게 특별한 것이 안보이네요 1. 학습한다!2. 이 뉴런이 어떤 단어,토큰에 강하게 반응하는지 찾는다3. 뉴..

https://arxiv.org/abs/2406.11944 Transcoders Find Interpretable LLM Feature CircuitsA key goal in mechanistic interpretability is circuit analysis: finding sparse subgraphs of models corresponding to specific behaviors or capabilities. However, MLP sublayers make fine-grained circuit analysis on transformer-based language models difficultarxiv.org기존 SAE는 입력을 그대로 출력하는 Autoencoder의 특성을 그대로 가져와 입력을..

https://arxiv.org/abs/2309.08600 Sparse Autoencoders Find Highly Interpretable Features in Language ModelsOne of the roadblocks to a better understanding of neural networks' internals is \textit{polysemanticity}, where neurons appear to activate in multiple, semantically distinct contexts. Polysemanticity prevents us from identifying concise, human-understandaarxiv.org 기존 Transformer 구조에서 뉴런 수 보..

https://arxiv.org/abs/2012.09838 Transformer Interpretability Beyond Attention VisualizationSelf-attention techniques, and specifically Transformers, are dominating the field of text processing and are becoming increasingly popular in computer vision classification tasks. In order to visualize the parts of the image that led to a certain classifiarxiv.org이건 Visual LM인가 보네요특정 토큰마다 중요도를 구해서 별 의미없는..

https://arxiv.org/abs/2312.03656 Interpretability Illusions in the Generalization of Simplified ModelsA common method to study deep learning systems is to use simplified model representations--for example, using singular value decomposition to visualize the model's hidden states in a lower dimensional space. This approach assumes that the results of thesearxiv.org 모델을 단순화하여 시각화하면 왜 이러한 출력을 하는지 보..