공대생 도전 일지

https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 SonnetAuthors Adly Templeton*, Tom Conerly*, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte MacDiarmid, Alex Tamkin, Esin ..

여긴 코드가 안보이네요https://ieeexplore.ieee.org/document/10483658 Slice and Conquer: A Planar-to-3D Framework for Efficient Interactive Segmentation of Volumetric ImagesInteractive segmentation methods have been investigated to address the potential need for additional refinement in automatic segmentation via human-in-the-loop techniques. For accurate segmentation of 3D images, we propose Slice-and-Conq..

from google.colab import drive, filesimport pandas as pdfrom keras.datasets.mnist import load_datafrom keras.models import Sequential, Modelfrom keras.layers import Dense, Input ,Flatten, Dropout, Conv2D, MaxPooling2Dfrom keras.utils import plot_model, to_categoricalfrom keras.regularizers import l2from sklearn.model_selection import train_test_splitimport numpy as npimport matplotlib.pyplot as ..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오.“GPT의 사전 학습은 비지도 토큰이 주어지면 _______이며, 이 가능성 함수를 최대화하기 위해 표준 언어 모델이 사용”하나를 선택하세요.1.어휘 의미 결정2.비지도3.다음 토큰 예측4.문법 오류 수정3번....?이거 또 다음주 내용인거 같은데?문장:“GPT의 사전 학습은 비지도 토큰이 주어지면 ___이며, 이 가능성 함수를 최대화하기 위해 표준 언어 모델이 사용”선택지 분석:어휘 의미 결정:어휘 의미 결정은 특정 단어의 의미를 이해하고 해석하는 과정입니다. GPT의 사전 학습 과정은 특정 단어의 의미를 결정하는 것이 아니라, 주어진 문맥에서 다음에 올 단어를 예측하는 것이므로 이 선택지는 맞지 않습니다.비지도:"비지도"는 지도 학습과 대조되는 ..

흥미로운 주제가 하나 던져져서,,, 자료 조사 조금 더 해보고 진행해 보겠습니다.https://www.anthropic.com/news/mapping-mind-language-model Mapping the Mind of a Large Language ModelWe have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models. This is the first ever detailed look inside a modern, production-grade large language model.www.anthropic.com  더보기1. 서론 (Introd..

이번 시간은 13주차 입니다. 13주차 강의는 총 5개의 차시로 구성되어 있습니다. 이번 강의에서는 강화학습 리뷰, 판단 트랜스포머, 행동 생성용 트랜스포머, 셰프 로봇의 행동 생성, AI 기반 행동 생성을 다룹니다. 강의를 통해서 여러분은 강화학습, 트랜스포머 기반 강화학습, 행동 생성용 트랜스포머를 설명할 수 있고, 생성형 AI기반 요리로봇, AI기반 행동 생성 기법을 설명할 수 있게 됩니다. 아래 영상의 재생 버튼을 클릭하여 학습을 시작하세요.1차시 - 강화 학습 리뷰강화 학습을 마지막 단에 넣는다.비지도 학습을 통해 추론과 생성을 진행할 수 있다.정책을 따라 리워드를 받고 학습하는 강화학습!SART를 하나의 튜플로 만들어서 확인한다.보상의 중요도가 엄청 높았다. 궁극적으로 많은 리워드를 받는 것이..

PCA에 관한 다음 설명 중에서 올바른 것을 모두 고르시오.하나 이상을 선택하세요.PCA는 데이터를 투영하고자 하는 저차원 평면을 찾는다.PCA에서는 평균 정규화가 필요하지만 특징값 스케일링은 필요하지 않다.좋은 PCA 투영은 데이터와 그것의 투영 사이의 거리를 최소화하는 것이다.PCA는 저차원 평면을 찾고, 거리를 최소화하며 특징값 스케일링도 필요하죠!PCA (Principal Component Analysis)에 관한 설명 중 올바른 것을 고르시오:PCA는 데이터를 투영하고자 하는 저차원 평면을 찾는다.올바른 설명입니다. PCA는 데이터를 가장 잘 설명할 수 있는 저차원 평면(또는 하이퍼플레인)을 찾는 방법입니다. 이 평면은 데이터의 분산을 최대화하는 방향들로 정의됩니다.PCA에서는 평균 정규화가 필..

Q. 다음 문장의 빈칸에 적절한 용어를 생각해 보세요."자동차의 성능을 나타내는 수십 가지의 특징들 중에서 20가지를 고려하면 데이터는 20차원의 벡터로 표현된다. 이처럼 높은 차원의 데이터는 계산하는 데 시간이 많이 걸릴 뿐만 아니라 사람이 쉽게 이해할 수 있도록 시각화하는 것도 어렵다. 높은 차원의 데이터를 원래 데이터의 특성을 크게 변화시키지 않으면서 낮은 차원의 벡터로 표현하고자 하는 기술을 ( 차원 줄이기(Dimensionality Reduction) )라고 한다."1차시 - 차원 줄이기의 목적 높은 차원의 데이터를 낮은 차원 데이터로 바꾸는 것 -> 차원 줄이기   차원 줄이기는 비지도 학습 중 한가지 이다.데이터들의 상관관계가 높아야 압축할 수 있다. redundant 가 높다!소수점이 생략..

https://ieeexplore.ieee.org/document/10214215 Counterfactual Mix-Up for Visual Question AnsweringCounterfactuals have been shown to be a powerful method in Visual Question Answering in the alleviation of Visual Question Answering’s unimodal bias. However, existing counterfactual methods tend to generate samples that are not diverse or require auxiliieeexplore.ieee.org음 일단 이건 코드가 안보이네요더보기최근 인공지능 ..

https://arxiv.org/abs/2311.07215 Coffee: Boost Your Code LLMs by Fixing Bugs with FeedbackCode editing is an essential step towards reliable program synthesis to automatically correct critical errors generated from code LLMs. Recent studies have demonstrated that closed-source LLMs (i.e., ChatGPT and GPT-4) are capable of generating correctivearxiv.orghttps://huggingface.co/collections/DLI-Lab/c..