공대생 도전 일지

[https://arxiv.org/abs/2305.13731]    논문 요약문제 정의순차 추천 시스템은 사용자의 역사적 상호작용을 시간 순서대로 모델링하여 사용자가 관심을 가질만한 아이템을 추천하는 것을 목표로 합니다. 기존의 방법들은 명시적인 아이템 ID나 일반적인 텍스트 특징을 사용하여 시퀀스를 모델링하지만, 차가운 시작(cold-start) 아이템을 모델링하거나 새로운 데이터셋으로 지식을 전이하는 데 어려움을 겪습니다.해결하려는 문제기존의 추천 시스템은 새로운 아이템(차가운 시작 아이템)이나 새로운 데이터셋에 적응하는 데 어려움을 겪습니다. 이러한 문제는 아이템을 고유 ID로만 인식하여 모델이 학습된 지식을 새로운 상황에 적용하기 어렵게 만듭니다.제안하는 방법논문에서는 사용자 선호도와 아이템 특징..

결국 여러 모델을 학습시켜 조그만 모델을 만들어 사용하기인 것 같네요.인간 모방으론 자율주행에 한계가 있다. -> 새로운 방식을 찾아야 한다Hydra-MDP는 인간 교사와 규칙 교사를 통해 학생 모델을 다양한 평가 지표에 맞춘 경로 후보를 학습한다. Multi-Head Decoder를 통해 교사들의 지식을 효과적으로 통합한다. 어 음..... 저 밑의 내용들이 하나도 모르겠네요................ㅠ  논문 요약: Hydra-MDP핵심 아이디어Hydra-MDP는 여러 교사를 사용하는 지식 증류 방법을 통해 다양한 평가 지표에 맞춘 다중 궤적 후보를 학습하는 새로운 패러다임입니다. 인간과 규칙 기반 교사로부터 지식을 증류하여 학습하고, 이를 통해 다양한 주행 환경에서의 일반화 성능을 크게 향상시킵니..

간단하게는 차량의 효율적 운행을 위해 클라우드에서 파라미터를 보내주면 차량은 그 파라미터에 맞게 운행 방식을 변경하는 것이네요EMS(Energy management system)은 플러그인 하이브리드 자동차에서 전기와 연료를 어떻게 배분하여 사용할 지 결정하는 시스탬이다. 실시간으로 에너지를 관리하고 배분한다.CD-CS전략 - SOC(배터리 충전이 필요한 상태)가 최소 한계에 도달할 때 까지 전기 모드(CD)로 운행SOC는 한계를 유지하며 연료를 사용하여 운행하는 CS단계가 있다.이 방식은 최적 방식이 아니다.SDP(확률 동적 프로그래밍)을 통해 확인하자! -> 계산 리소스는 많이 필요하나 오프라인에서 이용할 수 있다.BUT 새로운 데이터에 대해선 다시 학습해야 한다. SMPC(확률 모델 예측 제어)은 ..

더보기요약이 논문은 대형 언어 모델(LLM)이 학습된 도메인에 대해 암묵적으로 고품질의 '세계 모델'을 학습하는지 평가하는 방법을 탐구합니다. 구체적으로, 이 연구는 언어 모델이 주어진 시퀀스 데이터로부터 세계 모델을 회복하는 능력을 평가하기 위해 새로운 평가 지표를 제안합니다. 제안된 평가 지표는 언어 이론의 고전적인 Myhill-Nerode 정리를 기반으로 합니다. 이를 통해 게임 플레이, 논리 퍼즐, 지리적 내비게이션 등 다양한 도메인에서 모델의 세계 모델 회복 능력을 테스트합니다.중요한 점세계 모델 회복: LLM이 학습된 시퀀스 데이터에서 내재된 세계 모델을 회복할 수 있는지 평가하는 새로운 방법론을 제안합니다. 이는 언어 모델이 단순히 다음 토큰을 예측하는 능력을 넘어서는 잠재력을 갖고 있는지 ..

https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 SonnetAuthors Adly Templeton*, Tom Conerly*, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte MacDiarmid, Alex Tamkin, Esin ..

여긴 코드가 안보이네요https://ieeexplore.ieee.org/document/10483658 Slice and Conquer: A Planar-to-3D Framework for Efficient Interactive Segmentation of Volumetric ImagesInteractive segmentation methods have been investigated to address the potential need for additional refinement in automatic segmentation via human-in-the-loop techniques. For accurate segmentation of 3D images, we propose Slice-and-Conq..

https://www.anthropic.com/news/mapping-mind-language-model Mapping the Mind of a Large Language ModelWe have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models. This is the first ever detailed look inside a modern, production-grade large language model.www.anthropic.com  더보기1. 서론 (Introduction)목적: 이 브리핑의 목적은 AI 모델, 특히 대형 언어 모델(LLMs..

https://ieeexplore.ieee.org/document/10214215 Counterfactual Mix-Up for Visual Question AnsweringCounterfactuals have been shown to be a powerful method in Visual Question Answering in the alleviation of Visual Question Answering’s unimodal bias. However, existing counterfactual methods tend to generate samples that are not diverse or require auxiliieeexplore.ieee.org음 일단 이건 코드가 안보이네요더보기최근 인공지능 ..

https://arxiv.org/abs/2311.07215 Coffee: Boost Your Code LLMs by Fixing Bugs with FeedbackCode editing is an essential step towards reliable program synthesis to automatically correct critical errors generated from code LLMs. Recent studies have demonstrated that closed-source LLMs (i.e., ChatGPT and GPT-4) are capable of generating correctivearxiv.orghttps://huggingface.co/collections/DLI-Lab/c..

https://arxiv.org/abs/2403.04787 Ever-Evolving Memory by Blending and Refining the PastFor a human-like chatbot, constructing a long-term memory is crucial. However, current large language models often lack this capability, leading to instances of missing important user information or redundantly asking for the same information, thereby dimiarxiv.org https://linnk.ai/insight/%EC%9D%B8%EA%B3%B5%E..