반응형

소프트웨어 741

딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural Network

Linear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한 오차를 Loss function으로 보여주며 값을 감소하는 방향으로 나아간다.학습에 관련된 단어Batch - 전체 데이터 세트Epoch - 전체 데이터 세트를 몇 번 반복하는가Mini batch - Batch를 batch size로 나눈 작은 데이터 뭉치Iteration - 총 반복한 횟수로 Epoch*mini batch개수 이다.Gradient descent 경사 하강법으로 딥러닝이 학습하는 방식이다.Cost function을 미분하여 기울기를 구하고..

인공지능/공부 2024.08.25

영어 저장소 19일차

unattended[형용사] 방치된, 내버려둔 attend[동사] 참석하다 closure[명사]폐쇄, 마감, 종료 marginally[부사] 가까스로, 아주 조금, 미미하게shrink[동사] 움츠리다, 줄어들다reproduction[명사]번식, 복제in writting서면으로, 글로 작성하여accomplished[형용사] 성취된, 완성된, 뛰어난persistent[형용사] 지속하는, 끈기있는interpret해석하다, 설명하다account for설명하다, 책임지다organize조직하다, 개최하다transaction거래, 취급, 처리 precise[형용사] 정확한, 정밀한persuasive[형용사] 설득력 있는renowned[형용사] 유명한 lengthy[형용사] 매우 긴, 오랜, 장문의approval[명사..

기타 2024.08.23

Call for Customized Conversation:Customized Conversation Grounding Persona and Knowledge - 리뷰

https://www.semanticscholar.org/paper/Call-for-Customized-Conversation%3A-Customized-and-Jang-Lim/c65c96cfc8b448fe9fd6bbfe1aaaea727515f4f7 https://www.semanticscholar.org/paper/Call-for-Customized-Conversation%3A-Customized-and-Jang-Lim/c65c96cfc8b448fe9fd6bbfe1aaaea727515f4f7 www.semanticscholar.org 기존 배경 지식, 기존 대화 내용을 잘 활용하는 챗봇, LLM을 만들어 보자!데이터 세트의 발전과 프리 트레인 모델의 발전으로 인간과 기계의 대화는 최근 상당히 발전했다. ..

영어 저장소 18일차

그 800점의 예상 치를 하회하는 점수가 나와서 다시 시작합니다.... 산타토익.... invoice [명] 송장, 청구서regularly [부] 정기[규칙]적으로undergo [동] ~을 겪다, 경험하다 resistance [명] 저항, 반대 reliant on [형] 의존적인 familiarly [부사] 친하게, 스스럼 없이 confidential [형] 기밀인 vacant [형] 비어 있는   5형식 문장은 동사를 외워두지 않으면 풀기가 어렵다. 대표 동사인 make, find, keep을 외워두자.동사 keeps는 5형식 구조 의 구조로도 쓰인다.동사 found는 5형식 구조 의 구조로도 쓰이며 이 경우 ‘찾다’가 아닌 ‘알아내다’란 의미가 된다.부사와 명사 사이에는 명사를 수식하며 부사의 수식을..

기타 2024.08.21

세미나 준비 - Could Small Language Models Serve as Recommenders?Towards data-centric Cold-start Recommendations

추천 시스템은 온라인 정보를 필터링하여 사용자들의 관심사에 맞는 아이템을 발견하도록 도움을 줍니다.전통적인 추천 시스템은 사용자의 과거 클릭, 구매 내역, 평점 등 상호 작용 기록을 바탕으로 사용자와 아이템의 표현을 학습하고, 추천을 진행합니다.그러나 콜드 스타트 추천은 사용자, 아이템 간의 상호작용 정보가 없어 개인화된 추천 제공에 어려움을 겪는 것으로 주로 스타트업 기업에서 발생합니다. 이러한 문제를 해결하기 위해 PromptRec라는 접근 방식을 통해 대형 언어 모델의 인 컨텍스트 학습 능력으로 감성 분석 작업으로 변환하였습니다. 그러나 이 접근법은 대형 언어 모델의 인 컨텍스트 러닝에 상당히 의존하고, 지연 시간이 매우 컸기 때문에 새로운 방안을 찾아야 했습니다.  이전 콜드 스타트 추천 문제는 ..

HOB - MITC4 Shell 계산 과정

node - 각 노드들 위치 정보etable - 쉘을 구성하는 노드 번호들 fnode- 힘이 들어간 노드 번호 fix_node - boundary condition 노드 뽑기 물성치 뽑기 shell 자유도(Ndof)가 5이다 -> 총 자유도(tdof)는 5 * 노드 수(Nn) Vn - 각 노드 들의 norm 벡터 뽑기 근데 왜 쉘이 아니라 노드들의 벡터를 뽑지 ?K matrix - sparse 메트릭스로 총 자유도의 열과, 행으로 이루어져있다.반복문 마다 그 etable에 맞는 노드들과 노말 벡터들 뽑아서 MITC4에 넣기shell_stiffness 물성치 구하기! i, j, k 가 전부 1,2로 for 문 반복합니다.가우시안22 포인트 ?? - 1이면 -0.577- 2이면 +0.577stain_Disp..

FEM/HOB 2024.08.14

학습한 모델 웹사이트 챗봇으로 시각화 하기! - 모델 서빙하기 2

from fastapi import FastAPIfrom peft import PeftModel, PeftConfigfrom transformers import AutoModelForCausalLM,AutoTokenizer# 기본 모델 가져오기 base_model = AutoModelForCausalLM.from_pretrained("SmolLM1.7B")# 로컬 경로로 PeftModel 불러오기model = PeftModel.from_pretrained(base_model,"saved_model")# 로컬 경로로 tokenizer 불러오기tokenizer = AutoTokenizer.from_pretrained("saved_model")def get_answer(prompt): #prompt =..

학습한 모델 시각화 하여 보기 깔끔하게 하기! - 모델 서빙하기 1

일단 가장 기본 코드부터 테스트 해봅시다python 파일은 main.py로 만들어 줬습니다.from fastapi import FastAPI# 오브젝트 생성app = FastAPI()@app.get('/')def root(): return{'message':'Hello World'}이렇게 작성하고 powershell에서 uvicorn main:app --reload이렇게 작성하면 서버가 하나 켜지는 느낌이네요  저는 윈도우라 이렇게 실행해야 되네요curl.exe -X GET "http://127.0.0.1:8000"이런 출력이 나오는 것을 확인할 수 있습니다. 이번에는 입력을 넣어주면 모델을 거쳐서 출력이 나오는 코드 입니다.from fastapi import FastAPIfrom peft impo..

Scalable and Effective Generative Information Retrieval - 리뷰

https://dl.acm.org/doi/abs/10.1145/3589334.3645477 Scalable and Effective Generative Information Retrieval | Proceedings of the ACM on Web Conference 2024Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Shar..

728x90
728x90