공대생 도전 일지

LLM을 설명할 방법이 없을까 생각하면서 웹을 뒤적거리다가 파라미터가 전부 활성화 되어있는 것이 아닌 일부분만 활성화 되어있는 것을 볼 수 있었습니다.그럼 이런 파라미터를 버리면 되는거 아닌가? 하고 찾아보니 pruning이라는 방법이 있었습니다. ㅎㅎhttps://simpling.tistory.com/50 Neural Network Pruning - 모델 경량화Intro Pruning은 neural network를 경량화하고자 할 때 사용하는 방법입니다. Figure 1은 pruning을 잘 보여주는 그림입니다. 모든 node가 연결이 되어있던 왼쪽 그림으로 오른쪽과 같이 synapse(혹은 edge)와 neurosimpling.tistory.com이 부분에 대한 정리는 이 분 블로그에서 보고 배웠습니..

NLU - 자연어 이해 = 기계가 자연어의 의미를 이해하는 것으로 의도나 감정, 질문 등을 사람처럼 이해하도록 돕는 것이다.NLG - 자연어 생성 = 자연어를 생성하도록 돕는 기술로 자연스럽고, 정확한 정보를 포함하는 문장을 생성한다. NLP Tasktext classification - 사전에 정의된 카테고리 할당 정보 추출 문장 변환 및 생성품사 분류 및 관계토픽, 키워드 추출자연어 추론information retrieval, document ranking - 두 문서나 문장 간 유사도를 결정하는 작업에서 시작 Text Similarity Task - Query text에 대해 document DB에서 가장 유사한 문서를 반환하는 것을 목표로 하는 retrival 혹은 ranking 작업으로 확장될 ..

기본적인 딥러닝은 이 전에 작성한 글에서 확인하면 됩니다.2024.08.25 - [인공지능/공부] - 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural Network 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural NetworkLinear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한yoonschallenge.tistory.com2024.08.25 - [인공지능/공부] - 딥러닝 복습 2 - Regula..

추천 시스템은 온라인 정보를 필터링하여 사용자들의 관심사에 맞는 아이템을 발견하도록 도움을 줍니다.전통적인 추천 시스템은 사용자의 과거 클릭, 구매 내역, 평점 등 상호 작용 기록을 바탕으로 사용자와 아이템의 표현을 학습하고, 추천을 진행합니다.그러나 콜드 스타트 추천은 사용자, 아이템 간의 상호작용 정보가 없어 개인화된 추천 제공에 어려움을 겪는 것으로 주로 스타트업 기업에서 발생합니다. 이러한 문제를 해결하기 위해 PromptRec라는 접근 방식을 통해 대형 언어 모델의 인 컨텍스트 학습 능력으로 감성 분석 작업으로 변환하였습니다. 그러나 이 접근법은 대형 언어 모델의 인 컨텍스트 러닝에 상당히 의존하고, 지연 시간이 매우 컸기 때문에 새로운 방안을 찾아야 했습니다.  이전 콜드 스타트 추천 문제는 ..

2024.04.15 - [인공지능/자연어 처리] - 자연어 처리 중간 정리 1 자연어 처리 중간 정리 1 2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == yoonschallenge.tistory.com 언어의 특성 - 동음이의어, 사회적 지식, 모호성 단어 -> 형태 -> 문법 -> 의미 -> 대화 품사, 이름, 문법 통계에 기반한 embedding 방식 onehot encoding - 그저 index. 차원이 너무 많다. TD - 통계에 기반한 단어 등장 횟수로 표현한 임베딩. TF- IDF : 이것도 통계에 기반한 임베딩으로 차원이 아..

2강 - Text mining 자연어 처리 - 사람의 언어를 컴퓨터가 이해할 수 있는 체계인 숫자로 변환하여 번역, 감성분석, 정보 요약 등 다양한 TASK를 처리하는 것 컴퓨터가 이해할 수 있는 체계로의 변환 == encoding (one hot encoding) -> embedding (vector representation) 근데 이게 언어의 특성 때문에 어렵다! 1. 동음 이의어 2. 사회적으로 공유되는 정보, 지식, 경험들 3. 모호성 POS - 품사 (명사, 형용사, 동사..) Named entities - 인물, 지역, 나라... Syntax - 문법(의존 관계, 수식..) 3강 - word embedding 이전에는 원 핫 인코딩을 통해 단순히 단어 수의 차원을 통해 인코딩하여 sparse..