공대생 도전 일지

https://arxiv.org/abs/2403.04257 Towards Robustness Analysis of E-Commerce Ranking SystemInformation retrieval (IR) is a pivotal component in various applications. Recent advances in machine learning (ML) have enabled the integration of ML algorithms into IR, particularly in ranking systems. While there is a plethora of research on the robustnarxiv.org   문제 정의전자상거래 랭킹 시스템은 사용자 검색 쿼리에 따라 상품을 순위별로..

https://dl.acm.org/doi/10.1145/3589334.3645626 Co-clustering for Federated Recommender System | Proceedings of the ACM on Web Conference 2024Recommender Systems (RSs) are powerful and popular tools for e-commerce. To build their recommendations, RSs make use of varied data sources, which capture the characteristics of items, users, and their transactions. Despite recent advances in RS, the ...dl..

https://dl.acm.org/doi/10.1145/3626772.3657801 Content-based Graph Reconstruction for Cold-start Item Recommendation | Proceedings of the 47th International ACM SIGIR ConferenThe reasoning and generalization capabilities of LLMs can help us better understand user preferences and item characteristics, offering exciting prospects to enhance recommendation systems. Though effective while user-item ..

https://arxiv.org/abs/2311.01343 Collaborative Large Language Model for Recommender SystemsRecently, there has been growing interest in developing the next-generation recommender systems (RSs) based on pretrained large language models (LLMs). However, the semantic gap between natural language and recommendation tasks is still not well addressed,arxiv.org  요약이 논문은 대형 언어 모델(LLM)을 활용한 추천 시스템(CLLM4R..

https://arxiv.org/abs/2401.13598 Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet ExtractionDocument-level Relation Triplet Extraction (DocRTE) is a fundamental task in information systems that aims to simultaneously extract entities with semantic relations from a document. Existing methods heavily rely on a substantial amount of fully la..

https://arxiv.org/abs/2310.15950 Representation Learning with Large Language Models for RecommendationRecommender systems have seen significant advancements with the influence of deep learning and graph neural networks, particularly in capturing complex user-item relationships. However, these graph-based recommenders heavily depend on ID-based data, potentarxiv.org   논문 제목: Representation Learni..

소규모 모델을 학습해서 더 큰 모델을 학습한다고 하니...시간나면 한번 하겠씁니다. https://arxiv.org/abs/2406.17711 Data curation via joint example selection further accelerates multimodal learningData curation is an essential component of large-scale pretraining. In this work, we demonstrate that jointly selecting batches of data is more effective for learning than selecting examples independently. Multimodal contrastive objectiv..

retriever와 reranker를 따로 쓰는 이유는?PLM 표현이 어떻게 되는건지...? - 임베딩?PTj의 표현  1. 논문 개요이 논문은 대규모 사전 학습된 언어 모델(PLMs)의 문서 검색 능력을 주제별 애플리케이션에서 개선하기 위해 작성되었습니다. 일반 도메인에서는 효과적이지만, 특정 주제에 한정된 응용 분야에서는 특정 용어, 불완전한 사용자 쿼리 맥락, 그리고 전문화된 검색 의도를 잘 포착하지 못하는 문제가 있습니다. 이를 해결하기 위해, 이 논문에서는 코퍼스 토픽 분류 체계를 활용하여 ToTER(Topical Taxonomy Enhanced Retrieval) 프레임워크를 제안합니다.2. 해결하려는 문제전문 용어의 문제 (C1): 특정 주제 도메인에서는 일반 텍스트 코퍼스에 자주 포함되지 ..

오늘날 추천 시스템은 데이터의 불균형을 신경 쓰지 않아 사용도가 높은 참여자의 데이터는 많이 학습되어 잘 작동하고, 적은 참여자는 임베딩이 잘 못 생성되어 무시되는 경우가 있다. 온도말고 학습률을 높여서 진행하면 안되나?모델이 구분을 잘 하도록? 오토인코더 왜 쓰?로라가 좋았던 이유 - 도메인이 너무 많아 파라미터가 너무 많았다.  논문 요약 (한글)논문 제목모든 임베딩이 동일하게 생성되지 않는다: 대비 학습을 통한 견고한 크로스 도메인 추천을 향하여문제 정의크로스 도메인 추천(Cross-Domain Recommendation, CDR)은 소스 도메인의 풍부한 정보를 활용하여 타겟 도메인의 추천 성능을 향상하는 것을 목표로 합니다. 그러나 각기 다른 도메인 간의 데이터 불균형 문제는 CDR 접근 방식의 ..

https://www.arxiv.org/abs/2402.01697LLM이 발전하면서 프롬프트 튜닝의 중요성이 점점 올라가고 있다.LLM이 분류를 진행하려면 프롬프트 튜닝이 점점 중요해지는데 이건 전문적이다 -> APT-pipe를 통해 자동적으로 프롬포트를 만들자도전과제chatGPT의 출력은 정형적이지 않다예시가 있으면 성능이 올라가지만 찾는데 힘들다 - 텍스트 유사도를 통해 자동적으로 선택하자메트릭이 있으면 성능이 올라가지만 도메인 지식이 필요하다.논문 "APT-Pipe: A Prompt-Tuning Tool for Social Data Annotation using ChatGPT"는 다음과 같은 내용을 다루고 있습니다.핵심 아이디어APT-Pipe는 대형 언어 모델(LLM)인 ChatGPT를 사용하여 소..