공대생 도전 일지

ALIENLM: ALIENIZATION OF LANGUAGE FORPRIVACY-PRESERVING API INTERACTION WITHLLMS

https://kimjaehee0725.github.io/publications/ PublicationsSelected publications and manuscripts in natural language processing and trustworthy AI.kimjaehee0725.github.io리뷰 받는 중 인 것 같은데 여기서 찾았습니다기존 Inference 방법론들은 API환경에서 제한적이거나 성능 감소가 매우 컸음 토큰 수준에서 치환을 통해 fine-tuning을 진행하고 이를 통해 성능 평가를 했을 때 80%의 성능을 유지함을 보여줌 의료, 금융, 교육과 같은 API 응용 환경에서 민감한 데이터를 보호할 수 있음토큰 암호화를 통해 사람이 읽을 수 없는 언어로 학습을 진행한다. API 사용이..

Privacy AI 관련 조사 11

https://arxiv.org/abs/2505.18332 An Attack to Break Permutation-Based Private Third-Party Inference Schemes for LLMsRecent advances in Large Language Models (LLMs) have led to the widespread adoption of third-party inference services, raising critical privacy concerns. Existing methods of performing private third-party inference, such as Secure Multiparty Computation (Sarxiv.orghidden state를 per..

Privacy AI 관련 조사 10

https://www.sciencedirect.com/science/article/pii/S0004370225000128LLM을 블랙박스 API로 호출하는 환경에서 사용자 프롬프트에 포함된 민감정보가 서버에게 노출될 수 있음 이를 줄이기 위해 프롬프트를 랜덤화 하여 보호하는 접근들이 있지만 유용성이 줄어든다!프라이버시가 유출되는 것을 볼 수 있다.프롬프트를 보호하면서도 프라이버시 노출도와 유틸리티 손실을 동시에 0으로 만들 수 있는가?=> 저자는 이론적으로 불가능한 방향이며 정략적 하한 형태로 제시 client가 원 프롬프트를 만들면 보호 화 방법에 따라 서버에 보냄 그럼 응답을 보내줌 서버는 보호된 프롬프트를 원문으로 복구하기 위해 공격을 시도함 랜덤화 보호 메커니즘은 토큰 단위 임베딩을 근접 토큰 치..

https://aclanthology.org/2025.naacl-long.614/ EmojiPrompt: Generative Prompt Obfuscation for Privacy-Preserving Communication with Cloud-based LLMsSam Lin, Wenyue Hua, Zhenting Wang, Mingyu Jin, Lizhou Fan, Yongfeng Zhang. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)..

https://arxiv.org/abs/2410.09457 Power-Softmax: Towards Secure LLM Inference over Encrypted DataModern cryptographic methods for implementing privacy-preserving LLMs such as Homomorphic Encryption (HE) require the LLMs to have a polynomial form. Forming such a representation is challenging because Transformers include non-polynomial components, sucharxiv.orgHE 기반의 LLM Inference는 Polynomial이어야 함!..

이제 Inference를 할 때 text 생성 부분에서 프라이버시를 지켜야 하기 때문에...https://arxiv.org/abs/2305.18396 LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly TransformersThe community explored to build private inference frameworks for transformer-based large language models (LLMs) in a server-client setting, where the server holds the model parameters and the client inputs its private data (or pr..

https://aclanthology.org/2024.tacl-1.9/ Lost in the Middle: How Language Models Use Long ContextsNelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang. Transactions of the Association for Computational Linguistics, Volume 12. 2024.aclanthology.orgtacl 2024에 붙은 논문입니다.장문의 컨텍스트를 입력으로 받는 LLM은 실제 컨텍스트 전체를 고르게 활용하냐? -> LLM이 Long Context를 잘 활용하면 정답 정보의 ..

https://aclanthology.org/2020.acl-main.130/ MuTual: A Dataset for Multi-Turn Dialogue ReasoningLeyang Cui, Yu Wu, Shujie Liu, Yue Zhang, Ming Zhou. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.aclanthology.orgACL 2020에 붙은 논문입니다.기존 목적 없는 대화 벤치마크들은 표면적으로만 언어 매칭이 보여서 다중 턴 대화에서 요구되는 추론 능력이 부족하다는 문제가 지속적으로 지적됨=> MuTual 은 다중 턴 대화 맥락을 기반으로 논리적으로 가장 적절한 다..

https://proceedings.iclr.cc/paper_files/paper/2025/hash/bbc461518c59a2a8d64e70e2c38c4a0e-Abstract-Conference.html Cut the Crap: An Economical Communication Pipeline for LLM-based Multi-Agent SystemsRequests for name changes in the electronic proceedings will be accepted with no questions asked. However name changes may cause bibliographic tracking issues. Authors are asked to consider this caref..

https://proceedings.neurips.cc/paper_files/paper/2024/hash/fa54b0edce5eef0bb07654e8ee800cb4-Abstract-Conference.html Reflective Multi-Agent Collaboration based on Large Language ModelsRequests for name changes in the electronic proceedings will be accepted with no questions asked. However name changes may cause bibliographic tracking issues. Authors are asked to consider this carefully and discu..