Privacy AI 관련 조사 9

https://aclanthology.org/2025.naacl-long.614/

EmojiPrompt: Generative Prompt Obfuscation for Privacy-Preserving Communication with Cloud-based LLMs

naacl 2025에 붙었네요 

클라우드 기반 LLM 사용 시 프롬프트 자체가 심각하게 프라이버시 위협이다!

기존 암호화나 DP 기반 방법은 모델 파라미터 접근이 필요하고, 로컬 LLM이나 고비용 연산이 요구되며 실제 클라우드 LLM API 환경에 적용이 어렵다.

=> 클라우드 LLM을 그대로 쓰면서도 프롬프트 내용만 안전하게 숨길 수 있는 방법이 필요함 

==> 자연어 프롬프트를 의미는 유지하되 사람이 읽을 수 없는 비자연어(이모지, 기호, 연산자)로 LLM이 변환하도록 하자 

난독화 
LLMO (obfuscation LLM) -> 사용자 입력 x를 이모지, 기호, 축약 토큰, 연산자 등으로 변환해 x' = LLMO(o, x)
LLMI (Inference LLM) -> 난독화된 입력 x'만 보고 추천, 분류, QA, 요약 등 inference 진행 

모델 가중치 없이, 로컬 모델 없이, 암호화 연산 없이 텍스트 변환 만으로 프라이버시 보호를 완성해냄 

영화 리뷰에 대해 어떻게 EmojiPrompt가 프라이버시를 보호하면서도 추론 성능을 유지하는지 단계적으로 보여줌 

Original Text는 자연어 영화 리뷰 전체가 그대로 존재하며 영화 취향, 평가 관점, 추천 영화, 개인적 선호가 그대로 존재하여 클라우드 LLM에 전달되면 완전 노출됨 

obfuscated Text는 리뷰 전체를 그대로 바꾸지 않고 의미 단위를 이모지 + 기호 + 축약 토큰으로 변환하여 자연어 문장 구조는 붕괴되어 사람 기준 가독성은 0으로 만들지만 의미는 보존하였음 

Obfuscated Prompt로 프롬프트가 만들어지고, 테스크를 지시하게 된다. 그 후 Inference를 통해 positive라는 결과가 나온다. 

Obfuscation Explanation - 이모지에 대한 설명으로 LLM에 제공되지는 않고 해석 가능성을 위해만 존재 

공격자가 obfuscated Text만 보고 원문 복원을 시도해도 매우 그럴듯한 다른 리뷰가 생성되고, 원문과 표면적, 구조적, 의미적 불일치가 일어나 의미는 남지만 원문은 복원되지 않음을 의미 

반복적으로 등장하는 구조화 엔티티를 통해 한 번 난독화하면 계속 재사용 함 

브랜드도 날려버림. 기능적 의미만 보호함 

난독화 이후 성능이 유지되거나 오히려 오르는 경우도 존재함 

기존 Split-N-Denoise, InferDPT, TokEmbPriv 대비 동등하거나 우수한 성능을 보이고, 복원 공격에 더 강함  

문제 정의	클라우드 기반 LLM 사용 시, 프롬프트 원문이 서버·외부 공격(jailbreak, 로그 유출)에 그대로 노출되어 사용자 프라이버시가 침해됨. 기존 HE/DP/MPC는 모델 접근·로컬 연산 요구로 실사용이 어려움.
핵심 아이디어	자연어 프롬프트를 의미는 유지하되 사람이 읽기 어려운 비자연 언어(이모지·기호·연산자)로 LLM이 직접 변환하도록 하는 Generative Prompt Obfuscation.
전체 구조	2-LLM 구조: LLMO(Obfuscation LLM)가 입력x → 난독화 x′ 생성, LLMI(Inference LLM)는 x′만 보고 추론 수행.
핵심 설계 ①	Atomic-level Obfuscation: 프라이버시 노출을 막기 위해 입력을 의미 최소 단위로 분해 후 개별 난독화. LLMO조차 전체 원문을 보지 못함.
Reusable Obfuscation	상품명·테이블 feature 등 반복 엔티티를 한 번 난독화 후 재사용 (추천·의료·금융 데이터에 적합).
Non-Reusable Obfuscation	리뷰·이메일 등 자유 텍스트를 clause 단위로 분해·셔플·난독화 후 재조합.
핵심 설계 ②	Semantic Alignment Constraint: 인접 텍스트의 난독화 결과도 의미 유사도(BERTScore 비율) 유지 → 성능 보존.
핵심 설계 ③	LDP Post-sampling: 하나의 입력에 대해 여러 난독화 후보를 생성 후 확률적으로 샘플링 → 분포·통계 기반 역추론 방지.
프라이버시 관점	개인 식별자·문장 구조·브랜드·고유명사는 제거/붕괴, 추론에 필요한 통계적·의미적 정보만 보존 (비식별화가 아니라 비연결화).
실험 설정	8개 도메인(추천, 감정분석, 스팸, 의료, 금융, 독해, 요약 등), GPT-4 / Gemini / LLaMA 등 API-only 환경.
주요 결과	난독화 후에도 성능 유지 또는 일부 향상, 기존 프롬프트 프라이버시 기법(SnD, InferDPT, TEP) 대비 동등 이상 성능.
복원 공격 평가	LLM·인간 공격 모두에서 원문 복원 실패. 의미는 남지만 원문과의 semantic/lexical overlap 크게 감소.
장점	모델 가중치 접근 불필요, 로컬 연산 없음, 완전 클라우드 친화적, 다양한 LLM에 일반화 가능.
한계	이모지/기호 어휘 제한, LLM hallucination 가능성, attribute inference 위험은 완전 제거 불가.
핵심 메시지	LLM은 자연어가 아니라 ‘의미 구조’를 이해한다 → 프라이버시는 암호화 이전, 언어 표현 레벨에서 실용적으로 보호 가능.

 

https://aclanthology.org/2025.emnlp-main.1165/

Exploring the Hidden Capacity of LLMs for One-Step Text Generation

기존 LLM의 Autoregressive decoding 구조로 인해 추론 지연, 병렬화 한계, long-context의 문제가 있었음 

기존 병렬/다중 토큰 생성 연구는 추가 모델, 대규모 파인튜닝, 아키텍처 재설계가 요구됨 

=> 이미 Autoregressive로 학습된 frozen LLM이 추가 학습 없이도 한 번의 forward pass로 여러 토큰을 정확히 생성할 수 있는가! 

==> Frozen LLM에 단 2개의 학습 가능한 입력 임베딩만 주어도 수백기의 토큰을 한 번의 forward pass로 정확히 복원할 수 있다. 

상당수의 토큰을 잘 생성하는 것을 볼 수 있고, 모델 크기가 커질 수록 더 많아지는 것도 볼 수 있다. 

2개의 Proto-token이라는 실제 vocab 토큰이 아닌 학습 가능한 입력 embedding 역할을 하는 토큰을 넣어 여러 토큰 정보를 압축하고, LLM 내부 연산을 통해 병렬적으로 토큰 시퀸스를 복원한다.

LLM은 완전히 얼리고 임베딩만 학습 함 

데이터는
Random - Random token sequences. 비자연 텍스트
Fanfics - AO3 Fanfiction. Unseen 자연어
PG-19 - Seen 자연어
PG-19(gen) - 모델이 생성한 텍스트 

Llama 8b 를 통해 최대 700토큰을 1forward pass로 복원

문제의식	Autoregressive decoding은 토큰 단위 생성으로 인해 추론 속도·병렬성에 근본적 한계가 존재함
핵심 질문	Frozen LLM이 iterative decoding 없이 한 번의 forward pass로 여러 토큰을 정확히 생성할 수 있는가?
핵심 아이디어	2개의 학습 가능한 입력 임베딩(proto-tokens) 만으로 frozen LLM이 수백 토큰을 one-pass로 복원 가능
입력 표현	Z = [e, m, m, …, m] (총 N개) • e: 텍스트별 정보 임베딩 • m: 구조적 역할, 여러 텍스트 간 공유 가능
학습 방식	LLM 파라미터는 완전 고정(frozen) proto-token 임베딩만 cross-entropy loss로 최적화
필수 설계 요소	• proto-token은 최소 2개 필요 (1개는 실패) • 토큰 배치 순서가 성능을 결정
사용 모델	Pythia (160M / 410M / 1.4B), LLaMA-3 (1B / 3B / 8B)
데이터	Random token, AO3 Fanfiction (unseen), PG-19 (seen), PG-19(gen)
성능 결과	• LLaMA-3.1-8B: 최대 ~700 토큰 정확 복원 • Pythia 계열은 모델 크기 증가 ≠ 성능 증가
정보량 분석	One-pass 생성은 autoregressive 대비 정보 밀도 ≈ 1/2
속도	Autoregressive 대비 최대 279× 높은 reconstruction throughput
Proto-token 해석	토큰 ID 저장이 아니라 언어 모델의 구조적 패턴을 활용한 압축 표현
표현 공간 특성	• 동일 텍스트 proto-token은 local & connected • 선형 보간은 실패, Bezier curve로 연결 가능
이론적 의미	LLM 내부에 잠재적 병렬 생성 능력(hidden multi-token capacity) 존재함을 입증
실용성 평가	현재는 existence proof 단계 (직접 최적화 필요)
한계	• Encoder 부재 → 실사용 불가 • 아키텍처 의존성 • capacity upper bound 아님
향후 연구	• Text → proto-token Encoder 학습 • Non-autoregressive / chunk-wise generation • RAG·압축·고속 추론으로 확장 가능