https://neurips.cc/virtual/2025/loc/san-diego/poster/118303
립스에 붙은 논문입니다
기존 SAE에서 feature 해석하는 방법은 다음과 같다.
1. 특정 sae feature가 강하게 활성화 되는 문장을 모음
2. LLM에게 이 feature가 무엇을 보고 활성화되는지 설명하라고 함
3. 설명된 생성을 다시 simulator llm으로 평가 함
그러나 이런 방법의 문제는 과도한 일반화를 진행하거나, 너무 넓은 범위를 말하기도 한다. top-activating examples만 보면 그럴 듯 하지만, 비슷한 문맥의 반례를 넣으면 쉽게 깨진다.
=> 기존 sae feature explanation은 맞는 예시를 잘 포함하지만, 틀린 예시를 배제하는 precision이 약하다고 말한다.
| Similarity-based close negatives | top-activating sentences와 의미적으로 비슷하지만 실제 activation은 없는 문장을 negative로 사용 | overly broad explanation을 더 잘 falsify |
| Structured explanation | 하나의 짧은 문장이 아니라, 여러 개의 {activates_on, strength} rule로 설명 | feature의 polysemanticity를 명시적으로 표현 |
| Tree-based explainer | 설명 생성 → 평가 → 피드백 → 수정 과정을 tree search처럼 반복 | one-shot explanation보다 더 정교한 설명 생성 |
위 방식을 통해 feature가 나타내는 실제 설명을 추려낸다.
이 figure는 기존 sae가 얼마나 틀린 설명을 포함하는지, Similar negatives가 왜 필요한지를 말해줍니다.
유사한 네거티브를 사용하면 의미적으론 비슷해도, 실제 feature이 활성화 되지 않기 때문에 설명이 조금만 넓어도 false positive가 많이 발생하게 됨
tree-based explainer가 one-shot보다 더 좋은 설명을 만드는 것을 보여줌
=> feature가 여러 의미를 가질 때 하나 문장으로 뭉뚱그리는 것 보다 여러 룰로 나누는 것이 좋을 것.
tree base 에선 structured 설명의 추가 이득이 적음
큰 모델에서는 중간 레이어가 더 추상적인 feature을 만힝 담음
| 연구 문제 | 기존 SAE feature 자동 설명은 top-activating examples를 요약하는 데 치우쳐, 설명이 너무 broad하고 polysemanticity를 제대로 반영하지 못함. 즉, feature가 실제로는 특정 조건에서만 활성화되는데 설명은 더 넓은 개념으로 일반화되는 문제가 있음. |
| 핵심 아이디어 | 좋은 SAE explanation은 단순히 positive examples를 잘 설명하는 것이 아니라, 비슷하지만 실제로는 activation되지 않는 close negative examples에서 틀리지 않아야 한다는 관점으로 전환함. |
| Similarity-based negatives | top-activating sentences와 embedding similarity가 높은 문장 중 실제 SAE activation이 없는 문장을 negative로 사용. 이를 통해 overly broad explanation을 더 강하게 falsify함. |
| Structured explanation | feature 설명을 하나의 문장으로 만들지 않고, activates_on과 strength를 가진 여러 rule의 리스트로 표현함. 이를 통해 하나의 SAE feature 안에 섞인 여러 monosemantic component를 분리해 설명함. |
| Tree-based explainer | LLM이 explanation을 생성한 뒤 simulator로 평가하고, 가장 틀린 예시를 feedback으로 주어 explanation을 반복적으로 수정함. 즉, explanation generation을 tree search 기반 textual optimization 문제로 다룸. |
| 실험 설정 | Pile uncopyrighted subset 100,000 sentences를 32-token chunk로 구성. subject model은 Gemma-2-9B, Llama-3.1-8B, GPT-2 Small. 각 layer의 SAE feature를 대상으로 설명 생성 및 simulation 평가 수행. |
| 주요 결과 | similarity-based negatives는 random negatives보다 false positive를 더 많이 드러내며, 기존 explanation 평가가 recall-biased였음을 보여줌. Tree-based explainer는 one-shot explainer보다 일관되게 높은 성능을 보임. Structured explanation은 one-shot 설정에서는 성능 향상에 도움이 되지만, tree-based에서는 추가 이득이 작음. |
| 추가 분석 | Gemma-2와 Llama-3.1에서는 중간 layer에서 feature complexity가 높아지고, 깊은 layer로 갈수록 polysemanticity가 증가하는 경향이 관찰됨. GPT-2 Small은 상대적으로 낮고 안정적인 complexity/polysemanticity를 보임. |
| 한계 | tree-based explainer는 feature 하나당 약 1.5분이 걸려 대규모 분석에는 비싸며, top-activating records에 의존하기 때문에 낮은 activation 영역의 polysemanticity를 놓칠 수 있음. 또한 SAE feature explanation이 좋아져도 실제 model mechanism이나 reasoning을 완전히 설명한다고 보기는 어려움. |
| 한 줄 평가 | 이 논문의 핵심 공헌은 SAE feature 설명을 “그럴듯하게 생성”하는 문제에서 “반증 가능하게 평가하고 수정”하는 문제로 전환했다는 점임. |