A Multimodal Automated Interpretability Agent

https://arxiv.org/abs/2404.14394

A Multimodal Automated Interpretability Agent

 

 

이 논문은 수 많은 실험을 통해 특정 사진에만 나타나는 Feature를 찾아내는 것인데 사진도 생성형 이미지를 쓰고, 실험도 반복적으로 계속 진행해야 해서 음.....

그래도 이렇게 찾아낸 feature에서 모델의 편향을 제거하고, 성능 개선 및 오류 식별 같은 후속 작업도 진행하네요

 

 

 

 

 

 

논문 "A Multimodal Automated Interpretability Agent (MAIA)"는 인공지능 모델 해석을 자동화하고자 하는 시스템을 제안합니다. 이 시스템은 특히 이미지와 언어를 동시에 다루는 사전 학습된 모델에 다양한 해석 도구를 적용하여, 모델의 특성을 설명하거나 오류 패턴을 발견할 수 있게 돕습니다.

1. 문제 제기

기존의 인공지능 모델 해석은 많은 연구자들의 수작업으로 이루어져, 시간과 비용이 많이 드는 문제점이 있습니다. 특히 모델이 특정한 특징에 과도하게 의존하는지, 시스템적인 예측 오류가 있는지, 또는 데이터와 모델 아키텍처를 어떻게 수정해야 하는지를 파악하는 과정이 필요합니다. 기존 연구들은 제한된 입력에 대해 가설을 세우고 특징을 설명하는 정도에 머무르기 때문에 이러한 해석 방법에는 한계가 있었습니다.

2. 해결 방법 및 시도

이 논문에서는 MAIA라는 시스템을 도입하여, 모델 해석 과정에서 반복적인 실험을 자동으로 수행하는 프레임워크를 제안합니다. MAIA는 사전 학습된 비전-언어 모델을 기반으로, 해석이 필요한 모델의 서브 컴포넌트에 대한 실험을 설계하고 결과를 요약하는 도구를 포함합니다. 주요 도구로는 입력 이미지를 합성하거나 편집하는 방법, 데이터셋에서 최대 활성화 예제를 찾는 방법, 실험 결과를 요약하는 방법 등이 포함됩니다.

3. MAIA의 구체적 구성 및 방법론

MAIA는 여러 도구를 조합하여 모델의 동작을 설명하는 해석 실험을 설계하고 수행합니다. 이를 위해 Vision Language Model (VLM)을 활용해, Python 프로그램을 작성하여 다양한 실험을 반복적으로 수행할 수 있습니다. MAIA의 도구 API에는 다음과 같은 기능이 포함됩니다:

• Dataset Exemplars: 데이터셋에서 최대 활성화 예제를 찾음으로써 모델이 어떤 이미지에서 높은 반응을 보이는지 파악합니다.
• Image Generation and Editing: 텍스트에서 이미지를 생성하거나 이미지를 수정하여 모델의 특정 특징 반응을 확인합니다.
• Experiment Log: 각 실험의 결과를 기록해 이후 실험에서 활용할 수 있도록 합니다.

4. 실험 결과

MAIA는 다양한 컴퓨터 비전 모델 (예: ResNet-152, DINO, CLIP)에서 특징 설명을 수행하여 그 정확도를 평가했습니다. MAIA가 생성한 설명은 MILAN과 같은 기존 해석 모델이나 인간 실험자와 비교하여 유사하거나 더 높은 예측력을 보였습니다. 또한 MAIA는 모델이 편향적으로 학습한 불필요한 특징을 제거하거나 편향을 식별하는 작업에도 응용될 수 있습니다.

5. 한계점

MAIA는 실험을 자동으로 수행하지만, 여전히 인간의 지시와 검토가 필요하며, 일부 경우에 확증 편향이 발생할 수 있습니다. 또한 현재 도구의 성능 한계에 따라 발생하는 실패 사례가 보고되었으며, 더욱 정교한 해석을 위해 도구와 에이전트의 성능이 향상되어야 합니다.

이 논문을 통해 자동화된 해석 에이전트의 가능성과 한계를 이해할 수 있으며, 이를 바탕으로 추가적인 도구 개발이나 실험 설정 방식을 조정할 수 있습니다.

 

MAIA의 진행 방법에 대해 좀 더 자세하고 상세하게 말해줘
지금까지 설명이 명확하게 들어오지 않아

MAIA(Multimodal Automated Interpretability Agent)는 인공지능 모델의 해석 과정을 자동화하기 위한 에이전트로, 주요 작업 흐름은 모델의 내부 구조나 특성을 해석하기 위해 다양한 실험을 설계하고 수행하는 것입니다. MAIA의 핵심은 모델의 특정 뉴런이나 구성 요소의 반응을 관찰하고 분석하여, 모델의 의사결정 과정을 설명하는 데 있습니다. 이 과정은 순차적이며, 다음과 같은 단계로 구성됩니다.

1. 입력 설정과 가설 생성

MAIA는 분석하고자 하는 모델의 특정 뉴런, 층, 또는 특징을 대상으로 실험을 설계합니다. 예를 들어, "ResNet-152의 4층에 위치한 특정 뉴런이 숲 배경에 반응하는지"와 같은 해석 질문을 설정합니다. 이 질문에 맞춰 MAIA는 실험을 통해 답을 얻기 위해 가설을 생성하고 이를 테스트할 수 있는 프로그램을 작성합니다.

2. MAIA API 구성과 도구 설명

MAIA의 API에는 실험 설계와 분석을 위한 다양한 도구가 포함되어 있습니다. 주요 도구는 다음과 같습니다:

• Dataset Exemplars: 대규모 이미지 데이터셋(예: ImageNet)에서 뉴런이 강하게 반응하는 이미지들을 찾아 최대 활성화 이미지를 제공합니다. 이 도구를 통해 MAIA는 모델의 일반적인 반응 패턴을 이해할 수 있습니다.
• Image Generation and Editing: 텍스트에서 이미지를 생성하거나 이미지를 수정하는 도구입니다. 예를 들어, "개가 있는 이미지"를 생성하거나 "개를 고양이로 바꾸기" 같은 편집을 통해 특정 특징에 대한 모델의 민감도를 평가할 수 있습니다.
• Image Description and Summarization: 실험 결과 이미지를 MAIA가 자동으로 요약하여 분석 결과를 서술할 수 있게 돕는 도구입니다. 이러한 도구는 중립적인 관점에서 실험의 신뢰도를 확보하기 위해 사용됩니다.
• Experiment Log: 실험 과정과 결과를 기록하여 후속 분석에 활용하도록 합니다. MAIA는 이를 통해 실험의 연속성을 유지하고 결과를 비교할 수 있습니다.

3. 실험 실행과 반복적인 가설 검증

MAIA는 실험을 수행하면서 각 단계의 결과를 분석하고, 가설에 대한 검증을 진행합니다. 이 과정은 반복적으로 이루어지며, 예를 들어 텍스트-이미지 변환 도구를 사용하여 "숲 배경 이미지"를 생성하고 해당 이미지에서 뉴런의 활성화 값을 측정합니다. 실험을 통해 가설이 증명되지 않으면, MAIA는 다른 가설을 설정하고 실험을 재설계하여 추가적인 검증 작업을 수행합니다.

4. 실험 결과 요약과 설명

MAIA는 설명 텍스트 생성 도구를 사용하여 실험 결과를 자연어로 요약합니다. 예를 들어, 특정 뉴런이 특정 환경에서 더 활성화된다는 것을 설명할 수 있습니다. 이 요약 텍스트는 실험의 결과와 해석을 보다 명확하게 이해하는 데 도움을 줍니다.

5. 로그 기록과 향후 실험을 위한 피드백 루프

MAIA는 실험 과정과 결과를 Experiment Log에 기록합니다. 이 로그에는 각 실험의 조건, 실행한 코드, 그리고 관측된 결과가 포함되어 있습니다. 이 기록을 통해 MAIA는 후속 실험에서 이전 결과를 참고하거나, 추가적인 실험 방향을 설정할 수 있습니다. 만약 실험 중에 예측한 바와 다른 결과가 나오면 이를 토대로 가설을 수정하고 새로운 실험을 계획하게 됩니다.

예시

만약 ResNet-152의 특정 뉴런이 특정한 동물이나 배경 요소(예: 강아지 또는 숲)와 관련된 반응을 보이는지 알아보려는 경우, MAIA는 다음과 같은 실험을 진행합니다:

1. 가설 설정: 해당 뉴런이 특정 이미지에서 강하게 반응할 것이라고 가정.
2. 이미지 생성: "강아지" 또는 "숲"과 관련된 이미지를 텍스트로부터 생성.
3. 활성화 측정: 생성된 이미지를 모델에 입력하여 뉴런의 활성화 값 관찰.
4. 설명 생성: 이 과정에서 얻은 뉴런의 반응 데이터를 바탕으로 설명을 작성.

MAIA의 장점과 한계

MAIA는 이처럼 실험의 반복과 자동화를 통해 효율성을 크게 높이고, 모델 해석의 품질을 개선하는 데 유용합니다. 그러나 도구의 성능에 한계가 있을 경우, 예를 들어 이미지 생성이 불완전하게 이루어지면 해석의 정확도가 떨어질 수 있습니다. 또한 MAIA는 여전히 인간의 검토와 확인이 필요하며, 자동화 과정에서 발생할 수 있는 편향을 조정할 수 있는 능력이 필요합니다.

이처럼 MAIA는 체계적이고 반복적인 실험을 통해 모델을 해석하며, 이러한 접근 방식이 향후 AI 모델의 해석 연구에 중요한 방향성을 제시할 수 있습니다.

 

그럼 계속해서 비교해가면서 어떤 feature가 이 때만 활성화 되는구나! 하는거야?

 

맞습니다! MAIA는 반복적인 비교 실험을 통해 특정 feature가 어떤 조건에서 활성화되는지 파악합니다. 이를 위해 다양한 이미지나 수정된 이미지를 모델에 입력하면서, 해당 feature가 언제 활성화되는지를 관찰합니다.

예를 들어, MAIA는 다음과 같은 방식으로 특정 feature의 활성화 조건을 조사할 수 있습니다:

1. 기준 이미지 설정: 먼저 특정 feature를 자극할 것으로 예상되는 이미지를 생성하거나 선택합니다. 예를 들어, “강아지가 잔디에 앉아 있는 이미지”를 준비해 해당 feature가 강하게 활성화되는지 확인합니다.
2. 비교 실험 설계: 이후에는 기준 이미지의 일부 요소를 변경하여 그 feature의 반응 변화를 측정합니다. 예를 들어, “강아지”를 “고양이”로 바꾸거나, 배경인 “잔디”를 다른 배경”으로 교체해 봅니다.
3. 반응 패턴 분석: 각각의 경우에서 feature의 활성화 정도를 비교하여, “어떤 경우에 더 활성화가 강한지” 또는 “특정 상황에서만 활성화되는지”를 분석합니다.
4. 결론 도출: 이러한 반복적인 비교 실험을 통해 MAIA는 해당 feature가 특정 맥락(예: 강아지가 포함된 장면, 잔디 배경 등)에서만 활성화된다는 사실을 발견할 수 있습니다.

예시

MAIA가 “숲 배경에서만 강하게 반응하는 feature”를 해석하려고 한다면:

• 숲 배경이 있는 다양한 이미지를 모델에 입력해 feature의 활성화 정도를 기록합니다.
• 이후 숲 배경을 없애거나, 다른 배경(도시, 바다 등)으로 대체하여 실험을 반복합니다.
• 이 과정을 통해 숲 배경에서만 강하게 반응하는지, 아니면 다른 배경에서도 반응하는지에 대한 결론을 얻습니다.

이렇게 MAIA는 다양한 상황에서 feature의 활성화 여부를 관찰하며, 이를 통해 모델이 특정 상황에서만 사용하는 특징을 파악할 수 있게 됩니다.

 

그런데 이렇게 생성된 이미지로 feature를 조사하면 사람들이 그린 그림이나 사진이랑은 분포가 달라서 제대로 된 feature가 아니지 않을까...?

맞습니다. 생성된 이미지를 사용하면 분포 차이 문제가 발생할 수 있습니다. 예를 들어, 사람들이 찍은 사진이나 실제 장면에서 나타나는 시각적 특징과 생성된 이미지가 다른 분포를 가질 수 있습니다. 이런 차이 때문에 MAIA가 생성한 이미지로 특정 feature를 조사하는 경우, 실제 상황에서 활성화될 feature와 일치하지 않을 가능성이 있습니다.

이를 보완하기 위해 MAIA는 실제 데이터셋과 생성된 이미지를 병행하여 사용합니다. 구체적으로는 다음과 같은 방식으로 분포 차이를 줄이고, 더 신뢰성 있는 feature 해석을 할 수 있습니다:

1. 실제 데이터셋 기반 초기 실험: ImageNet 같은 대규모 실제 이미지 데이터셋에서 feature의 반응을 측정하여, 모델이 원래 학습한 분포에 맞는 feature 활성화 패턴을 얻습니다. 이를 통해, 모델이 실제 데이터에서 나타내는 일반적인 반응을 파악합니다.
2. 생성 이미지 기반 세부 실험: 실제 데이터셋으로 기본적인 특성을 파악한 후, 세부적인 실험이 필요한 경우에는 생성 이미지를 통해 조건을 조작하여 실험합니다. 생성 이미지는 모델이 드문 상황이나 특정 변수만 달라진 상황을 설정할 때 유용하며, 컨트롤이 가능한 실험 환경을 제공합니다.
3. 결과 비교와 교차 검증: 실제 데이터에서 얻은 feature 활성화 패턴과 생성 이미지 실험에서 얻은 패턴을 교차 비교하여, 일관성이 있는지 확인합니다. 만약 실제 데이터와 생성 이미지에서 나타나는 패턴이 크게 다르다면, 생성된 이미지의 해석 결과에 대한 신뢰도가 낮아질 수 있으므로 주의가 필요합니다.
4. 결론 도출 시 실제 데이터 기반 우선 고려: 최종 해석에서는 실제 데이터에서 검증된 feature 활성화를 중심으로 결론을 내리고, 생성 이미지에서만 나타나는 특이한 활성화는 부가적인 참고로 사용합니다.

이렇게 실제 데이터와 생성 이미지를 혼합하여 활용하면, 모델이 실제 상황에 가까운 조건에서 반응하는 feature를 찾을 수 있고, 생성 이미지 실험이 주는 통제력을 함께 누릴 수 있습니다.

 

그럼 여기서 feature를 찾기만 하고, 그 후에 진행되는 내용에 대해서는 말 없어?

좋은 질문입니다! MAIA는 feature를 찾는 것에서 끝나는 것이 아니라, 찾은 feature를 활용하여 모델의 편향 제거, 성능 개선, 그리고 오류 식별 같은 후속 작업을 수행합니다. MAIA의 전체 흐름에서 feature 해석은 첫 번째 단계에 불과하며, 해석한 feature를 기반으로 모델을 개선하거나 문제를 진단하는 작업이 이어집니다. 구체적으로는 다음과 같은 단계로 진행됩니다.

1. 모델의 편향 탐지 및 수정

• MAIA는 모델이 학습 중 특정 feature에 과도하게 의존하게 되는 경우, 이를 탐지하고 조정할 수 있습니다. 예를 들어, 특정 개체를 배경 요소와 결합하여 인식하는 경향이 있을 때, 이 편향된 feature를 찾아 제거함으로써 모델의 예측이 특정 배경에 영향을 받지 않도록 개선할 수 있습니다.
• 이를 위해, MAIA는 학습 데이터에서 특정 feature를 갖는 샘플만 따로 평가하거나, 해당 feature를 제거한 이미지를 통해 예측 성능을 재평가하여, 과도한 의존성(스퓨리어스(feature가 문제를 일으키는 경우)를 줄이려는 조정을 합니다.

2. 에러 패턴 식별

• MAIA는 모델이 자주 오분류하는 입력 패턴을 식별하여, 어떤 feature가 오류의 원인이 되는지 분석합니다. 예를 들어, 특정 feature가 포함된 입력에서 모델이 반복적으로 오답을 내놓는다면, 그 feature가 모델의 약점일 수 있음을 확인하게 됩니다.
• MAIA는 이런 오답 패턴을 분석하고, 오류를 발생시키는 조건을 식별하여 해당 feature가 활성화되는 입력 상황을 피드백으로 제공합니다.

3. 모델의 신뢰성 평가와 향상

• MAIA는 모델이 불확실성을 가진 상황에서 어떠한 feature에 의존하는지 파악하여, 모델의 신뢰도를 평가할 수 있습니다. 예를 들어, 예측의 신뢰도가 낮은 상황에서 모델이 특정 feature를 더 의존하는 경향이 있다면, 해당 상황에서의 신뢰성을 개선할 필요가 있음을 알려줍니다.
• 이 피드백을 바탕으로 모델을 재학습시키거나, 데이터셋에 추가 데이터를 보강하여 보다 견고한 모델을 구축하는 데 도움을 줄 수 있습니다.

4. 모델 재학습 또는 아키텍처 조정

• MAIA가 발견한 편향된 feature나 오류 패턴을 바탕으로, 모델을 재학습하거나 일부 feature를 제외하여 보다 일반화된 모델을 만들 수 있습니다. 이를 통해 특정 상황에서만 활성화되는 feature의 영향을 줄이고, 다양한 상황에서 견고한 성능을 낼 수 있도록 합니다.
• 필요 시, MAIA가 제안하는 feature 해석 결과를 기반으로 모델 아키텍처를 수정하여 복잡한 상황에서 모델의 대응력을 높일 수 있습니다.

이후 MAIA의 이러한 결과는 사용자가 모델 해석 결과를 모델의 실제 개선으로 연결할 수 있도록 도와주는 중요한 단계가 됩니다. 결과적으로 MAIA는 feature 해석을 통해 모델의 약점과 편향을 찾아내고, 이를 개선하여 더욱 신뢰성 있고 성능이 우수한 모델을 만드는 일련의 과정까지 지원하게 됩니다.