생성형 인공지능 입문 중간고사

언어 모델을 생성할 때 필요한 기본 단계 중 하나가 아닌 것은 무엇입니까?

하나를 선택하세요.

a. 데이터셋 선택

b. 입력 텍스트 사전 처리

c. 모델 평가

d. 인터페이스 디자인

인터페이스는..... 일단 언어모델 다 만들고 합시다.

언어 모델을 생성할 때 기본적으로 필요한 단계에는 데이터셋 선택, 입력 텍스트의 사전 처리, 그리고 모델 평가가 포함됩니다. 이 세 가지 단계는 모델이 언어를 어떻게 이해하고 생성할지를 결정하는 데 중요한 역할을 합니다.

a. 데이터셋 선택: 모델이 학습할 데이터를 결정합니다. 이 단계에서는 대량의 텍스트 데이터를 수집하고, 해당 데이터가 모델의 용도에 적합한지 평가합니다.

b. 입력 텍스트 사전 처리: 텍스트를 모델이 처리할 수 있는 형태로 변환합니다. 이 과정에는 텍스트를 토큰화하거나, 필요없는 정보를 제거하는 등의 작업이 포함될 수 있습니다.

c. 모델 평가: 학습된 모델의 성능을 평가합니다. 이를 통해 모델이 언어를 얼마나 잘 이해하고 생성하는지 확인하고, 필요한 경우 조정을 할 수 있습니다.

d. 인터페이스 디자인: 이 단계는 언어 모델을 직접 생성하는 과정에는 필수적이지 않습니다. 인터페이스 디자인은 사용자가 모델을 어떻게 사용할지에 대한 인터페이스를 구현하는 것과 관련이 있으며, 주로 최종 제품이나 서비스의 사용자 경험을 개선하는 데 초점을 맞춥니다.

따라서, 언어 모델을 생성할 때 필요한 기본 단계 중 d. 인터페이스 디자인은 필수적이지 않습니다.

 

RNN 인코더-디코더 모델에서 주의(Attention) 메커니즘의 필요성이 대두된 이유는 무엇입니까?

하나를 선택하세요.

a. 인코더의 출력이 너무 복잡하기 때문

b. 긴 입력 시퀀스를 처리하는 데 어려움이 있음

c. 디코더의 속도가 느림

d. 출력 시퀀스의 정확도가 낮음

RNN에서는 Longterm dependency가 있었죠.. 그리고 병목 현상도 있었고! -> b

고정된 입, 출력에서 가변적인 입력이 가능하게 되었죠 

RNN 인코더-디코더 모델에서 주의(Attention) 메커니즘의 필요성이 대두된 주된 이유는 b. 긴 입력 시퀀스를 처리하는 데 어려움이 있음입니다.

RNN 인코더-디코더 구조에서 인코더는 입력 시퀀스를 처리하여 고정된 길이의 벡터로 변환합니다. 이 벡터는 디코더가 출력 시퀀스를 생성하는 데 사용되는데, 이 과정에서 모든 입력 정보를 단일 벡터에 압축해야 하므로 정보의 손실이 발생할 수 있습니다. 특히 입력 시퀀스가 길어질수록 이 문제는 더욱 심각해집니다. 긴 입력 시퀀스에서는 시퀀스의 초기 부분에 있는 중요 정보가 뒷부분에서 잃어버릴 가능성이 높으며, 이는 디코더가 전체 입력에 걸쳐 균등하게 정보를 활용하지 못하는 문제로 이어집니다.

주의(Attention) 메커니즘은 이 문제를 해결하기 위해 도입되었습니다. Attention 메커니즘을 통해 디코더는 인코더의 모든 출력에 접근할 수 있게 되어, 각 단계에서 출력 시퀀스의 생성에 가장 유용한 입력 부분에 집중(주의)할 수 있습니다. 이로 인해 모델은 전체 입력 시퀀스를 더 잘 이해하고, 특히 긴 시퀀스를 처리할 때 성능을 크게 향상시킬 수 있습니다.

 

컨볼루션 신경망(CNN)에서 컨볼루션 레이어의 주요 역할은 무엇입니까?

하나를 선택하세요.

a. 이미지의 색상 조정

b. 이미지에서 특징 추출

c. 이미지 크기 조정

d. 이미지의 감정 분석

필터를 거치면서 중요한 feature들이 추출된다! -> b 특징 추출!

컨볼루션 신경망(CNN)에서 컨볼루션 레이어의 주요 역할은 b. 이미지에서 특징 추출입니다.

컨볼루션 레이어는 이미지의 로컬 패턴을 인식하기 위해 설계되었습니다. 이 레이어는 입력 이미지에 여러 필터를 적용하여 이미지의 주요 특징을 감지하고 추출합니다. 이 과정에서 필터(또는 커널)는 이미지를 스캔하면서 각 위치에서의 픽셀 값들과의 합성곱을 계산하며, 이렇게 계산된 값들이 특징 맵(feature map)을 형성합니다. 이 특징 맵은 이미지의 중요한 정보를 요약하여, 다음 레이어가 이를 바탕으로 더 복잡한 패턴을 인식할 수 있도록 돕습니다.

이러한 과정을 통해 CNN은 이미지 내의 객체, 모서리, 질감 등 다양한 시각적 요소를 효과적으로 인식할 수 있습니다.

 

CNN에서 패딩(padding)의 주요 목적은 무엇입니까?

하나를 선택하세요.

a. 이미지의 대비를 향상시키기 위함

b. 이미지의 밝기를 조절하기 위함

c. 입력 특징 맵의 경계 정보 손실 방지

d. 이미지의 해상도를 높이기 위함

패딩을 통해 activation map의 크기를 줄이지 않을 수 있고, 가장자리 부분이 조금만 읽히는 것도 해결할 수 있죠!

CNN에서 패딩(padding)의 주요 목적은 c. 입력 특징 맵의 경계 정보 손실 방지입니다.

패딩은 입력 이미지 또는 특징 맵의 주변에 추가적인 픽셀을 삽입하는 기법입니다. 컨볼루션 연산 과정에서는 필터를 이미지의 각 위치에 적용하는데, 이 때 이미지의 경계 부분에 있는 픽셀들은 중앙이나 다른 부분보다 적은 횟수로 필터에 의해 처리됩니다. 이로 인해 경계 부근의 정보가 손실될 수 있습니다.

패딩을 사용하면 이런 문제를 방지할 수 있습니다. 특히 'same' 패딩을 사용하면 출력 특징 맵의 크기를 입력과 동일하게 유지할 수 있어, 이미지의 경계 부분 정보가 손실되지 않고 모델이 이를 효과적으로 학습할 수 있게 됩니다. 이는 네트워크의 깊이가 깊어질수록 중요해지는데, 정보의 손실 없이 여러 레이어를 통과할 수 있기 때문입니다.

 

워드 임베딩(Word Embedding)의 주요 목적은 무엇입니까?

하나를 선택하세요.

a. 단어를 고차원 벡터 공간에서 밀도가 높은 벡터로 표현

b. 단어를 이미지로 변환

c. 단어의 긍정/부정 감정 분석

d. 단어의 철자 오류 수정

워드 임베딩이란 단어를 컴퓨터가 읽을 수 있는 숫자로 변환하는 거죠! 그렇게 하여 원핫 인코딩 방식에서 워드 임베딩을 거쳐서 스파스 백터가 밀집됩니당 

워드 임베딩(Word Embedding)의 주요 목적은 a. 단어를 고차원 벡터 공간에서 밀도가 높은 벡터로 표현하는 것입니다.

워드 임베딩은 자연어 처리 분야에서 단어를 저차원의 연속적인 벡터로 표현하는 기술입니다. 이렇게 벡터로 표현된 단어들은 단어 간의 의미적 유사성을 수학적으로 표현할 수 있게 하며, 이 벡터들은 기계 학습 모델이 더 효과적으로 단어의 의미를 처리하고 이해할 수 있도록 돕습니다. 워드 임베딩은 단어의 문맥적 유사성을 기반으로 하며, 이를 통해 문장이나 문서에서 단어들의 의미를 더 잘 파악할 수 있습니다.

b, c, d와 같은 옵션들은 워드 임베딩의 주요 목적과는 직접적인 관련이 없습니다.

 

Self-attention 메커니즘의 주요 기능은 무엇입니까?

하나를 선택하세요.

a. 입력 시퀀스의 모든 부분에 주의를 기울여 종속성 및 관계를 설정

b. 입력 데이터의 색상 조정

c. 입력 데이터의 크기 조정

d. 입력 데이터의 감정 분석

self attention은 입력으로 들어온 것을 query, key, value로 모두 사용해서 각각 단어의 순서도 생각하고, 단어 간의 문맥도 생각해서 종속성을 부여한답니다~ 

Self-attention 메커니즘의 주요 기능은 a. 입력 시퀀스의 모든 부분에 주의를 기울여 종속성 및 관계를 설정하는 것입니다.

Self-attention 메커니즘은 입력 시퀀스 내의 각 요소가 시퀀스의 다른 모든 요소와 어떻게 상호작용하는지를 학습하는 데 사용됩니다. 이를 통해 모델은 각 요소의 중요성을 평가하고, 다양한 부분 간의 복잡한 종속성과 관계를 파악할 수 있습니다. 이 메커니즘은 특히 긴 거리의 의존성을 처리하는 데 효과적이며, 자연어 처리뿐만 아니라 다른 많은 시퀀스 기반 작업에서도 널리 사용됩니다. 이러한 방식으로, 모델은 문맥에 따라 각 단어나 요소의 중요성을 조정하며, 보다 정확하고 유연한 예측을 할 수 있게 됩니다.

 

Vision Transformer(ViT) 모델에서 이미지는 어떻게 처리됩니까?

하나를 선택하세요.

a.
이미지를 크기별로 정렬

b.
이미지를 여러 패치로 분할

c.
이미지의 색상을 변환

d.
이미지를 단일 픽셀로 축소

이건 기억이 안나더라고요... 다 외우고 다니는건 아니라... 그런데 인공지능 활용면에서 생각해보면 b밖에 안남습니다.

Vision Transformer(ViT) 모델에서 이미지 처리의 핵심 단계는 b. 이미지를 여러 패치로 분할하는 것입니다.

Vision Transformer는 이미지를 입력 받을 때, 전통적인 CNN 모델들과는 다르게 이미지를 여러 개의 작은 패치로 나눕니다. 이렇게 분할된 각 패치는 트랜스포머 모델에 입력되기 전에 일련의 벡터로 변환되며, 이 벡터들은 트랜스포머의 인코더를 통해 처리됩니다. 트랜스포머 내부에서는 이 패치들 간의 관계를 학습하며, 이를 통해 이미지 내의 다양한 특징과 컨텍스트를 파악하게 됩니다. 이 과정은 이미지 분류, 객체 감지 등 다양한 비전 태스크에서 뛰어난 성능을 보여줍니다.

 

U-Net 모델의 특징 중 하나가 아닌 것은 무엇입니까?

하나를 선택하세요.

a. 인코더-디코더 구조

b. 각 픽셀마다 클래스를 할당하는 이미지 인식

c. 높은 처리 속도

d. 바로 가기 연결을 통한 객체의 세부 사항 더 잘 복구

u net은 인코더, 디코더 모델로 이루어져 있으며 인코더에서 skip connection(바로가기 연결)을 통해 디코더에 정보를 주입합니다. -> 공간정보등 다양한 정보 제공합니당.
C는 ... 아마 더 느릴 것 같네요

여긴 빠르다네...............................

U-Net 모델의 특징 중에서 c. 높은 처리 속도는 U-Net 모델의 특징으로 적절하지 않습니다.

U-Net은 주로 의료 이미징과 같은 분야에서 사용되는 인코더-디코더 구조의 신경망입니다. 이 모델의 특징은 다음과 같습니다:

a. 인코더-디코더 구조: U-Net은 인코더와 디코더 구조를 통해 입력 이미지에서 특징을 추출하고, 이를 사용해 세분화된 출력을 생성합니다.

b. 각 픽셀마다 클래스를 할당하는 이미지 인식: 이 모델은 이미지의 각 픽셀에 대한 세밀한 분류를 수행하는 능력이 있으며, 특히 의료 이미지 분석에서 세포나 조직의 경계를 정확하게 식별하는 데 유용합니다.

d. 바로 가기 연결을 통한 객체의 세부 사항 더 잘 복구: U-Net의 주요 특징 중 하나는 인코더에서 디코더로의 바로 가기(스킵) 연결입니다. 이 연결은 인코더의 각 레벨에서 추출된 특징을 디코더의 해당 레벨에 직접 전달함으로써, 이미지의 상세한 정보와 컨텍스트를 보다 잘 보존하고 복구할 수 있게 해줍니다.

따라서, U-Net은 특히 높은 처리 속도를 목적으로 설계된 모델은 아닙니다. 그 목적은 주로 정밀한 이미지 세분화와 특징 복구에 있습니다. 이로 인해 c. 높은 처리 속도는 U-Net 모델의 특징이라고 보기 어렵습니다.

 

BERT 모델에서 'Next Sentence Prediction (NSP)'의 핵심 역할은 무엇입니까?

하나를 선택하세요.

a. 두 문장 사이의 연관성 예측

b. 문장의 길이 측정

c. 문장 내 단어의 개수 계산

d. 문장의 주제 분류

이것도 뭔가 기억이 난다기 보다는 보기중에 소거하다보면 인공지능이 할 만한 것은 a밖에 안남더라고여

BERT 모델에서 'Next Sentence Prediction (NSP)'의 핵심 역할은 a. 두 문장 사이의 연관성 예측입니다.

Next Sentence Prediction (NSP)는 BERT 훈련 과정의 일부로 사용되며, 모델이 두 문장 A와 B를 받았을 때, B가 A의 직접적인 후속 문장인지 여부를 예측하는 과제입니다. 이 과정은 모델이 문맥상의 연관성을 이해하고, 두 문장 사이의 관계를 파악하는 능력을 개발하는 데 도움을 줍니다. 이러한 특성은 문서 내에서 정보가 어떻게 구성되어 있는지 이해하고, 문장 간의 논리적인 흐름을 인식하는 데 중요합니다. 이 기능은 특히 질의응답 시스템, 자연어 이해 작업 등에서 중요한 역할을 합니다.

 

GAN(생성적 적대 신경망)에서 Latent Space 대한 설명으로 맞는 것을 고르세요.

하나를 선택하세요.

a.
latent space 는 인코더를 통해 추출된 비주얼 특징을 간직한 것이다.

b.
디코더를 이용해 원래 영상을 그대로 복원할 수도 있다.

c.
추가 가공을 통해 새로운 영상을 만들 수도 있다.

a,b는 Autoencoder에서의 latent vactor 특징이라고 봐야겠네요

생성적 적대 신경망(GAN)에서 Latent Space에 대한 설명으로 가장 적합한 것은 c. 추가 가공을 통해 새로운 영상을 만들 수도 있다 입니다.

GAN에서 Latent Space(잠재 공간)는 생성자(generator)가 입력으로 사용하는 일종의 내부 표현 공간을 의미합니다. 이 공간에서의 점들은 무작위로 샘플링되거나 특정 방식으로 조정될 수 있으며, 이러한 점들을 생성자가 받아 실제 데이터와 유사한 새로운 데이터(예를 들어 이미지)를 생성하는 데 사용합니다. 이 과정에서 잠재 공간의 다른 점들을 탐색하면서 다양하고 새로운 형태의 출력을 만들어낼 수 있습니다.

a와 b는 주로 오토인코더(autoencoder) 모델의 설명에 더 가까워서, GAN의 잠재 공간 설명으로는 부적합합니다. 오토인코더는 인코더를 통해 입력 데이터에서 중요한 특징을 추출하고, 이를 다시 디코더를 통해 원래의 데이터로 복원하는 구조를 가지고 있습니다. GAN은 이와 다르게 생성자와 판별자(discriminator)의 적대적 관계를 통해 작동합니다.