Towards standardizing Korean Grammatical Error Correction:Datasets and Annotation

https://arxiv.org/abs/2210.14389

Towards standardizing Korean Grammatical Error Correction: Datasets and Annotation

 

acl 2023에 붙은 논문입니다. 

한국어 문법 수정(Korean Grammatical Error Correction, GEC) 연구에 부족했던 데이터와 평가 자원을 구축하려고 합니다. 

외국인 학습자, 한국어 원어민, 온라인 언어 학습자의 오류를 각각 포함하는 데이터 셋을 구축

유형은 이렇게 됩니다.

INS	단어 삽입
DEL	단어 삭제
WS	띄어쓰기 수정
WO	단어 순서 변경
SPELL	철자 오류
PUNCT	문장부호 오류
SHORT	형태소 구조를 유지하는 축약·표면형 수정
VERB	동사 오류
ADJ	형용사 오류
NOUN	명사 오류
PART	조사 오류
END	어미 오류
MOD	관형사·부사 등 수식어 오류
CONJ	용언과 어미가 함께 변하는 활용 오류

오류 문장과 교정 문장을 입력 받아 수정 구간을 정렬하고 한국어 특화 14개 오류 유형을 자동 부여하는 KAGAS를 제안 함 

Kor-Lang8은 언어 학습 플랫폼 Lang-8과 원어민 교정 데이터를 정제하여 구축하였음 

노이즈 제거, 길이, 비율 등을 통해 정제 -> GLEU가 개선 -> GEC 품질이 중요 

 

 

논문 목적	한국어 문법 오류 수정(Korean GEC) 연구의 핵심 문제인 공개 학습 데이터 부족, 데이터셋별 상이한 오류 주석 체계, 한국어 전용 자동 평가 도구 부재를 해결하고, 재현 가능한 표준 연구 기반을 구축한다.
핵심 기여	① 서로 다른 사용자 집단의 오류를 포함하는 한국어 GEC 데이터셋 3종 구축, ② 한국어 특화 자동 오류 주석 시스템 KAGAS 제안, ③ 구축한 데이터로 학습한 KoBART 기반 베이스라인과 오류 유형별 분석 제공
Kor-Learner	한국어 외국인 학습자의 글을 한국어 튜터가 교정한 데이터. 국립국어원 학습자 말뭉치의 형태소 단위 XML 주석을 맞춤법 규칙에 따라 단어 단위 병렬 문장으로 복원하였다. 28,426문장 쌍, 59,419개 수정을 포함하며 조사, 어미, 활용, 명사 오류 등이 상대적으로 빈번하다.
Kor-Native	올바른 문장을 TTS로 원어민에게 들려주고 받아쓰게 한 뒤, 받아쓴 문장을 오류 문장으로 사용하는 역방향 수집 방식이다. 17,559문장 쌍, 29,975개 수정을 포함하며, 전체 오류의 약 52.13%가 띄어쓰기 오류이다.
Kor-Lang8	언어 학습 플랫폼 Lang-8의 한국어 문장–교정 쌍을 언어, 길이, 반복 문자, 문장 유사도, 자모 단위 Levenshtein distance 등으로 정제한 데이터이다. 109,559문장 쌍, 262,833개 수정으로 규모가 가장 크고 비격식 학습자 오류가 다양하다.
Kor-Lang8 정제 효과	원본 한국어 Lang8 데이터보다 데이터 수는 감소했지만, 검증 손실은 1.53→0.83, Self-GLEU는 15.01→19.38, KoBART GLEU는 19.69→28.57로 향상되어 정제 과정이 실질적인 데이터 품질 개선으로 이어졌다.
KAGAS 역할	오류 문장과 교정 문장을 입력받아 ① 수정 위치를 정렬하고, ② 수정 구간을 추출하며, ③ 각 수정에 오류 유형을 자동 부여하고, ④ GEC 평가에 사용되는 M2 형식으로 출력한다. 문장을 직접 교정하는 모델이 아니라 주석·평가·분석 도구이다.
한국어 특화 설계	영어용 ERRANT와 달리 한국어의 교착어 구조, 조사, 어미, 활용, 띄어쓰기, 자유로운 어순을 고려한다. 단어 수준 수정 구간을 다시 형태소 수준으로 분석하고, Kkma 품사 태거와 한국어 표제어·철자 사전을 활용한다.
14개 오류 유형	INS, DEL, WS, WO, SPELL, PUNCT, SHORT, VERB, ADJ, NOUN, PART, END, MOD, CONJ로 구성된다. 분류가 어려운 경우는 UNK로 처리하며, 복수 유형이 가능한 경우 사전 정의된 우선순위에 따라 하나의 대표 유형을 선택한다.
KAGAS 평가 결과	오류 분류 coverage는 Kor-Learner 81.56%, Kor-Native 90.92%, Kor-Lang8 82.52%, 전문가 수용률은 각각 87.34%, 93.93%, 87.06%였다. INS·DEL·WS는 100% 수용률을 보였지만, POS 분석에 민감한 CONJ는 43.59%로 낮았다.
실험 설정	한국어 사전학습 encoder–decoder 모델인 KoBART를 각 데이터셋 및 세 데이터셋의 통합본인 Kor-Union으로 파인튜닝했다. 비교 대상은 규칙·통계 기반 한국어 교정 시스템 Hanspell이며, 평가는 GLEU와 M2 Precision/Recall/F0.5로 수행했다.
주요 성능 결과	KoBART는 Hanspell보다 Kor-Learner에서 GLEU 30.36→45.06, Kor-Native에서 57.08→67.24, Kor-Lang8에서 22.94→28.48, Kor-Union에서 28.82→33.70으로 향상되었다. Kor-Union 기준 M2 F0.5도 25.85→31.70으로 개선되었다.
오류 유형별 결과	Hanspell은 띄어쓰기와 철자 오류에 편향된 성능을 보였다. 반면 KoBART는 명사, 동사, 형용사, 조사, 어미, 활용 등 다양한 유형에서 보다 균형 잡힌 성능을 보였다. 단, WS의 F0.5는 Hanspell이 61.72, KoBART가 45.48로 Hanspell이 더 높았다.
데이터 통합 효과	Kor-Union으로 먼저 학습한 뒤 개별 데이터셋에 추가 파인튜닝하면 F0.5가 Kor-Learner 37.58→41.00, Kor-Native 70.45→73.63, Kor-Lang8 25.93→26.78로 향상되어 세 데이터셋의 상호 보완성을 확인했다.
핵심 해석	모델 성능은 학습 데이터의 오류 분포와 밀접하다. 띄어쓰기 교정은 Kor-Native, 전문가 교정 기반 학습자 오류는 Kor-Learner, 비격식 외국인 학습자 오류는 Kor-Lang8이 적합하다. 따라서 세 데이터셋은 단순 통합 대상이 아니라 서로 다른 목적의 보완적 자원이다.
논문의 의의	새로운 GEC 모델 구조보다 데이터셋–자동 주석–표준 평가–베이스라인 모델을 함께 제공해 한국어 GEC 연구를 재현 가능하고 비교 가능한 형태로 표준화했다는 점이 핵심이다. 특히 단일 점수뿐 아니라 조사·어미·활용 등 오류 유형별 진단을 가능하게 했다.
한계	KAGAS coverage가 약 80～90%에 머물고, Kkma 품사 분석기와 사전 기반 철자 검사기에 의존한다. 하나의 수정에 단일 오류 유형만 부여해 복합 오류 정보가 손실되며, TTS 받아쓰기 기반 Kor-Native가 실제 자유 작문 오류를 완전히 대표한다고 보기는 어렵다.