AI가 서술형 답안을 채점한다면? 자동채점과 블록체인의 만남

 

---

 

 

루브릭 기반 채점과 도메인 특화 LLM 활용

 

서술형 답안을 AI로 자동 채점하려면 평가 기준(루브릭)에 맞춘 다차원 분석이 필수다.

 

기존 자동 에세이 평가(AES) 기법은 어휘·길이 등 표층 특성으로 점수를 예측했으나,

최신 방법은 대규모 언어모델(LLM)을 과목 분야에 특화하여 문장의 맥락과 내용을 이해하고자 한다.

 

예를 들어 ETS의 E-rater 등 초창기 시스템은 문서 길이와 문법 오류 등의 지표로 회귀분석하여

사람 채점과 약 0.71 상관관계를 보였지만,

내용 이해가 부족해 학생이 지나치게 긴 글을 쓰면 고득점을 받는 한계가 있었다.

 

최근에는 트랜스포머 기반 첨단 LLM 모형을 훈련시켜 문장의 의미와 논지를 평가에 반영하며,

교육 분야에서는 전문영역 데이터로 미세조정된 LLM을 활용해

해당 과목의 채점 기준(예: 역사 논술에서는 사실 정확성, 수학 서술형에서는 논증 과정)을 더 정확히 반영하도록 한다.

 

이렇게 도메인 특화 LLM은 일반 범용 모델보다 해당 과목 답안을 채점할 때 사람 평가자와의 일치도를 높여준다.

 

---

 

 

OCR 통합과 필체 인식

 

학생 답안이 종이에 손글씨로 작성된 경우, 스캔 이미지를 문자로 변환하는 광학문자인식(OCR) 단계가 필요하다.

 

현대 OCR 기술과 AI의 결합으로, 영어 문장이나 수식 필기를 인식하여 텍스트로 변환한 후 채점이 가능하다.

 

실제 예로 Gradescope는 AI 기반 자동 그룹핑 기능에서 학생 필기 답안을 읽어내어 유사한 답변끼리 묶어주는 기능을 제공하며,

영어 문장과 수학 기호까지 인식할 수 있다고 설명한다.

 

즉, OCR이 통합된 채점 파이프라인에서는 손글씨-텍스트 변환 → LLM에 의한 내용 분석의 흐름이 구현되며,

이때 필기 인식 오류를 줄이기 위해 답안 영역을 명확히 구분하거나 필체 데이터로 OCR 엔진을 튜닝하기도 한다.

 

이러한 AI 채점-OCR 통합 시스템은 교사가 일일이 채점하기 힘든 대규모 지필 평가에서도 활용될 수 있어 효율적이다.

 

다만 OCR 오류는 채점 신뢰도에 영향을 줄 수 있어,

시스템은 사전검증된 인식률을 바탕으로 적용되고 필요 시 사람이 결과를 검수하도록 설계된다.

 

---

 

 

신뢰도 지표(Cohen의 카파 등)와 목표 수준

 

자동 채점 시스템의 성능은 사람 평가자와의 일치도로 검증된다. 대표적으로 Cohen’s Kappa 계수가 활용되는데,

0.6 이상이면 “Substantial agreement(상당한 일치)”로 간주한다, 0.8 이상이면 “Almost perfect” 수준으로 본다.

 

연구에 따르면 최신 머신러닝 채점 모델들은 평균 카파 0.6 전후(0.38~0.89 범위)로 사람 합의 점수와 일치하는데,

문항 난이도나 답안 다양성에 따라 편차가 발생했다.

 

일반적으로 교육 현장에 도입하려면 카파 0.6 이상을 목표로 설정한다,

일부 표준화 시험(예: TOEFL Essay)의 자동채점 엔진은

사람 평가자 간 일치도와 비슷한 수준(카파 0.7~0.8대)을 달성했다고 알려져 있다.

 

다만 LLM 기반 채점의 경우 평가기준 설명 문항을 정확히 해석하지 못하는 한계도 지적되고 있어,

이러한 신뢰도 및 타당도 검증은 반드시 거쳐야 한다.

 

한국어 서술형에 대한 AI 채점 연구도 진행 중이며,

2014년 국가학업성취도 평가의 서답형 문항 자동채점 시도를 보면

일정 수준 성능과 함께채점 공정성 확보 과제를 확인할 수 있었다.

 

---

 

 

산업 적용 사례와 신뢰성 문제

 

ETS, Pearson 등 시험기관들은 이미 자동채점(Auto Scoring) 기술을 일부 실전에 활용 중이다.

 

예를 들어 GMAT, GRE, TOEFL 등의 작문(task)에 자동채점 보조를 활용하여 2명 인간 채점자 + 1개 AI 점수로 총점 산정하거나,

AI가 준 점수와 사람 점수가 크게 다르면 제3의 인간 채점자가 개입하는 방식으로 믿음성을 보완한다.

 

또한 대학 MOOC 플랫폼 Coursera 등에서도 간단한 단답형 서술평가에 점답 매칭이나 AI 평가를 시도하고 있다.

 

그러나 자동채점에 대한 신뢰와 공정성 우려도 존재한다.

 

초창기 시스템은 내용보다 문장 길이나 난이도만 따져 부적절한 내용도 장황하면 고득점하는 문제가 있었다,

AI 편향으로 특정 어휘나 표현 스타일을 선호해 창의적 답안을 저평가할 수 있다는 지적도 있다.

 

이를 해결하기 위해 사전 필터링(예: 무관한 답안이나 랜덤 글 검출)과

루브릭 다항목 채점(내용, 구성, 어휘 등 항목별 점수 후 종합) 방식이 도입된다.

 

예컨대 루브릭 기반으로 각 항목을 LLM이 채점자 가이드라인에 따라 분류하고 점수를 매긴 뒤 종합하면

보다 세밀한 평가가 가능하다.

 

궁극적으로 자동채점 시스템은 교사 도구로서의 보조적 활용이 권장되며,

중요한 시험에서는 인간 평가와 병행하여 AI 점수에 대한 신뢰성을 지속 모니터링하고 개선하는 것이 필요하다.

 

 

 

---

출처

• Hybrid Approach to Automated Essay Scoring: Integrating Deep Learning Embeddings with Handcrafted Linguistic Features for Improved Accuracy — MDPI, 2024
• Automated Essay Scoring Systems — Dirk Ifenthaler, Handbook of Open, Distance and Digital Education, 2023 (Springer)
• Gradescope Guides: AI-Assisted Grading and Answer Groups — Gradescope 공식 안내문서
• Unveiling the Tapestry of Automated Essay Scoring: A Comprehensive Investigation of Accuracy, Fairness, and Generalizability — arXiv, 2024

 

---

같은 소재 - 다른 주제

 

디지털 배지의 진화: 블록체인과 DID가 만든 신뢰의 교육 인증

디지털 배지의 진화: 블록체인과 DID가 만든 신뢰의 교육 인증

 

정부가 여는 에듀테크 고속도로: 초격차 1000+, 블록체인 확산, 혁신제품의 삼각편대

정부가 여는 에듀테크 고속도로: 초격차 1000+, 블록체인 확산, 혁신제품의 삼각편대

 

AI 채점의 빅매치: Gradescope/Khanmigo/QANDA/Riiid 그리고, 소프트제국

AI 채점의 빅매치: Gradescope/Khanmigo/QANDA/Riiid 그리고, 소프트제국

 

 

---

본 블로거는 포스팅으로 인한 어떠한 부가적 수익창출도 수행하지 않습니다.
여기에는 블로그 수익화를 위한 애드센스 삽입, 광고성 게시물 업로드 등이 포함됩니다.

본 블로그는 모든 지식 정보의 자유로운 공유를 지향합니다.
방문자 분들께서 본문의 콘텐츠를 필요에 따라 copy&paste, 캡쳐, 인쇄할 때
최대한 깔끔한 형태로 출력될 수 있도록 포스팅하였습니다.

 

근래 유행하는 ‘AI 자동화를 통한 블로그 수익화’를 절대적으로 지양하며
항상 양질의 콘텐츠를 공유드리고자 노력을 가하지만,
설령 그렇다 하더라도 콘텐츠의 참조 및 재사용 중에 발생하는
검수의 책임은 모두 방문자 측에 있음을 간곡히 당부드립니다.