AI가 보기 순서에 흔들리는 원인 찾아, 시험 점수 검증 길 열려
중앙대 생성적 인공지능 연구실은 AI가 객관식 보기 순서에 따라 답을 바꾸는 위치 편향이 답을 계산하는 앞쪽 60% 구간에서 이미 자리 잡는다는 것을 확인했다.
- 중앙대 생성적 인공지능 연구실은 AI가 객관식 보기 순서에 따라 답을 바꾸는 위치 편향이 답을 계산하는 앞쪽 60% 구간에서 이미 자리 잡는다는 것을 확인했다.
- 기존의 점수 평균 방식은 겉으로 보이는 점수만 고르게 만들 뿐 편향 자체는 해소하지 못한다.
- 이 분석법은 기업의 AI 도입 전 시험 점검과 로봇 AI의 잘못된 단서 판별에도 활용될 것으로 기대된다.

서울--(뉴스와이어)--중앙대학교 전자전기공학부 생성적 인공지능 연구실(지도교수 이민혁)은 AI가 객관식 문제의 보기 순서에 따라 답을 바꾸는 원인을 밝혀, 자연어처리 분야 최고 권위 국제학술대회 가운데 하나인 ‘EMNLP 2026’ 본 학회에서 발표했다고 밝혔다(논문 제목: “Beyond Output-Level Correction: Tracing Positional Bias to Early-Layer Commitment in Transformer Multiple-Choice Evaluation”). 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열렸다.
AI의 실력은 주로 객관식 시험으로 평가한다. 그런데 같은 문제라도 정답이 A번에 있으면 맞히고, D번으로 옮기면 틀리는 일이 자주 생긴다. 이른바 ‘위치 편향’이다. 지금까지는 보기 순서를 여러 번 바꿔 풀게 한 뒤 점수를 평균 내는 방법으로 대응해 왔지만, 왜 이런 일이 생기는지는 밝혀지지 않았다.
연구팀은 AI가 문제를 읽고 답을 내기까지 거치는 수십 단계의 계산을 하나씩 들여다봤다. 맞힌 경우의 계산 결과를 틀린 경우에 한 단계씩 바꿔 넣어 보면서, 어느 단계에서 정답이 되살아나는지 확인한 것이다. 그 결과 특정 위치를 선호하는 편향은 마지막 단계가 아니라 계산의 앞쪽 60% 안에서 이미 자리 잡고 있었다. 실험한 AI 모델 가운데 Llama-3.2-3B는 이런 영향이 모두(100%) 이 구간에 몰려 있었고, SmolLM3-3B도 68.5%가 이 구간에서 나타났다.
AI는 계산 초반에 문제의 내용을 파악하고, 중반에 이를 A·B·C·D 보기와 연결한다. 위치 편향은 바로 이 연결 과정에서 함께 확정된다. 이 편향이 정답을 고를 때 쓰는 계산 과정 안에 섞여 있기 때문에, 점수를 평균 내는 기존 방법으로는 겉으로 보이는 점수만 고르게 만들 뿐 편향 자체는 해소하지 못한다. 연구팀은 정답을 고르는 능력은 그대로 두고 편향만 바로잡을 수 있도록, 편향에 관여하는 AI 내부의 세부 요소 후보도 찾아냈다.
이번 분석 방법은 활용 범위가 넓다. 기업이나 기관이 AI를 도입하기 전에 시험 점수가 보기 순서 같은 우연에 좌우되지 않았는지 점검할 수 있다. 로봇 분야에도 적용할 수 있다. 카메라로 보고 말로 지시를 받아 움직이는 로봇 AI(비전-언어-행동 모델, VLA)도 언어 AI와 같은 구조로 만들어지기 때문이다. 같은 방법을 쓰면 로봇이 지시 내용이 아니라 물건이 놓인 자리나 말의 순서 같은 엉뚱한 단서를 보고 움직이는지 확인할 수 있을 것으로 기대된다.
이민혁 교수는 “점수 보정만으로는 AI 내부의 편향이 해소되지 않는다는 점을 확인한 연구”라며 “이 분석을 로봇 AI로 넓혀, 로봇이 지시를 제대로 이해하고 움직이도록 돕겠다”고 말했다.
본 연구는 과학기술정보통신부의 재원으로 정보통신기획평가원이 추진하는 ‘AI연구용컴퓨팅지원프로젝트’(과제명: 2 PFLOPS 내외 자원 지원이 가능한 초고성능 연구용 AI 컴퓨팅 인프라 지원, 과제번호: RS-2026-25505492)의 지원을 받아 수행됐다.
중앙대학교 생성적AI연구실 소개
중앙대학교 전자전기공학부 소속 생성적 인공지능 연구실(Generative AI Lab, GAIL)은 이민혁 교수가 이끄는 연구실로, 생성 인공지능(Generative AI), 컴퓨터 비전, 그리고 AI 기반 로보틱스를 핵심 연구 분야로 삼고 있다. 본 연구실에서는 3D Gaussian Splatting, NeRF, Vision Transformer 등 최신 컴퓨터 비전 기술과 대규모 언어모델(LLM), 비전-언어-행동(VLA) 모델 등 생성 AI 기반 기술을 폭넓게 연구하며, CVPR을 비롯한 국제 학술대회와 저명 학술지에 활발히 논문을 발표하고 있다. 아울러 산학협력 및 기술사업화에도 적극적으로 참여해 로봇 학습을 위한 합성 데이터 생성, AI 기반 콘텐츠 제작 등 다양한 응용 분야로 연구 영역을 확장해 나가고 있다.
웹사이트: https://aicau.co.kr
언론연락처: 중앙대학교 생성적AI연구실 이민혁 교수
이 보도자료는 중앙대학교 생성적AI연구실이 작성해 뉴스와이어 서비스를 통해 배포한 뉴스입니다.
ⓒ 강사뉴스. 무단전재·재배포, AI 학습 및 활용 금지
이 기사 정보
- 분류: AI·에듀테크
- 발행일: 2026.11.22
- 작성: 서울--(뉴스와이어)
- 출처: 뉴스와이어 보도자료
- 기사 주소: https://gangsanews.co.kr/news/7217
- 관련 기사: 대학 피지컬 AI 기술, 양재 AI허브서 현장 실증 길 열려 · AI 판단 흔들림 잡는 특허 2건…시장 신호 분석 결론 일관성 높인다 · AI 에이전트가 대신 결제하는 시대, 결제 인프라 기술 검증 완료