온라인 커뮤니티에서 최근 화제가 되고 있는 AI 모델 평가 결과가 있다. Gemini Argon이 텍스트 아레나(Text Arena)라는 블라인드 평가 시스템에서 1위를 차지했다는 내용이다. 처음 보면 좋은 뉴스처럼 들릴 수 있지만, 이 소식의 이면에는 AI 평가 방식 자체에 대한 고찰이 담겨 있다.
먼저 텍스트 아레나가 무엇인지 이해해야 한다. 이것은 우리가 흔히 아는 AI 벤치마크와는 근본적으로 다른 평가 방식이다. 코딩 테스트나 수학 문제처럼 객관적인 정답이 있는 작업을 자동으로 채점하는 것이 아니기 때문이다. 대신 실제 사용자들이 두 AI의 응답을 직접 비교하면서 "이 답변이 더 낫다"고 투표하는 방식이다. 어느 모델의 답변인지 알 수 없도록 숨긴 상태에서 순수한 품질만으로 비교하기 때문에 블라인드 평가라고 부른다.
이 평가 방식이 중요한 이유는 명확하다. 기존 자동화 벤치마크와 테스트하는 능력이 완전히 다르기 때문이다. 텍스트 아레나에서 높은 점수를 받으려면 코딩을 잘할 필요가 없다. 대신 텍스트가 자연스럽게 흘러야 하고, 사용자의 의도를 정확하게 파악해야 하며, 설명이 명확하고 논리적이어야 한다. 답변의 따뜻함, 상황에 대한 이해, 설득력, 공감 능력 같은 주관적인 요소들이 직접 반영된다는 의미다.
Gemini Argon의 사례를 보면 이 차이가 명확하게 드러난다. 한편으로는 텍스트 아레나에서 1위를 기록했지만, 다른 한편으로는 프로그래밍 작업에서 약점을 드러내고 있다. 코딩 문제를 푸는 능력이 형편없다는 평가도 함께 나오고 있다. 같은 모델이 한 분야에서는 최고, 다른 분야에서는 뒤처진다는 게 어떻게 가능한가.
사실 이것은 우연이 아니다. 과거에도 비슷한 사례들이 있었다. 자동화 벤치마크에서는 뒤처졌지만, 사람이 직접 평가하는 시스템에서는 상위권을 차지한 모델들이 존재해왔다. 이는 무엇을 의미하는가. 같은 AI 모델이라도 어떤 방식으로 평가하느냐에 따라 순위가 완전히 뒤바뀔 수 있다는 점을 보여준다.
이는 범용 순위표를 맹신할 수 없음을 시사한다. "최고의 AI 모델"이라는 표현이 모호해진다. 누군가는 파이썬과 자바스크립트를 빠르게 작성해주는 모델을 원한다. 또 다른 누군가는 자신의 복잡한 생각을 말끔하게 문장으로 정리해주는 모델을 원한다. 마케팅 텍스트가 필요한 사람과 학술 논문이 필요한 사람이 같은 모델을 쓸 이유가 없다는 뜻이다. 용도에 따라 "최고"의 정의가 달라진다.
Gemini Argon의 1위 기록은 이러한 현실을 구체적으로 보여주는 사례로 읽히고 있다.
📌 원문 발췌
코딩은 여전히 형편없는데 글을 기가 막히게 잘 쓴다고 합니다. 누구의 답변이 더 나은지 블라인드 테스트로 선별하는 텍스트 아레나에서 현재 랭킹 1위라고 합니다.
원본 출처: 클리앙 모두의공원