한강 풍경을 SVG(벡터 그래픽) 코드로 그려내는 과제는 언뜻 단순해 보일 수 있다. 하지만 AI 모델 입장에서는 생각보다 복잡한 일인 것으로 보인다. 정확한 좌표 계산, 수평·수직·곡선의 공간 배치 추론, 전체 코드의 일관성 유지 — 이 세 가지를 동시에 해내야 한다는 뜻이기 때문인 것으로 보인다. 때문에 개발자들은 SVG 생성을 모델의 종합 능력을 평가하는 비공식 벤치마크로 삼는 경우가 많다.

한 개발자가 이 테스트를 여러 프론티어 AI 모델들에 동일한 조건으로 돌려본 결과를 공유한 것으로 전해진다. 실험 설계는 깔끔한 것으로 전해진다. 모든 모델에 동일한 프롬프트를 제시하고, 한강을 SVG로 표현하는 코드 생성을 요청한 것. 모델별 결과물을 비교한 기준은 생성된 코드의 양이었다. 같은 지시에 대해 각 모델이 얼마나 정교한 코드를 생성했는지 보기 위함이었다.

결과는 모델마다 상당히 달랐다고 한다. 세대가 최신할수록, 더 나은 아키텍처를 갖춘 모델일수록 더 많은 디테일을 포함한 코드를 생성했다는 뜻인 것으로 보인다. 이는 단순히 긴 코드를 쓴다는 게 아니라, 한강의 여러 지형적 특징과 풍경 요소들을 더 정밀하게 반영했다는 의미로 해석된다.

특히 주목할 부분은 가장 최신 모델인 opus 5.5가 투입한 리소스 규모다. 이 벤치마크 하나를 완주하는 데 5시간이 소요됐다. 그 과정에서 소비한 토큰은 1,400만 개에 달한 것으로 전해진다. API를 통해 직접 구매한다면 약 410달러의 비용이 발생하는 수준인 것으로 보인다.

이 규모는 일반 사용자가 자체적으로 재현하기 어려운 영역인 것으로 보인다. 개별 사용자가 매번 API로 410달러를 투자해가며 테스트할 수는 없다는 뜻인 것으로 보인다. 글을 올린 개발자도 구독 모델이 있었기에 이런 대규모 실험이 가능했다고 언급했으며, 그에 대한 감사의 뜻을 표한 것으로 전해진다.

시간이 경과하면서 모델들의 성능 개선 궤적이 눈에 띄게 드러났다. 각 세대를 거칠 때마다 같은 SVG 과제에 대한 결과물의 정교함이 증가했다고 한다. 초기 모델부터 최신 모델까지의 변화를 일렬로 놓고 보면, AI의 공간 추론 능력이 눈에 띄게 발전했음을 보여준다.

이 벤치마크의 가치는 단순한 성능 점수나 추상적 수치 비교에 있지 않다. 실제 결과물을 통해 모델 간 차이를 가시화할 수 있다는 점인 것으로 보인다. 복잡한 공간 정보를 얼마나 정확하게 이해하고, 그것을 일관된 코드로 표현할 수 있는지를 직관적으로 볼 수 있게 해주기 때문인 것으로 보인다.

실제로 이런 식의 테스트가 커뮤니티에서 인기를 끌게 된 배경은 명확하다. 공식 벤치마크나 학술 논문의 수치는 때론 추상적이고 와닿지 않을 수 있다. 하지만 직접 프롬프트를 입력하고, 생성된 SVG 코드를 보면 각 모델의 차이를 체감할 수 있다. 비공식이지만 직관적인 벤치마크이기에 개발자들 사이에서 계속 언급되고 시도되는 중인 것으로 보인다.

다만 이 실험의 다른 측면은 한 가지 현실을 드러낸다. 최신 AI 모델을 충분히 활용하려면 상당한 비용과 토큰 리소스가 필요하다는 점인 것으로 보인다. 410달러 규모의 토큰 소비는 일반인에겐 가볍지 않은 금액인 것으로 보인다. 그럼에도 이런 실험이 가능한 환경이 있다는 것 자체가, 현재 AI 생태계의 고도화를 보여주는 사례인 셈인 것으로 보인다.

📌 원문 발췌

시간이 흐를수록 발전하고 있는 게 눈에 보입니다. opus 5.5 작업시간 5시간입니다 토큰 소모량 1400만 토큰입니다. API로 지출할 경우 410불 들어가는 토큰량입니다.

원본 출처: 클리앙 모두의공원