대화 모델 밖의 127개

AI 모델 이야기는 거의 전부 대화 모델을 두고 한다. 우리가 추적하는 354개 중 대화 모델은 227개고, 나머지 127개는 다른 일을 한다. 그 127개는 값을 매기는 단위부터 다르다.

갈래별로 몇 개씩 있나

재순위가 대화보다 비싸다

표에서 눈에 걸리는 값은 재순위(rerank)다. 중앙값이 100만 토큰당 $2.00 로 대화 모델($0.50)의 네 배다. 재순위는 검색 결과를 다시 줄 세우는 일이라 대화보다 훨씬 단순한 작업인데도 그렇다.

쓰는 양이 다르기 때문으로 보인다. 재순위는 후보 문서를 전부 넣어야 해서 한 번 호출에 들어가는 토큰이 많고, 검색 한 번마다 호출된다. 단가가 같아도 청구서가 커진다. 벤더가 이 자리에 값을 더 매길 여지가 있다는 뜻이기도 하다.

음성 인식은 중앙값이 0이다

음성 인식 53개의 입력 단가 중앙값은 $0.00 이다. 값이 공짜라는 뜻은 아니다. 이 갈래는 토큰이 아니라 초·분 단위로 값을 매기는 경우가 많아, 토큰 단가 칸이 비어 있는 것이다. 같은 이유로 영상 생성 9개는 중앙값을 낼 수조차 없었다.

이건 우리 표의 한계이기도 하다. 단위가 다른 값을 한 칸에 모으면 비교가 성립하지 않는다. 그래서 개별 모델 화면에는 단가와 함께 무엇을 세는 단위인지 적어 두었다. 음성·영상 모델을 고를 때는 그 단위를 먼저 봐야 한다.

임베딩은 싸지만 양이 많다

임베딩 41개의 중앙값은 $0.10 으로 대화 모델의 5분의 1이다. 다만 임베딩은 문서를 색인할 때 한 번에 전부 넣고, 문서가 바뀌면 다시 넣는다. 단가가 싸도 한 번에 쓰는 양이 커서 총액은 예상을 넘기 쉽다. 값을 비교할 때 "한 번 호출에 얼마" 가 아니라 "내 문서 전부를 넣으면 얼마" 로 계산해야 하는 갈래다.

모델 순위 보기가격 비교표 보기