카네기멜론 대학과 BerriAI 연구팀이 발표한  An In-depth Look at Gemini’s Language Abilities 논문에 따르면 구글이 지난 12월 6일 발표한 Gemini 1.0 Pro 모델이 오픈AI의 무료 버전인 GPT-3.5 보다도 성능이 떨어지는 것으로 나타났다.

CMU와 BerriAI 연구진은 구글 Gemini Pro, OpenAI GPT-3.5 터보, GPT-4 터보, 믹스트랄 8x7B 등 4가지 주요 LLM 서비스를 비교한 결과 거의 모든 작업에서 Gemini Pro가 GPT-4는 물론 GPT-3.5 Turbo에 비해서도 떨어지는 성능을 보였다고 발표해 충격을 주고 있다.