Robocurve encuentra que los modelos Gemini superan sus puntuaciones generales de IA en tareas robóticas
Su índice preliminar cubrió cinco tareas bimanuales y 11 configuraciones de modelos; al eliminar a Gemini, la correlación reportada con la capacidad general de IA aumenta de 0.20 a 0.96.
By Ryan Merket · Published
Primary source: X
Por qué importa
La puntuación de un modelo en benchmarks amplios de IA puede no predecir su desempeño en tareas físicas. El piloto de Robocurve ofrece a los investigadores una razón concreta para evaluar esa brecha directamente, aunque su pequeño muestreo de tareas y modelos deja el hallazgo como preliminar.
Robocurve informó que los modelos Gemini obtuvieron puntuaciones muy superiores a las que sus rankings de capacidad de IA general predecían en un pequeño conjunto de tareas con robots reales, una señal temprana de que las tablas de clasificación de modelos de propósito general podrían pasar por alto diferencias en el desempeño físico. La San Francisco Public Benefit Corporation publicó el hallazgo el 15 de octubre en un hilo en X y en un informe técnico dirigido por Drew T. Nguyen.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.