BusinessCaseBench encuentra que la IA de vanguardia es sólida en 18 disciplinas empresariales

Why it matters

BusinessCaseBench adds evidence that model progress extends into strategy, finance and management reasoning. It also quantifies the review burden: strong drafts remain far more common than complete answers.

Ajay Patel y un grupo de investigadores de Wharton, Carnegie Mellon University y Harvard Business School han presentado un benchmark que muestra que los modelos de IA de vanguardia pueden producir respuestas sólidas en disciplinas empresariales abiertas, extendiendo el progreso medido más allá de las matemáticas, la programación y otras tareas con respuestas fácilmente verificables.

Los investigadores publicaron su documento de trabajo BusinessCaseBench, primero enviado el 17 de julio y revisado el 21 de julio, que utiliza 238 casos de escuelas de negocios y sus soluciones de instructor para crear 615 preguntas en 18 disciplinas. Las preguntas abarcan estrategia, finanzas, liderazgo, ética empresarial, marketing y relaciones empresa-gobierno, entre otros campos.

Patel, autor correspondiente del artículo, condujo la metodología, los experimentos y el análisis. Sus coautores son el profesor de Wharton Kartik Hosanagar, el profesor de Carnegie Mellon Ramayya Krishnan, el profesor de University of Pennsylvania Chris Callison-Burch y el profesor de Harvard Business School Karim Lakhani.

Los hallazgos llamaron la atención el 28 de julio cuando Ethan Mollick (@emollick), profesor asociado de Wharton y codirector de los Generative AI Labs de la escuela, argumentó en un hilo en X que los datos contradicen las afirmaciones de que las mejoras de los modelos se concentran en campos verificables. Mollick escribió que los grandes modelos de lenguaje siguen siendo "irrazonablemente efectivos across so many different disciplines" a pesar del desempeño desigual dentro y entre campos.

El interés de Mollick se basa tanto en la investigación en gestión como en la creación de empresas. Según su perfil en Wharton, cofundó una startup antes de entrar en la academia y obtuvo un MBA y un doctorado en MIT Sloan. Su investigación actual se centra en cómo la IA cambia el trabajo, el emprendimiento y la educación.

Un benchmark para la ambigüedad

BusinessCaseBench pide a los modelos manejar el tipo de información incompleta y debatida que se encuentra en decisiones de gestión. Tareas representativas incluyen asesorar a un hospital sobre un ascenso difícil, evaluar la equidad de un sistema de votación municipal, analizar un problema ético en un software de contratación con IA y redactar una opinión judicial sobre un acuerdo de patentes farmacéuticas.

A cada modelo se le entregó un caso completo y una pregunta tipo examen en un único prompt. Los sistemas no tenían recuperación web, herramientas ni oportunidad de hacer preguntas de seguimiento. Sus respuestas se verificaron frente a elementos de rúbrica de igual peso derivados de las soluciones del instructor.

La comparación principal del artículo probó OpenAI's GPT-5.4, Anthropic's Claude Sonnet 4.6 y Google’s Gemini 3 Flash Preview. Bajo la puntuación estándar de crédito parcial de los investigadores, Claude Sonnet 4.6 obtuvo 88.4%, GPT-5.4 obtuvo 87.2% y Gemini 3 Flash Preview obtuvo 81.6%.

Esos porcentajes miden la proporción de elementos esperados de la rúbrica cubiertos. No deben leerse como calificaciones convencionales de curso ni como prueba de que los sistemas podrían tomar de forma independiente las decisiones subyacentes dentro de una empresa en funcionamiento.

Los resultados más estrictos muestran la brecha. Cuando una respuesta recibía crédito solo si satisfacía cada elemento de la rúbrica, Claude Sonnet 4.6 completó el 49.6% de las preguntas, GPT-5.4 completó el 47.6% y Gemini 3 Flash Preview completó el 32%. Incluso el modelo líder omitió al menos un elemento requerido en poco más de la mitad de los casos.

Los investigadores describen las salidas como borradores sólidos que aún requieren revisión. Los modelos rindieron mejor en trabajos analíticos y explicativos estructurados que en tareas de asesoría abiertas, como identificar oportunidades de negocio. El desempeño también varió más por disciplina que por si una pregunta era numérica, no numérica, subjetiva u objetiva.

Progreso fuera de las matemáticas y la programación

El resultado más claro del artículo proviene de su comparación de cuatro modelos de OpenAI evaluados sobre las mismas preguntas. Las puntuaciones estándar ascendieron de 63.9% para GPT-4 Turbo a 87.2% para GPT-5.4, un aumento de 23.3 puntos porcentuales en aproximadamente dos años. El desempeño de respuestas completas subió de 13.2% a 47.6%.

Las mejoras se extendieron a preguntas no numéricas y subjetivas. Bajo la puntuación de respuestas completas, las preguntas no numéricas mejoraron en 36.2 puntos porcentuales, en comparación con 30.4 puntos para las preguntas numéricas. Eso respalda la afirmación de Mollick de que un mayor rendimiento en matemáticas y programación ha llegado junto con ganancias más amplias en el juicio analítico.

Menos del 7% de las preguntas del benchmark fueron lo bastante difíciles como para que todos los modelos de vanguardia probados obtuvieran 70% o menos. Un sistema hipotético que eligiera la mejor respuesta entre los tres modelos principales para cada pregunta habría obtenido 92.8% bajo la calificación de crédito parcial, en comparación con 88.4% para el mejor modelo individual. Los errores restantes fueron a menudo omisiones específicas de cada modelo más que preguntas a las que ninguno de los sistemas se pudo acercar.

Los límites del benchmark

Los investigadores utilizaron Gemini 2.5 Flash como juez automatizado y luego comprobaron el método de evaluación con tres anotadores que tenían experiencia en calificación en escuelas de negocios. Las puntuaciones automatizadas de crédito parcial tuvieron una correlación moderada con las puntuaciones humanas, y los anotadores calificaron el 96% de las calificaciones automatizadas como aceptables o mayormente aceptables. El artículo señala que el desacuerdo permaneció a nivel de pregunta individual, reflejando la subjetividad inherente a la calificación de casos abiertos.

BusinessCaseBench también evalúa una porción controlada del trabajo profesional. Es únicamente en inglés, de un solo turno y está construido alrededor del método de casos de las escuelas de negocios. No mide si un modelo puede recopilar evidencia nueva, negociar con las partes interesadas, aceptar la responsabilidad de una decisión o adaptarse a medida que cambian las condiciones organizacionales.

El benchmark se suma a un conjunto creciente de evaluaciones orientadas al trabajo económicamente útil. OpenAI's GDPval cubre tareas de 44 ocupaciones en nueve sectores, mientras que BusinessCaseBench se concentra en el juicio analítico y las rúbricas de instructor usadas para formar a estudiantes de negocios.

Para las empresas de IA, esa distinción importa. Altas puntuaciones de crédito parcial significan que los clientes pueden obtener análisis plausibles de forma económica. Los resultados de respuestas completas muestran dónde esos productos siguen expuestos: supuestos faltantes, partes interesadas no abordadas y recomendaciones incompletas que pueden parecer pulidas hasta que un operador experimentado revise el trabajo.