Netflix prueba GenRec en el 10% del tráfico, reporta un aumento relativo de 0.006%

Why it matters

GenRec gives recommendation engineers a concrete design to examine: compress behavioral context, refresh ranking-specific training more often than the foundation model and constrain LLM scores to a known catalog. Its narrow 0.006% relative online gain also shows the difficulty of beating a mature ranker, even with fewer labels and lower serving costs.

Netflix engineers Ying Li, Arjun Rao and Shradha Sehgal probaron GenRec, un ranker respaldado por LLM, contra el recomendador de producción maduro del servicio de streaming. Netflix probó GenRec en aproximadamente el 10% del tráfico durante cuatro semanas y reportó una mejora relativa estadísticamente significativa del 0.006% en su métrica principal en línea.

El resultado apareció en un documento técnico del 10 de agosto de 2026, ampliando la entrada de ingeniería del 30 de julio de Netflix. Li, Rao y Sehgal lograron la mejora mientras usaban aproximadamente 40 veces menos ejemplos etiquetados durante la segunda fase de entrenamiento de GenRec que el modelo de producción de Netflix. La comparación enmarca el tradeoff del experimento: una ganancia en línea muy pequeña frente a una línea base fuertemente afinada, combinada con menos etiquetas actualizadas con frecuencia y un contexto de serving más corto.

La publicación de Netflix TechBlog lista a Li, Rao y Sehgal como sus autores. El documento técnico añade a Rein Houthooft, Yaochen Zhu y Ashish Rastogi, con contribuciones de equipos de Netflix que abarcan member AI, su AI platform and serving, y producto. Rao describe su trabajo en Netflix como una mezcla de investigación aplicada e ingeniería de aprendizaje automático para clasificación y construcción de páginas.

Un perfil de la University of Illinois Urbana-Champaign describe los estudios de posgrado de Sehgal y su trabajo en sistemas de aprendizaje automático y minería de analogías basada en LLM. Li, Rao y Sehgal también coautoraron un documento de febrero de 2026 sobre verbalización aprendida, el problema de convertir registros de interacción crudos en lenguaje que un LLM pueda usar de manera eficiente.

GenRec lleva ese trabajo a un sistema de clasificación de catálogo completo. Los autores lo describen como un paso inicial hacia una pila de recomendación nativa de LLM, más que como un producto comercial para clientes externos. El proyecto convierte historiales de miembros, metadatos de títulos y el contexto de la solicitud en texto, luego utiliza un modelo fundacional adaptado por Netflix y un cabezal de puntuación consciente del catálogo para ordenar los títulos disponibles. Netflix no ha dicho que GenRec haya reemplazado su recomendador en todo el servicio, y los materiales divulgados no contienen precios externos ni financiamiento porque GenRec es un proyecto de ingeniería interno.

Mover la recomendación hacia el lenguaje

Los sistemas de producción existentes de Netflix dependen de miles de características construidas a mano que cubren miembros, títulos e interacciones. Arquitecturas separadas manejan el modelado de secuencias, las interacciones entre características y múltiples objetivos. Años de añadidos han hecho esa maquinaria capaz, a la vez que han incrementado la ingeniería necesaria para introducir una categoría de contenido o una superficie de recomendación.

Esa carga ha crecido a medida que Netflix ha expandido la recomendación más allá de películas y series a juegos, programación en vivo y podcasts. Los miembros generan cientos de miles de millones de eventos de interacción, incluidas reproducciones, duración de visualización, retroalimentación explícita, adiciones a listas y sesiones abandonadas. Netflix no especifica un periodo para ese total, pero el volumen explica por qué reemplazar entradas construidas a mano por texto aún requiere un filtrado agresivo antes de la inferencia.

GenRec cambia la entrada del modelo. Los historiales de miembros, los metadatos de títulos y el contexto de la solicitud se convierten en descripciones en lenguaje natural o ligeramente estructuradas. Esas descripciones pueden incluir duración de visualización, retroalimentación explícita, dispositivo, configuración regional, hora, antigüedad de la suscripción y la superficie donde aparecerá la recomendación.

El equipo de investigación filtra ese historial antes de que llegue al modelo. Las reproducciones largas y las calificaciones positivas reciben más detalle. Las interacciones cortas o ruidosas pueden descartarse. El comportamiento repetitivo, incluidas las sesiones de binge-watching, puede comprimirse en un resumen. La actividad más antigua recibe menos espacio que el comportamiento reciente, de mayor señal.

Esa decisión convierte la construcción de prompts en un problema de ingeniería de producción. Cada token adicional consume capacidad de GPU y puede aumentar la latencia. El documento completo dice que Netflix redujo el contexto de GenRec de aproximadamente 5,000 tokens a cerca de 1,700 con una degradación despreciable en su métrica de ranking offline. Dado que el costo de servicio era aproximadamente proporcional a la longitud del contexto en esta configuración, Netflix reportó que el costo cayó a aproximadamente un tercio del nivel original.

El modelo se entrena en dos fases. La primera adapta un modelo base de código abierto usando datos propietarios de Netflix, enseñando al modelo fundacional compartido sobre el catálogo y el comportamiento de los miembros. Netflix no ha identificado el modelo base. La segunda fase entrena ese modelo fundacional para clasificación, usando ejemplos actualizados con más frecuencia, objetivos de recomendación y señales de recompensa.

Esa separación refleja la rapidez con la que caducan los datos de recomendación. El modelo fundacional de Phase 1 se actualiza relativamente poco frecuentemente, mientras que Phase 2 se refresca con mayor frecuencia para seguir el contenido nuevo, los patrones de popularidad y los intereses más recientes de los miembros. Medido frente a un modelo Phase 1 recién entrenado en la fecha de corte de Phase 1, la segunda fase produjo una ganancia de aproximadamente 35% a 50% en métricas de ranking offline. Esa comparación es distinta de la evaluación de GenRec frente al ranker de producción de Netflix.

Los investigadores también compararon backbones del orden de 1,000 millones y 10,000 millones de parámetros. El documento informa que el rango recíproco medio en pruebas offline mejoró de manera monótona a medida que aumentaba la cantidad de datos de entrenamiento de Phase 2 para ambos tamaños de modelo. Netflix no revela el conteo de parámetros del modelo usado en el experimento en línea.

Un número en línea pequeño con límites estrechos

En la evaluación offline, GenRec mejoró el rango recíproco medio en aproximadamente 1.6% respecto a la línea base de producción de Netflix mientras usaba alrededor de 40 veces menos ejemplos etiquetados de Phase 2. El rango recíproco medio mide cuán alto aparece el primer resultado relevante: un título relevante en la posición uno recibe más crédito que uno ubicado más abajo en la lista. Por tanto, la cifra del 1.6% describe la posición en el ranking en una prueba offline, más que visualizaciones, retención o ingresos.

Netflix luego asignó aproximadamente el 10% del tráfico a una prueba de cuatro semanas en superficies de recomendación seleccionadas calculadas por lotes. Netflix reportó ganancias estadísticamente significativas en medidas a corto y largo plazo. El ejemplo divulgado fue la mejora relativa del 0.006% en su métrica principal en línea.

El documento no identifica esa métrica en línea, su línea base absoluta, el intervalo de confianza ni ningún efecto sobre la retención de miembros, visualizaciones o desempeño financiero. La significancia estadística indica que la prueba de Netflix detectó un efecto bajo su diseño experimental; no establece que el cambio haya tenido un amplio impacto en el producto o el negocio. El porcentaje relativo tampoco puede convertirse en una ganancia absoluta sin la línea base no divulgada.

La línea base es un ranker que Netflix ha afinado durante años. Igualarlo o superarlo modestamente con menos etiquetas actualizadas con frecuencia podría ayudar a Netflix a adaptar la clasificación a películas, series, juegos, programación en vivo y podcasts sin construir tanta maquinaria especializada para cada superficie. La prueba publicada no establece que GenRec producirá resultados comparables en superficies en tiempo real, en todos los países, en todos los cohortes de miembros o en empresas con perfiles de tráfico y datos distintos.

Mantener un LLM dentro del catálogo

Un modelo de lenguaje de propósito general presenta varios problemas para la recomendación. Puede favorecer títulos populares a nivel global, inventar títulos que Netflix no ofrece e ignorar las reglas de producto que gobiernan cómo deben presentarse las diferentes categorías de contenido.

Li, Rao, Sehgal y sus colaboradores añadieron una cabezera de puntuación consciente del catálogo que puede ordenar el conjunto de candidatos disponibles en una sola pasada hacia adelante. El artículo describe una representación agrupada de las preferencias del miembro y el contexto que se combina con un embedding aprendido para cada elemento del catálogo. Restringir la salida al catálogo evita que GenRec recomiende contenido inexistente o no disponible.

El diseño de servicio también evita la decodificación autoregresiva. GenRec se ejecuta en la infraestructura LLM interna de Netflix con vLLM en modo solo de prellenado, consumiendo el contexto del miembro y puntuando candidatos sin generar el texto de recomendación token por token. Eso reduce la carga de inferencia al servir un modelo decodificador cuando un miembro abre una superficie de producto.

Netflix usa entrenamiento ponderado por recompensas para orientar el ordenamiento hacia la satisfacción del miembro a más largo plazo y los requisitos del negocio. Otras recompensas reequilibran la exposición entre películas, series, juegos, programación en vivo y podcasts. Los investigadores probaron métodos de aprendizaje por refuerzo e informaron ganancias preliminares adicionales sobre el ajuste fino supervisado. Seleccionaron el enfoque más simple de pérdida ponderada debido al costo de entrenamiento, la estabilidad operativa y el mantenimiento más sencillo.

El artículo sitúa a GenRec junto al trabajo industrial en Google, Spotify y Kuaishou sobre arquitecturas base de modelos de lenguaje y recuperación generativa para recomendación. Esos proyectos abordan problemas de ordenamiento relacionados, aunque la comparación de Netflix sigue siendo su propio sistema de producción maduro. Los resultados públicos de GenRec no proporcionan un benchmark entre compañías.

Para equipos de recomendación más pequeños, el material útil se encuentra en las decisiones de ingeniería más que en la escala del resultado de Netflix: comprimir los historiales de comportamiento antes de la inferencia, refrescar el entrenamiento específico de ordenamiento con más frecuencia que el modelo base y restringir las puntuaciones a un catálogo conocido. Los equipos que evalúen el diseño aún tendrían que medir si un ranker basado en LLM supera a un modelo especializado bajo sus propias restricciones de latencia, GPU, datos y etiquetado. El experimento de Netflix no ofrece evidencia de que su economía de despliegue se transfiera a una operación más pequeña.

Li, Rao, Sehgal y sus colaboradores han demostrado que un ranker respaldado por un LLM puede competir con el modelo vigente de Netflix bajo un diseño de servicio controlado. Evidencia adicional requeriría pruebas en superficies en tiempo real, una mayor proporción del tráfico o resultados de miembros divulgados. Por ahora, la ganancia relativa en línea del 0.006% sigue siendo un resultado experimental limitado, mientras que la contribución mayor es una arquitectura documentada para convertir registros de comportamiento en ordenamientos restringidos al catálogo.