STROT compila instrucciones de LLM en flujos de trabajo de decisión que se ejecutan localmente
El proyecto de código abierto de Amit Rath coloca un modelo grande en el paso de configuración y un modelo local pequeño para realizar el trabajo, mientras que su demostración de Pac-Man muestra los límites de esa separación.
By RuntimeWire Staff · Published · Updated
Primary source: GitHub
Por qué importa
STROT coloca un modelo grande en la configuración del flujo de trabajo y mantiene las decisiones repetidas localmente, lo que podría reducir costos y latencia para tareas acotadas. Su propia demostración también muestra por qué la compilación y las pruebas doradas no pueden reemplazar la evaluación con datos reales y cambiantes.
Amit Rath's STROT usa un modelo de lenguaje grande para convertir las instrucciones de un desarrollador en un artefacto Python, y luego ejecuta decisiones rutinarias de clasificación y enrutamiento con un modelo más pequeño en hardware local. Rath, listado como autor y mantenedor del proyecto en PyPI, ha llevado ahora la idea de un marco de investigación de 2025 a una herramienta de código abierto que los desarrolladores pueden instalar y probar.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.