Charlie Ruan dirige WebLLM, que ejecuta modelos abiertos localmente en su navegador.
Charlie F. Ruan dirige un runtime de código abierto que utiliza WebGPU, WebAssembly y artefactos generados por el compilador para ejecutar modelos de lenguaje en los dispositivos de los usuarios.
By RuntimeWire Staff · Published
Primary source: GitHub
Por qué importa
WebLLM ofrece a los desarrolladores una vía creíble para lanzar funciones de IA privadas y capaces de funcionar sin conexión, sin pagar por cada token generado. Sus límites también obligan a tomar decisiones de producto en torno al tamaño del modelo, el soporte de dispositivos y las descargas en la primera ejecución.
Charlie F. Ruan dirige WebLLM, un runtime de código abierto que permite a los desarrolladores ejecutar modelos de lenguaje dentro de un navegador sin un servidor de inferencia. WebLLM fue documentado públicamente en abril de 2023.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.