Vercel 的 Shu Ding 推出了一款 27.5KB 的语法高亮器，无需语言语法定义
Vercel 的 gpu-lexer 使用了一个具有 41,321 个参数的浏览器模型，以牺牲语法层面的确定性换取一个可在多种编程语言间通用的小型包。
By RuntimeWire Staff · Published
Primary source: gpu-lexer
为何重要
gpu-lexer 展示了浏览器 GPU 如何用一个紧凑的模型替代庞大的语言定义目录，为代码预览和生成的界面开辟更小的部署路径。它准确性的参差不齐也明确划定了可接受的视觉猜测与必须精确理解代码的工具之间的界限。
Shu Ding (@shuding)，Vercel 的一名设计师兼开发者，已经通过 Vercel Labs 发布了 gpu-lexer，这是一个实验性的 27.5KB 语法高亮器，使用 WebGPU 和一个小型分类模型来替代为每种编程语言维护单独语法的做法。
该项目将一个熟悉的开发者工具问题转化为一个紧凑的机器学习任务。gpu-lexer 将源代码划分为单词、空白、换行和符号，然后将这些片段标记为普通文本、注释、字符串、数字、关键字、类型、函数、常量或运算符。它返回带有起止位置的 span，将渲染留给应用程序处理。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.