BOSS Zhipin、再利用したトランスフォーマースタックを用いる3Bエージェントモデルを公開

Apache-2.0モデルは、2パスのLooped Transformerを使用し、コーディング、オフィス、ツールのワークフロー向けに28兆トークンでトレーニングされました。

By · Published · Updated

BOSS Zhipin releases 3B agent model with a reused transformer stack — The Apache-2.0 model uses a two-pass Looped Transformer and was trained on 28 trillion tokens for coding, office and tool workflows.

Apache-2.0モデルは、2パスのLooped Transformerを使用し、コーディング、オフィス、ツールのワークフロー向けに28兆トークンでトレーニングされました。