LokaとArcee、AWS展開向けに構築されたオープンな生物医学モデルを詳述

Why it matters

The project shows how a small research group can combine open weights, reinforcement learning and cloud deployment to build a specialized scientific model, while exposing the evaluation and licensing gaps that remain before regulated use.

Bojan Jakimovski (@Shekswess)、Lokaの機械学習および応用研究リードは、7月30日のXでのスレッドで、LokaがArcee AI、Amazon Web ServicesおよびPrime Intellectと科学研究向けのオープンモデルで協力していると述べた。

その発表の中心にある作業は、バイオ医療の関係抽出アダプタであるTrinity-Mini-DrugProt-Thinkで、JakimovskiとPetar Kalinovski (@theVladChad)が2026年2月に最初に文書化したものだ。タイミングが重要である：7月30日の投稿はその関係を新たな協力として提示しているが、基盤となるモデル、実験、そしてAWSへのデプロイガイドは概ね5か月前から公開されている。

Ss. Cyril and Methodius Universityで専用コンピュータシステムのMScを取得しているJakimovskiは、BrainsterNextでも教え、AWS Ambassadorを務めている。彼の研究はポストトレーニング、小規模言語モデル、分散コンピューティングに集中している。その経歴がプロジェクトの形を決めた：バイオ医療の基盤モデルをゼロから訓練するのではなく、JakimovskiとKalinovskiは既存のスパースMixture-of-Expertsモデルを適応させ、作業を再現するために必要な訓練成果物を公開した。

What the model does

Trinity-Mini-DrugProt-ThinkはArceeのTrinity Mini向けのLoRAアダプタで、総パラメータが260億、トークンごとに活性化されるのは30億のモデルである。このアダプタはPubMedの抄録に見られる阻害剤、活性化剤、アゴニスト、アンタゴニスト、基質などを含む13種類の薬物–タンパク質関係を分類する。分類を返す前に構造化された推論トレースを生成する。

研究者らはGroup Relative Policy Optimization（GRPO）という、定義された解答と照合できる出力に報酬を与える強化学習手法を使用した。Prime Intellectはそのホスティングされた訓練インフラストラクチャをprime-rl frameworkを通じて提供し、訓練環境はMaziyar PanahiのOpenMedによるDrugProtデータセットのパッケージを使用した。

public repositoryには実験設定、エクスポートされたメトリクス、およびベースモデルとアダプタをAWS SageMakerのリアルタイムエンドポイントにデプロイするためのスクリプトが含まれている。AWSの役割はデプロイとホスティングに集中している。訓練の実行はPrime Intellectのインフラを通じて行われた。

その役割分担は、専門化されたオープンモデルをめぐって現れているスタックのコンパクトな例を示している：Arceeがベースの重みを提供し、Prime Intellectが強化学習のインフラを扱い、Lokaがドメインアダプタを構築し、AWSが管理された本番環境を提供する。

The experiments and their limits

JakimovskiとKalinovskiは、LoRAのスケーリング、学習率、バッチサイズ、トークン予算、温度、およびロールアウト数に関して12の実験を行った。彼らの技術報告は、アダプタ更新の大きさを制御するLoRAのalpha設定が研究内で最も影響力のある変数であると特定している。

alphaが64のとき、あるスイープで100ステップ後に精度報酬が約0.75に達し、alpha16では約0.41だった。より攻撃的なalpha128は訓練結果を強めたが、保持評価スコアが悪化したため研究者らはそのランをステップ70で停止した。学習率1e-5のランは訓練中に崩壊し、5e-6のランはステップ82で約0.83に達したがその後不安定性を示した。研究者らはより安全なデフォルトとして3e-6を選択した。

これらの数値は実験上の報酬であって、独立して検証されたバイオ医療ベンチマークではない。モデルカードには、Trinity-Mini-DrugProt-Thinkは訓練分割から抽出されたホールドアウトデータで評価されており、公式のDrugProtテストセットに対してはテストされていないと記載されている。報告書はまた、アダプタは特定の13クラス分類タスク以外には一般化に失敗する可能性があると述べている。

ライセンスも同様に注意を要する。LokaはアダプタをApache 2.0でリリースした一方、基盤となるTrinity Mini modelはArceeの別のOpenMDW-1.1ライセンスを掲示している。結合システムをデプロイする開発者は両方のレイヤーを考慮する必要がある。

From experiment to deployment

Lokaの2月23日のSageMakerガイドは実験をデプロイ可能なサービスに変換する。スクリプトは不変のTrinity Miniベースモデルをロードし、より小さなアダプタを取り付け、結果をリアルタイムエンドポイントを通じて公開する。オペレータはフルモデルの新しいコピーをマージすることなくアダプタを置き換えたりロールバックしたりできる。

そのアーキテクチャは、推論を自分たちのAWSアカウント内に留める必要のあるヘルスケアおよびライフサイエンスチームを対象としている。これにより、これらのチームはコンテナ、アクセスポリシー、ログ、暗号化を管理できる一方で、GPUのサイズ決定、エンドポイントコスト、コールドスタート遅延については責任を負うことになる。

再び注目が集まっているのは、Arceeが7月22日に発表したGenesis-Science-1にも続いている。これは米国エネルギー省およびその国立研究所と共同で開発中の別の兆単位パラメータ級モデルである。Arceeの共同設立者でCEOのMark McQuadeは、モデルラボの方向性を企業向けポストトレーニングツールから自社のオープンウェイトのファウンデーションモデルへとシフトさせている。より小規模なDrugProtプロジェクトは、外部の研究者がその重みを狭い科学的タスクに特化させる方法の実働例をArceeに提供する。

Jakimovskiにとって直接的な成果はより狭い：検査可能なアダプタ、その実験履歴、およびデプロイ経路だ。その科学的価値は訓練分布外での評価に依存するだろう。そのエンジニアリング上の価値は既にリポジトリで可視化されており、他の研究者がアブレーションを再実行したり、バイオ医療データセットを置き換えたり、同じ訓練パターンを別のドメインに持ち込んだりできるようになっている。