Firecrawl、より高速なAIドキュメント取り込みのためにanydocをオープンソースで公開

RustエンジンはPDF、Wordファイル、スライドデッキおよびその他10のフォーマットを処理し、現在Firecrawlの既存の /parse エンドポイントを動かしています。

By · Published

Primary source: X

Why it matters

Anydoc extends Firecrawl from web extraction into the files that feed RAG and agent systems. Open source drives adoption, while the hosted /parse endpoint captures paid workloads.

Illustration of Firecrawl's open-source anydoc Rust engine ingesting and parsing PDFs, Word docs and slide decks into structured data.

Firecrawl, founded by Caleb Peffer (@CalebPeffer), Eric Ciarla (@ericciarla) and Nicolas Silberstein Camara (@nickscamara_), launched anydoc in a post on X on August 4th, pitching the open-source Rust engine as a faster way to turn business documents into Markdown for AI systems.

サンフランシスコの創業者たちはAIデータスタックを着実に上流へと進めてきた。彼らは以前にドキュメント向けのAIチャット製品であるMendableや、開発者向け学習ツールのSideGuideを開発している。PefferはFirecrawlの2025 funding announcementの中で、Mendableが繰り返し同じインフラ問題に直面したと書いている。クリーンで構造化されたウェブデータを取得するために、各AI開発者がスクレイパー、プロキシ、後処理システムを組み合わせる必要があったという。Firecrawlは創業者たちがそのデータ層を直接販売する決断をしたことから成長した。

Anydoc extends that thesis from websites into files. Firecrawl says the engine converts PDFs, Word documents, slide decks and 10 other formats into Markdown. The company claims parsing latency below roughly five milliseconds and says anydoc is fully open source. Firecrawl has not supplied benchmark methodology with the announcement, so the latency figure remains a company-reported performance claim rather than an independently tested comparison.

このリリースはまた、Firecrawlのホスト型ドキュメント製品の下層に何があるかを明確にしている。同社は4月28日にローカルまたは非公開ドキュメントをアップロードする開発者向けに/parse endpointを導入した。そのAPIは以前、PDF、DOCX、DOC、ODT、RTF、XLSX、XLS、HTMLファイル(最大50MB)をサポートし、読み順と表を保持しながらMarkdown、構造化JSON、または要約を返すと文書化していた。

Firecrawlはすでに/parseが従来のパイプラインより最大で5倍高速なRustベースのエンジンを使用していると説明していた。Anydocはそのエンジンに独立したアイデンティティを与え、スライドデッキをFirecrawlが公に推奨するフォーマットに追加し、パース層を有料APIのためのオープンソース配布チャネルに変えた。

The five-millisecond claim has limits

ドキュメントのパースは一様な実行経路に従うわけではない。OfficeファイルやPDFにきれいに埋め込まれたテキストは直接抽出できる。一方、スキャンされたページ、手書きの資料、複雑なレイアウトは光学文字認識(OCR)やレイアウト解析を必要とし、これらは大きく異なる処理コストを伴う。

Firecrawlの以前のFire-PDF documentationは、個々のPDFページを分類してから直接抽出か、より重いレイアウト対応の経路を選択するシステムを説明していた。同社はその広範なPDFパイプラインでページあたり平均400ミリ秒未満の処理時間を報告している。/parseのドキュメントは別途、画像のみのPDFはOCRを経ること、結果はスキャン品質に依存することを警告している。したがって、新しい5ミリ秒未満という数値は、すべての対応ドキュメントやOCRワークロードに対するエンドツーエンドのレイテンシだと読み替えるべきではない。

この区別は、retrieval-augmented generation、文書検索、エージェントワークフローを構築する開発者にとって重要だ。クリーンなファイルに対するパーサの速度は取り込みスループットに影響する一方で、表、スキャン、不規則な読み順に対する性能が、生成されるコンテキストが有用かどうかを左右する。金融表やスライドの順序をめちゃくちゃにする高速変換は、単に失敗を検索やモデル出力の後段に移すだけである。

Firecrawl moves into a crowded parsing market

Anydoc enters a field that already includes local libraries and hosted services. Docling, an open-source project started at IBM Research, supports PDF, DOCX, PPTX, XLSX, HTML, images and other formats, with export to Markdown or JSON. Other developers can choose specialized document APIs or assemble OCR and conversion components themselves.

Firecrawlの利点は、より広範なデータプラットフォームを通じた流通にある。同じアカウントとAPIサーフェスで既にウェブの検索、スクレイピング、クロール、ページとの対話、アップロードされたファイルのパースが可能だ。/parseの背後にanydocを導入することで、Firecrawlはオープンソースを使って開発者を引き付けつつ、エンジン周りでホスト実行、セキュリティコントロール、マネージドインフラを販売できる。

Firecrawl has capital to pursue that expansion. It raised a $14.5 million Series A led by Nexus Venture Partners in August 2025, with Y Combinator, Zapier, Tobias Lutke, Abhinav Asthana and Matt McClure participating. Firecrawl currently reports $16.2 million in total funding. The valuation was not disclosed.

Anydoc pushes Firecrawl beyond its original position as a web-scraping API. Peffer, Ciarla and Camara are betting that developers will prefer one ingestion layer for both live websites and the files that sit inside company systems. Open-sourcing the parser lowers the barrier to adoption; routing the same engine through /parse gives Firecrawl a path to convert that adoption into API usage.

Reader comments

Conversation for this story loads after sign-in.