概要
webclawは、ウェブサイトからコンテンツを高速かつローカルファーストで抽出するツールです。
ウェブページをMarkdown、JSON、またはLLMが利用しやすい形式のクリーンなコンテキストに変換します。
ナビゲーション、スクリプト、広告などの不要なHTML要素を自動で除去し、生のHTMLではなくAIエージェントやRAGパイプラインが直接活用できる情報を提供します。
CLIツール、REST API、MCPサーバーとして提供され、ターミナルからの直接操作、ClaudeやCursorといったMCP対応ツールとの連携、アプリケーションからのAPI利用、またはセルフホスト型サーバーとしての運用が可能です。
LLMを用いたAIエージェント開発者や、ウェブコンテンツの効率的なデータ抽出を求めるユーザーに最適です。
互換性・特徴
- CLI
- REST API
- MCP Server
- Rust
- Docker
- AI/LLM向け
基本情報
| ライセンス | AGPL-3.0 |
| Stars | 1,729 |
| Forks | 181 |
| カテゴリ | LLM |
| アクティビティ | high |
最新のissue
- –urls-file urls.txt does NOT work if file contains just 1 row (更新: 2026-07-13)
最新リリース: v0.6.14 (2026-06-27)