将文档抓取并转换为供 AI 智能体使用的干净 Markdown

一个 MCP 服务器,为 AI 智能体提供专用工具,将网页转换为干净的 Markdown。任务:一个 MCP 服务器,为 AI 智能体提供专用工具,将网页转换为干净的 Markdown。它在本地运行 Pulpie 内容提取模型,因此表格、代码块、链接和图片都能完整保留,而不是在摘要过程中被省略。智能体可以直接读取页面内容,将其保存为 .md 文件,把整个文档分区抓取到一个文件夹中,并在再次获取之前检查已经保存的内容。开发缘由:我之前已经为 Pulpie 做了一个小型本地界面,用来将文档和文章提取为 Markdown,效果很好。但执行提取操作的仍然是我。大多数智能体的网页获取工具会用小模型处理页面,对内容进行摘要或裁剪;当智能体需要完整的 API 参考文档时,这并不是你想要的。因此,这个服务器让智能体也能使用我一直在用的同一套工具。它可以……;工具:custom-built or unnamed agent。人工角色:原帖未说明人如何持续参与。;局限:该工具尚未在 PDF 或完全客户端渲染的页面上进行测试,这些页面可能会返回空结果。仅在 Linux 上使用 NVIDIA/CUDA 进行了测试。pulpie-orange-small 模型采用 CC BY-NC 4.0 许可证,限制商业使用。作者尚未评估提取的 Markdown 中的提示注入风险。后端在 30 分钟无活动后会自动关闭以释放 VRAM。。

工具

custom-built or unnamed agent

Agent Work Atlas 发布日期:

概述

一个 MCP 服务器,为 AI 智能体提供专用工具,将网页转换为干净的 Markdown。

工作流程

一个 MCP 服务器,为 AI 智能体提供专用工具,将网页转换为干净的 Markdown。它在本地运行 Pulpie 内容提取模型,因此表格、代码块、链接和图片都能完整保留,而不是在摘要过程中被省略。智能体可以直接读取页面内容,将其保存为 .md 文件,把整个文档分区抓取到一个文件夹中,并在再次获取之前检查已经保存的内容。开发缘由:我之前已经为 Pulpie 做了一个小型本地界面,用来将文档和文章提取为 Markdown,效果很好。但执行提取操作的仍然是我。大多数智能体的网页获取工具会用小模型处理页面,对内容进行摘要或裁剪;当智能体需要完整的 API 参考文档时,这并不是你想要的。因此,这个服务器让智能体也能使用我一直在用的同一套工具。它可以……

原文报告的结果

在一次测试中,Claude 在大约 49 秒内抓取了 60 个文档页面,其中包括 10 秒的后端冷启动和 37 秒的抓取与保存时间。输出为带有前置元数据(源 URL、标题、抓取时间)的干净 Markdown 文件,存储在磁盘上,允许智能体搜索和引用它们,而无需将所有内容加载到上下文窗口中。作者报告称,提取过程完整保留了表格、代码块、链接和图片。

人工角色

原帖未说明人如何持续参与。

局限

该工具尚未在 PDF 或完全客户端渲染的页面上进行测试,这些页面可能会返回空结果。仅在 Linux 上使用 NVIDIA/CUDA 进行了测试。pulpie-orange-small 模型采用 CC BY-NC 4.0 许可证,限制商业使用。作者尚未评估提取的 Markdown 中的提示注入风险。后端在 30 分钟无活动后会自动关闭以释放 VRAM。

试一试

我想使用 pulpie-mcp 服务器为我的 AI 编码智能体设置一个本地文档抓取器。首先,使用 `uv tool install git+https://github.com/pinkpixel-dev/pulpie-mcp` 安装该工具,并将其添加到智能体的 MCP 配置中(例如 `claude mcp add --scope user pulpie -- pulpie-mcp`)。确保你拥有兼容的 GPU(Linux 上的 NVIDIA/CUDA),并接受 Pulpie 模型的 CC BY-NC 4.0 许可证。 任务:将 [可替换输入:例如 'FastAPI'] 的文档抓取到名为 [可替换输入:例如 './docs/fastapi'] 的本地文件夹中。 步骤: 1. 使用 `crawl_docs` 工具抓取文档。 2. 验证文件是否带有前置元数据保存。 3. 使用 `list_library` 确认已保存的内容。 4. 在完全抓取之前,使用 `fetch_markdown` 对单个页面进行试运行以检查质量。 5. 审查输出是否有缺失内容或格式问题。 成功标准:文档保存为干净的 Markdown 文件,表格和代码块完整。智能体可以引用这些文件,而无需将它们全部加载到上下文中。 约束:由于模型许可证,请勿用于商业项目。通过检查输出来处理来自客户端渲染页面的潜在空结果。如果后端启动失败,请验证 GPU 可用性和 VRAM 使用情况。

原始来源

来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。

更多同类案例 · 编程与开发