搜索与采集
Crawl4AI:把网页转成 LLM 可用 Markdown 的爬虫
Crawl4AI 是 unclecode 开源的 Python 爬虫库,把任意网页渲染后转成干净的 Markdown 或按 schema 抽出的 JSON,供 RAG 与 AI Agent 使用。这篇
GitHub 开源项目解读:搜索与采集方向,收录这个方向值得读的开源项目与坑位。
Crawl4AI 是 unclecode 开源的 Python 爬虫库,把任意网页渲染后转成干净的 Markdown 或按 schema 抽出的 JSON,供 RAG 与 AI Agent 使用。这篇
Horizon 是 Thysrael 开源的 AI 新闻雷达,用 Python 写成,把 RSS、Hacker News、Reddit 等来源聚合去重,交给大模型打分筛选,生成中英文每日简报并推送到