LLM训练数据

Firecrawl LLMs.txt generator

llmstxt.firecrawl.dev

Firecrawl LLMs.txt generator是由Firecrawl提供支持的在线llms.txt文件生成工具，核心定位是帮助用户快速从目标网站的结构化文本内容，适配大语言模型训练、RAG系统构建、智能体知识库搭建等场景需求。核心功能包括全站内容自动爬取、内容结构化清洗、llms.txt格式自动适配、自定义内容范围筛选、生成文件一键导出。目标用户覆盖AI开发者、大模型训练研究人员、RAG应用搭建者、网站运营人员等，可用于快速获取特定领域模型训练数据准备、知识库内容结构化处理、智能问答系统内容导入等场景，帮助用户降低内容采集和整理的成本。

Anakin

anakin.io

Anakin 是一款面向开发人员、AI 应用创作者的数据处理平台，核心定位是通过标准化 API 接口，将任意公开网站内容转换为结构化、适配大语言模型使用的规范数据。核心功能包含统一网页结构化 API 调用、自定义数据提取规则配置、多格式数据输出支持、访问权限与调用量管理、批量网页数据处理，服务于需要为大语言模型构建训练数据集、开发AI问答应用、构建垂直领域知识库的用户群体，适用于AI训练数据采集、企业内部知识库构建、竞品信息监测整理、内容聚合平台内容抓取等多种场景。