Kiln：AI 系统构建、评估与优化平台

摘要

Kiln 是一个结合了模型评估与优化流程的 AI 系统构建平台，提供开源 Python 库和免费桌面应用，帮助跨职能团队通过“测量、改进、重复”的迭代过程打造高质量的 AI 产品。

项目基础：核心库基于 Python 开发，GitHub 拥有 4671 Stars；提供面向开发者的开源库和面向非技术人员的免费桌面端（支持 Win/Mac/Linux）。
模型评估与微调：内置 LLM-as-Judge 和 G-Eval 等高级评估器，并支持对 Llama、GPT-4o 等模型进行零代码微调及自动化无服务器部署。
广泛的模型兼容性：已测试超过 100 种模型能力，支持通过 Ollama、OpenAI、OpenRouter、AWS 等接口调用模型。
数据集构建与协作：提供交互式合成数据生成工具；数据集格式专为 Git 版本控制设计（基于 UUID 避免冲突），支持业务专家、数据科学家和 QA 等多角色并行协作。
隐私优先设计：支持完全在本地计算机上运行，用户可自带 API Key 或使用本地 Ollama 模型，确保数据不外泄。
高级 AI 能力集成：支持检索增强生成（RAG）、多角色 Agent 构建、外部工具与 MCP 集成，以及自定义推理模型的训练与蒸馏。
提示词与结构化输出：支持零代码测试思维链（CoT）等提示词技巧，并可构建输出 JSON 格式的 AI 任务。
开发者友好：提供 OpenAPI REST API，可通过 pip install kiln-ai 快速将数据集集成到自有工作流或 Jupyter Notebook 中。

Kiln 是一个用于构建、评估和优化 AI 系统的综合性平台。它将模型评估与优化流程结合在一起，使每一次更改都可测量，帮助团队通过“测量、改进、重复”的迭代过程打造高质量的 AI 产品。该项目提供开箱即用的桌面应用程序以及面向开发者的开源 Python 库。

快速原型设计：无需编写代码即可尝试多种提示词技巧（如思维链、少样本、多样本），并快速对比不同模型（如 GPT、Llama、Claude 等）的表现。
跨团队协作：业务专家（SME）可通过直观的桌面端生成结构化数据集和评分；数据科学家可通过 UI 或 Python 库使用这些数据；QA 和 PM 可快速定位问题并在模型层协助修复。
高质量数据集构建：在产品使用过程中捕获输入、输出、人工评分和反馈，或利用合成数据生成工具快速构建用于评估和微调的数据集。

模型评估 (Evals)：使用先进的评估器（如 LLM-as-Judge 和 G-Eval）测试模型或任务的质量。
零代码微调 (Fine Tuning)：支持对 Llama、GPT-4o 等模型进行零代码微调，并提供模型的自动化无服务器部署。
RAG 与 Agent：支持检索增强生成（RAG）以接入外部知识，并可构建多角色的代理（Agentic）系统。
工具与 MCP 集成：支持将强大的外部工具连接到 Kiln 任务中。
合成数据生成：提供交互式可视化工具，几分钟内即可生成用于评估或微调的数据集。
提示词与结构化输出：自动生成包含思维链（CoT）等技巧的提示词，并支持构建输出 JSON 格式的 AI 任务。
推理模型训练：支持训练或蒸馏自定义的推理模型。
广泛的模型支持：已测试超过 100 种模型能力，支持通过 Ollama、OpenAI、OpenRouter、Fireworks、Groq、AWS 及任何兼容 OpenAI 的 API 调用模型。

隐私优先设计：支持在本地计算机上运行，数据不外泄。用户可自带 API Key 或使用本地的 Ollama 模型。
Git 驱动的数据集协作：数据集文件格式专为 Git 设计，支持版本控制。通过 UUID 避免冲突，内置归属记录，支持多人并行贡献，甚至可通过共享云盘让非技术人员参与。
低门槛的桌面端：提供 Windows、MacOS 和 Linux 的一键安装桌面应用，降低了非技术人员参与 AI 数据集构建和评估的门槛。
开发者友好：提供开源的 Python 库和 OpenAPI REST API，方便开发者将 Kiln 数据集集成到自有工作流、Jupyter Notebook 或用于构建自定义工具。