LangSmith
免费
LangSmith 是 LangChain, Inc. 推出的 LLMOps 平台，覆盖 Agent/LLM 应用的 tracing、monitoring、online/offline evaluation、datasets、annotation queues、prompt hub、playground、deployment、Fleet 与 Sandboxes，适合把 AI 应用从原型调试推进到生产观测和版本治理。
LangSmith 的核心参数与统计
| 项目 | 公开信息 |
|---|---|
| 产品定位 | AI Agent 与 LLM observability、evaluation、deployment 平台 |
| 官网入口 | https://www.langchain.com/langsmith |
| 应用入口 | https://smith.langchain.com |
| 核心模块 | Observability、Evaluation、Deployment、Engine、Fleet、Sandboxes、Prompt Hub、Playground |
| SDK 与接入 | Python、TypeScript、Go、Java SDK；支持 OpenTelemetry 接入 |
| 部署形态 | Cloud、Hybrid、Self-hosted；Enterprise 支持运行在客户 Kubernetes 集群 |
| Cloud 数据区域 | smith.langchain.com 托管数据存储在 GCP us-central-1 |
| 付费层级 | Developer、Plus、Enterprise |
| 免费额度 | Developer 计划包含 5k base traces/月和 50 Fleet runs/月 |
| 最新公开更新 | 2026-06-08 至 2026-06-12 的 LangSmith Cloud changelog |
产品边界：LangSmith 不是大模型训练平台，也不负责替代 OpenAI、Anthropic、Google 等模型供应商的推理 API。它的核心位置在 AI 应用层，围绕输入、输出、工具调用、上下文、延迟、成本、评测结果和部署运行状态建立工程闭环。
接入含义：LangSmith 对 LangChain/LangGraph 用户最顺滑，但并不只服务 LangChain 生态。官方产品页明确给出任意 agent stack 可通过 Python、TypeScript、Go、Java SDK 或 OpenTelemetry 接入，这让它更像团队级 LLMOps 平台，而不是单个框架的调试面板。
LangSmith 的用户与市场认可
企业采用信号：LangSmith 产品页展示 Klarna、Vanta、Clay、Rippling、Lyft、Gong、Harvey、Abridge、Cloudflare、Bristol Myers Squibb、Workday、Cisco、Mercor、Nvidia 等客户标识，并以“Helping top teams ship great agents”呈现其生产级定位。该信息说明 LangSmith 的目标客户已经覆盖 SaaS、医疗、销售、云服务和大型企业技术团队。
生态位置：LangSmith 与 LangChain、LangGraph 形成“开发框架 - 智能体编排 - 观测评测部署”的组合。对使用 LangGraph 构建长链路 Agent 的团队，LangSmith 可以承接 trace、dataset、experiment、deployment 与 alert 结果，减少在日志平台、表格评测和手工回放之间切换的成本。
未公开项：LangChain, Inc. 未在产品页公开 LangSmith 的独立付费客户数、收入、续约率或各行业渗透率。相关商业规模只能以官方后续披露为准，不能从客户 logo 或开源生态热度推断为确定数字。
LangSmith 的成本优势：把调试、评测和部署成本合并到同一条工程链路
C 端/个人开发者：Developer 计划为 0 美元/seat/month，并包含 5k base traces/月、1 个 seat、50 Fleet runs/月、tracing、online/offline evals、Prompt Hub、Playground、Canvas、annotation queues、monitoring 与 alerting。个人或早期 PoC 可以先把核心链路打点，不必先采购企业套餐。
开发者/API 团队：Plus 计划为 39 美元/seat/month，包含 10k base traces/月、1 个 dev-sized agent deployment、最多 3 个 workspaces、Email support、500 Fleet runs/月，以及 Engine 与 Sandboxes 入口。对小团队而言，显性费用来自 seat、trace 超额、Fleet runs、deployment runs 和 deployment uptime；隐性费用则来自 SDK 接入、敏感字段脱敏、评测数据集维护和告警规则治理。
企业/私有化场景：Enterprise 为 custom pricing，覆盖 hybrid/self-hosted、数据不离开 VPC、custom SSO/RBAC、支持 SLA、团队培训、架构指导、定制 seats/workspaces 以及 Fleet、Engine、Sandboxes 套餐。企业总成本不仅是订阅价格，还包括云资源、Kubernetes 运维、审计、权限模型和跨团队 rollout 成本。
LangSmith 的主要功能
- Tracing：按 step 观察 Agent 执行过程，定位影响 latency、cost 和 response quality 的节点。对多轮对话和工具调用场景，trace 能把“模型为什么这样回答”拆成可回放的工程证据。
- Monitoring 与 dashboards：把生产 trace 汇总为实时指标、告警和质量监控面板，适合持续观察成本突增、延迟抖动、质量下降和异常工具调用。
- Online/offline evaluation：offline eval 用 curated datasets 在发布前比较 prompt、模型和检索策略；online eval 在生产 trace 上运行安全、格式、质量和 LLM-as-judge 规则，并可用 sampling 控制成本。
- Datasets 与 experiments：把线上失败样本回流为数据集，在同一实验表中比较不同版本。2026 年 6 月 changelog 已加入实验进度条和 categorical feedback 派生百分比，便于扫描 pass/fail 结果。
- Annotation queues 与 feedback：支持人工反馈队列、inline annotation、用户反馈 SDK 和 presigned feedback URL，适合把人工质检结果沉淀为可复用评测资产。
- Prompt Hub、Playground 与 Canvas：支持 prompt 调试、版本协作和自动改进流程，降低 prompt 直接在线上修改带来的回归风险。
- Deployment：提供面向 Agent workload 的部署运行时，覆盖 durable execution、real-time streaming、horizontal scaling，并可从 GitHub 或 Studio 触发部署。
- Engine、Fleet、Sandboxes：Engine 用于自动发现 trace 中的 recurring issues 并诊断根因；Fleet 让公司内多角色使用 agents；Sandboxes 用于安全运行 agent-generated code，并支持代理规则连接云服务。
LangSmith 的模型与版本演进
LangSmith 的主线版本
2026-06-08 至 2026-06-12 Cloud update：LangSmith Cloud changelog 记录 Engine 项目级 spend 展示、实验表进度条、Dashboards v2 bar/line charts、Deployment 从 Studio 触发、Google ADK agents 部署、Sandboxes AWS authentication proxy 与 Dockerfile snapshot 等更新。这说明 LangSmith 的近期重心已从单纯 observability 扩展到部署、沙箱和成本治理。
2026-06-01 至 2026-06-05 Cloud update：同一 changelog 显示 run rule webhook payload 增加 trace deep link、per-workspace Engine spend GA、Engine webhook secret rotation、Sandbox GCP auth proxy、experiment table 派生百分比等能力，强化自动化、成本透明和跨云沙箱访问。
LangSmith 的历史里程碑
2024-02-15 GA：LangChain 官方博客宣布 LangSmith Generally Available，定位为面向 LLM 应用开发、监控、测试和评估的生产级平台。GA 节点意味着产品从 beta 试用进入更稳定的商业化阶段。
2023-07-18 Public Beta：LangChain 官方博客宣布 LangSmith，提出用统一平台帮助开发者 debug、test、evaluate 和 monitor LLM applications。该节点奠定了 LangSmith 作为 LangChain 商业平台核心产品的方向。
LangSmith 的技术优势
异步追踪机制：产品页说明 LangSmith SDK 使用 async callback handler 将 traces 发送到 distributed collector，因此不会阻塞应用主流程。机制上的好处是应用可在生产环境持续上报 trace，而不必把每次 LLM 调用都同步等待观测平台响应；适用场景是高并发客服、Agent 后端和内部知识问答。
OpenTelemetry 与多 SDK 接入：官方页面提供 Python、TypeScript、Go、Java SDK 与 OpenTelemetry 路径。机制上，团队可以复用已有 observability 规范，把 LLM trace 纳入更大的工程监控体系；效果是降低跨语言服务接入成本，适合 polyglot 后端和微服务场景。
评测与观测数据同源：LangSmith 把 production traces、datasets、experiments、online evals 和 annotation queues 放在同一平台。机制上，线上失败样本可以直接变成回归测试数据；效果是 prompt、模型和 retrieval 调整有可复现基准，适合频繁迭代的 Agent 产品团队。
部署运行时与观测闭环：Deployment 使用 assistants、threads、runs 的执行模型，并与 Engine 的 failure detection 连接。机制上，部署后的 agent 运行状态可以直接被 trace 和 Engine 分析；效果是从“上线后看日志”变为“上线后按 trace 证据定位失败模式”，适合多版本、多 agent 的生产环境。
LangSmith 的如何使用
| 使用路径 | 入口 | 典型步骤 | 适配场景 |
|---|---|---|---|
| Cloud 快速接入 | https://smith.langchain.com | 注册账号 -> 创建 workspace/project -> 获取 API key -> 在应用中配置 SDK/环境变量 -> 查看 traces 与 dashboards | 个人、PoC、小团队 |
| Evaluation 工作流 | LangSmith Evaluation docs | 创建 dataset -> 配置 evaluator -> 运行 offline experiment -> 将失败样本回流 -> 设置 online evaluator | 发布前质量门禁与线上质量监控 |
| Deployment | LangSmith Deployment docs / Studio | 连接 GitHub 或使用 CLI -> 创建 agent deployment -> 配置 threads/runs -> 观察 trace 与 Engine issues | LangGraph/Agent 生产部署 |
| Self-hosted / Hybrid | Platform setup docs | 确认 Enterprise 计划 -> 准备 Kubernetes、PostgreSQL、Redis 等基础设施 -> 配置控制面与数据面 -> 接入 SSO/RBAC | 数据不出 VPC、强合规组织 |
最小落地步骤：先选择一个高价值链路，例如客服问答、销售助手或内部知识库 Agent；接入 tracing 后建立 latency、cost、error、quality 四类基础指标；再从真实失败 trace 创建 dataset，用 offline eval 验证修复；最后把 online eval 和 alert 接入发布流程。
LangSmith 的产品定价
| 计划 | 公开价格 | 包含额度与能力 | 典型定位 |
|---|---|---|---|
| Developer | $0 / seat / month，然后 pay as you go | 5k base traces/月、50 Fleet runs/月、1 seat、tracing、evals、Prompt Hub、Playground、Canvas、annotation queues、monitoring、alerts | 个人与早期验证 |
| Plus | $39 / seat / month，然后 pay as you go | 10k base traces/月、1 个 dev-sized agent deployment、500 Fleet runs/月、最多 3 workspaces、Email support、Engine、Sandboxes | 正在构建和部署 agents 的团队 |
| Enterprise | Custom pricing | Hybrid/self-hosted、custom SSO/RBAC、Support SLA、架构指导、custom seats/workspaces、Fleet/Engine/Sandboxes 套餐 | 安全、合规、私有化和大规模团队 |
用量项边界：定价页还列出 custom deployment runs、deployment uptime、Fleet runs、Engine、Sandboxes、trace events 等计费维度。LLM usage 由模型供应商单独计费，不包含在 LangSmith 价格中。正式采购前需要以官方实时定价页和合同条款为准。
LangSmith 的应用场景
- 生产 Agent 可观测：多步骤 Agent 出现高延迟、高成本或错误工具调用时，LangSmith trace 能按步骤回放输入、输出和中间状态，帮助工程团队定位到底是检索、prompt、工具还是模型选择出了问题。
- 发布前评测门禁：产品团队把真实问题、边界样本和失败样本整理为 dataset，用 offline eval 比较新旧 prompt、模型和 RAG 策略，避免“局部演示效果好、线上整体变差”的回归。
- 线上质量监控：通过 online eval、dashboards 和 alerts 监控安全性、格式、事实性、成本和延迟，适合对客服、医疗文档、法务问答等高风险场景设置持续质量门槛。
- Agent 部署协作：研发团队使用 LangSmith Deployment 承载长运行 Agent，并通过 real-time streaming、horizontal scaling、threads/runs 模型和 Engine 形成部署后的问题定位链路。
- 企业内部 Agent 分发：Fleet 适合把 agents 作为公司级能力交给不同业务角色使用，同时让工程团队保留追踪、权限、用量和质量治理能力。
LangSmith 的适用人群
- AI 应用研发团队：需要把 prototype 变成可上线服务，并持续观察 trace、质量、成本和延迟。前置条件是愿意在应用中接入 SDK 或 OpenTelemetry。
- LLMOps/平台工程团队：需要为多个业务线提供统一 tracing、evaluation、prompt、dataset 和 deployment 基础设施，避免每条业务线自建零散工具。
- 产品与质量团队：需要用可复现 dataset、annotation queues、experiment results 和 online eval 参与 AI 功能验收，而不是只依赖主观体验。
- 企业安全与合规团队：需要 hybrid/self-hosted、SSO/RBAC、数据驻留和审计能力。该人群应优先确认 Enterprise 条款、数据区域、日志保留和访问控制细节。
不适配边界：只做一次性 demo、没有持续上线计划、没有评测样本、也不需要团队协作的项目，短期内可能无法体现 LangSmith 的完整价值。对极轻量、极低成本的个人脚本，直接使用模型供应商日志或本地结构化日志可能更简单。
LangSmith 的总结与展望
LangSmith 的核心价值在于把 LLM/Agent 应用的调试证据、生产观测、评测数据、人工反馈和部署运行状态放在同一工程平台内。它尤其适合已经进入生产或准生产阶段的 AI 团队，因为这类团队的问题往往不再是“能不能调用模型”，而是“质量是否稳定、成本是否可控、失败是否可复现、上线后是否可回滚”。
当前限制与不确定项主要有四类：第一，Enterprise、hybrid/self-hosted、SLA 和高级安全条款需要商务确认；第二，Cloud 数据区域公开为 GCP us-central-1，跨区域或本地合规需求要核验部署方案；第三，Fleet、Engine、Sandboxes、Deployment 等模块仍在快速迭代，升级前需要查阅 changelog；第四，LLM 推理费用由模型供应商独立收取，LangSmith 只能帮助观察和治理，不能消除底层模型成本。
落地建议是先从 1-2 条关键 AI 链路开始试点，量化 trace 覆盖率、线上失败复现率、评测通过率、平均延迟和单位请求成本；当这些指标能稳定进入发布流程后，再扩展到多项目、多 workspace 和企业级部署。正式采购前应复核定价页、数据保留、trace 事件限制、SSO/RBAC、部署区域、SLA 和自托管升级策略。
版本信息
- LangSmith Cloud June 8-12, 2026 update ：LangSmith Cloud changelog 公布的 2026 年 6 月 8-12 日更新，覆盖 Engine 项目级 spend 展示、实验进度条、Dashboards v2 图表、Deployment 从 Studio 触发、Google ADK agents 部署和 Sandboxes AWS 认证代理等能力。
- LangSmith Cloud June 1-5, 2026 update ：LangSmith Cloud changelog 公布 run rule webhook trace deep link、workspace Engine spend GA、Sandbox GCP auth proxy、实验表派生百分比等更新。
- LangSmith Generally Available ：LangChain 官方博客宣布 LangSmith GA，强调其面向 LLM 应用的开发、监控、测试与评估闭环能力。
- LangSmith Public Beta ：LangChain 官方博客宣布 LangSmith，定位为帮助开发者调试、测试、评估和监控 LLM 应用的统一平台。
用户评价