LangSmith（朗史密斯）深度评测：2025年LLM应用调试与性能监控平台的智能运维革命使用教程：从入门到精通

从选型到落地的可执行指南，适合个人与团队快速上手。

教程正文

从选型到落地的实战步骤。

一、LangSmith是什么？为什么要用它？

在2025年，LLM应用（如ChatGPT、Claude等）已深度嵌入企业业务，但调试和监控这些“黑盒”模型仍然令人头疼。LangSmith正是由LangChain团队推出的智能运维平台，专门解决LLM应用的可观测性、调试与性能优化问题。你可以把它想象成“LLM应用的Datadog + VS Code调试器”。

二、快速上手：5分钟搭建第一个追踪项目

2.1 注册与创建API Key

访问 smith.langchain.com，使用GitHub或Google账号登录。登录后进入Settings → API Keys，点击Create API Key，复制密钥。

2.2 集成到你的Python应用

安装LangSmith SDK：

pip install langsmith

在代码中添加环境变量（建议使用.env管理）：

import os
os.environ["LANGSMITH_API_KEY"] = "你的API_KEY"
os.environ["LANGSMITH_PROJECT"] = "my-first-project"

2.3 使用@trace装饰器追踪任意函数

例如追踪一次OpenAI调用：

from langsmith import traceable
import openai

@traceable(name="chat_completion")
def ask_gpt(prompt):
    response = openai.ChatCompletion.create(
        model="gpt-4",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

print(ask_gpt("What is LangSmith?"))

运行脚本后，在LangSmith Dashboard的“Traces”页面能看到完整的调用链，包括输入、输出、耗时、token数。

三、核心功能实战：调试、评估与监控

3.1 细粒度调试：从Trace到Span

当你的LLM应用包含多个步骤（如检索+生成），每个步骤会生成一个Span。双击某条Trace，可展开内部所有Span，查看每个步骤的详细参数和耗时。技巧：在Span中添加自定义属性，便于过滤：

@traceable(name="retrieval")
def retrieve_docs(query, metadata={"source": "wiki"}):
    # ...
    langsmith.trace.add_metadata(metadata)
    return docs

3.2 创建评估数据集与测试

进入Datasets页面，点击Create Dataset，上传CSV或手动添加示例（输入、期望输出）。然后使用Run Evaluate功能，选择预定义的评估器（如ExactMatch、Correctness）或自定义Python函数：

from langsmith.evaluation import evaluate

def check_length(output, reference):
    return len(output) > 10

evaluate(
    lambda prompt: ask_gpt(prompt),  # 你的模型函数
    data="my-dataset", 
    evaluators=[check_length]
)

评估结果会显示每条用例的得分和失败原因，方便定位问题。

3.3 性能监控与告警

进入Monitoring面板，可以配置Dashboards：添加KPI（如平均延迟、错误率、Token消耗）。点击Create Alert，设置规则如：当P99延迟 > 5秒持续5分钟，通过Slack/邮件通知。技巧：利用Annotations标注版本发布、模型切换的时间点，便于关联性能变化。

四、高级技巧：团队协作与成本优化

4.1 用Project分层管理

针对不同环境（dev/staging/prod）创建独立Project，每个Project下可设置不同成员权限（管理员、开发者、仅查看）。在代码中通过os.environ["LANGSMITH_PROJECT"] = "prod-v2"动态切换。

4.2 自动录制回放（Replay）

当线上出现错误响应时，在Traces中找到对应的Trace，点击Replay按钮，LangSmith会使用完全相同的输入重新调用你的API（需暴露本地端口或部署调试端点）。非常适合复现Bug。

4.3 成本与token可视化

在Usage标签页，按模型、项目、时间维度查看Token消耗。可设置预算上限，超出时自动暂停调用。技巧：结合Evaluation结果，评估“高成本但低准确性”的模型，及时切换。

五、常见问题与避坑指南

API Key泄露风险：切勿将key硬编码到前端或公开仓库，建议使用环境变量+Vault管理。
Trace丢失：确保网络可以访问api.smith.langchain.com（某些内网环境需配置代理）。
评估速度慢：使用evaluate(…, max_concurrency=10)并行执行。
不兼容其他框架：LangSmith原生支持LangChain，但通过traceable装饰器也可用于纯OpenAI、Anthropic SDK等。如果是FastAPI应用，配合@app.post()使用同样有效。

Tip：在开发阶段，建议将LangSmith的采样率设为100%以捕获所有异常；上线后可调整为10%以节省费用。

六、结语

LangSmith不仅是一个调试工具，更是LLM应用全生命周期管理的基石。通过本文的实操步骤，你已经能独立完成从追踪、评估到监控的闭环。2025年的AI运维不再靠猜，而是靠数据驱动——现在就动手集成LangSmith，让你的LLM应用更稳定、更高效。