Langfuse

Langfuse 是一个开源的 LLM engineering platform，帮助团队协作开发、监控、评估和调试 AI 应用；官方仓库是 langfuse/langfuse，可以使用 Langfuse Cloud，也可以用 Docker Compose、Kubernetes Helm 或云上 Terraform 自托管 #Langfuse Docs, 2026 #Langfuse GitHub, 2026。

它最适合被理解为 LLM 应用的工程驾驶舱：trace 告诉你发生了什么，prompt management 告诉你线上用了哪个指令版本，evaluation 告诉你质量是否真的变好，dataset 和 experiment 把线上问题变成下一轮改进的燃料。

1. Observability：看见 LLM 应用的运行过程

Langfuse 可以记录 LLM 调用，也可以记录 retrieval、embedding、API call、agent action 等非 LLM 步骤；多轮对话可以组织为 session，用户维度也可以被跟踪，用于分析成本、延迟和质量问题 #Langfuse Docs, 2026。

2. Prompt Management：把 prompt 变成可发布资产

Langfuse 支持通过 UI、SDK 或 API 创建 prompt，支持版本控制、协作编辑和 label 部署。对生产系统来说，这意味着 prompt 不再只是散落在代码里的字符串，而是可追踪、可回滚、可比较的软件制品 #Langfuse Prompt Management, 2026。

3. Evaluation：把质量判断变成可重复检查

Langfuse 支持用户反馈、人工标注、LLM-as-a-judge、code evaluator、custom scores、datasets 和 experiments。它既能在线监控 production traces，也能在线下比较 prompt、模型或代码变体 #Langfuse Evaluation, 2026。

4. Platform：API-first、自托管与开源扩展

Langfuse 是 API-first 的开源平台，支持 Python/JS SDK、OpenTelemetry、OpenAI、LangChain、LlamaIndex、LiteLLM、Vercel AI SDK 等集成入口；自托管架构则由 Web、Worker、Postgres、ClickHouse、Redis/Valkey 和 S3/Blob Store 构成 #Langfuse GitHub, 2026 #Langfuse Self Hosting, 2026。

flowchart LR
    App[LLM 应用] --> Trace[Trace / Session]
    Trace --> Score[Feedback / Scores]
    Score --> Dataset[Datasets]
    Dataset --> Experiment[Experiments]
    Experiment --> Prompt[Prompt / Model / Code 更新]
    Prompt --> App

如果只把 Langfuse 当成日志平台，它的价值会被低估。更完整的用法是：从线上 trace 中发现问题，用 score 和 annotation 判断质量，把代表性失败样本沉淀为 dataset，再通过 experiment 比较不同 prompt、模型或代码版本，最后把更好的方案发布回生产。