使用 LLM 可观测性监测您的 AI 堆栈

利用 Elastic Observability 的端到端监测功能检测风险、解决问题，并确保您的代理和生成式 AI 应用程序为生产做好准备。

开始免费试用
阅读文档
LLM Observability 监测显示 Vector、Azure OpenAI、OpenAI、Anthropic 和 Amazon Bedrock 的徽标

核心能力

观察您的代理 AI 堆栈的每一层

监测性能、控制成本、跟踪防护措施并保持 GenAI 工作负载可靠运行。

  • 为顶级 LLM Platform 精心策划的仪表板

    适用于 Azure AI Foundry、OpenAI、Amazon Bedrock 和 Google Vertex AI 的预构建仪表板可跟踪调用次数、错误率、延迟、利用率指标和令牌使用情况，因此 SRE 可以发现性能瓶颈、微调资源并保持系统可靠性。

  • 逐步追踪 LLM

    获取对整个 LLM 执行路径的全面了解。跟踪 LangChain 请求、失败的 LLM 调用、代理工作流和外部服务交互。绘制依赖关系图，以快速隔离瓶颈，并恢复最佳性能。

  • 用于安全与合规性的 AI 防护措施监控

    监测提示和响应以查找敏感数据泄露、有害内容、道德问题、错误和幻觉，使用 Elastic AI Assistant 检测提示注入攻击，评估 LLM 响应，并使用内置防护措施支持跟踪策略。

  • 可预测的 AI 成本跟踪

    按模型、查询和令牌消耗量细分使用情况。发现文本、图像和视频模型中的成本异常，例如昂贵的提示和低效的 API 调用，以保持支出的可预测性和优化。

从库到模型，我们都能满足您的需求

Elastic 可为 AI 应用提供端到端的可见性，与流行的跟踪库集成，并提供对所有主要 LLM 提供商（包括 GPT-4o、Mistral、LLaMA、Anthropic、Cohere 和 DALL·E）模型的开箱即用的见解。

仪表板图库

适用于您的 AI 应用的集成和功能

跟踪每个模型的性能、安全性和支出。

适用于 Elastic Observability 的 Amazon Bedrock 集成提供了对 Amazon Bedrock LLM 性能、使用情况和安全性的全面可见性，包括来自 Anthropic、Mistral 和 Cohere 的模型。

面向 AI 应用和代理工作流的端到端跟踪和调试

使用 Elastic APM 通过 OpenTelemetry 分析和调试 AI 应用，通过面向 Python、Java 和 Node.js 的 Elastic Distributions of OpenTelemetry (EDOT) 以及 LangTrace、OpenLIT 和 OpenLLMetry 等第三方跟踪库对该功能提供支持。

欢迎亲自试用 Elastic 聊天机器人 RAG 应用！

这个示例应用结合了 Elasticsearch、LangChain 和各种 LLM，通过 ELSER 和您的私有数据为聊天机器人提供支持。

引领可观测的未来

了解 Elastic 为何在 2025 年度《Gartner® 可观测性平台 Magic Quadrant™》中获评“领导者”。

获取报告