阿里云人工智能平台 PAI新功能/规格：EAS新推LLM智能路由

LLM 智能路由能够显著提高推理系统的资源利用率，助力客户实现成本优化与效能提升。

适用客户

适用于基于 EAS 构建 LLM 驱动的应用和服务的客户，例如智能客服、内容生成、语言翻译等。对于需要高效且稳定处理大量用户请求的场景，LLM 智能路由能够帮助客户提升系统吞吐量并降低延迟。

新增功能 / 规格

当客户部署 LLM 类型的 EAS 服务时，可以关联 LLM 智能路由，实现对请求的智能分发。这确保了后端实例处理的计算能力和显存资源分配更加均衡，从而提升了集群资源的整体利用率。

产品文档

更多详情，请参阅 LLM 智能路由提升推理效率。

查看详细

了解更多信息，请访问 人工智能平台 PAI。