推理服务
Serving
Utenet-Serving推理服务平台是一款支撑模型自动发布与管理的推理平台，可充分结合机器学习模型发挥GPU 等计算资源效能，在最大限度降低推理计算延迟时间与模型部署复杂度方面发挥着关键作用。Serving推理平台支持用户从任何模型框架入手，在生产环境中快速优化、验证和部署经过训练的神经网络模型，帮助客户快速实现智能模型的落地应用
核心技术
CORE TECHNOLOGY
跨计算框架支持的模型交换协议技术
智能应用快速构建的服务编排技术
面向高并发事件的自动化扩容技术
服务部署资源自动分配与优化技术
产品优势
ADVANTAGE
全环节MLOps能力
推理平台能够与训练平台结合，提供覆盖全环节的MLOps能力，支持训练态与运行态数据处理环节的自动化切换
服务编排能力
支持基于模型资产库进行领域应用的服务编排，并能够完成推理服务一键发布
自动化扩容能力
自动寻找高并发应用服务，进行服务能力扩展，并能够自动化完成应用服务的负载均衡
领域学习能力
提供面向多种任务的向导式领域学习能力，可帮助用户快速训练领域应用模型
部署资源优化能力
支持根据不同的领域应用模型及服务特点，进行部署资源的实时调度与分配，最大化发挥计算资源价值
模型应用市场
支持根据不同的领域应用模型及服务特点，进行部署资源的实时调度与分配，最大化发挥计算资源价值
客户案例
CASES