使用函数计算三步实现深度学习 AI 推理在线服务

目前深度学习应用广发， 其中 AI 推理的在线服务是其中一个重要的可落地的应用场景。本文将为大家介绍使用函数计算部署深度学习 AI 推理的最佳实践,  其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估， 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。

1.1 DEMO 概述

通过上传一个猫或者狗的照片， 识别出这个照片里面的动物是猫还是狗

• DEMO 示例效果入口： http://sz.mofangdegisn.cn
• DEMO 示例工程地址： https://github.com/awesome-fc/cat-dog-classify

开通服务

免费开通函数计算， 按量付费，函数计算有很大的免费额度。

免费开通文件存储服务NAS， 按量付费

1.2 解决方案

如上图所示， 当多个用户通过对外提供的 url 访问推理服务时候，每秒的请求几百上千都没有关系， 函数计算平台会自动伸缩， 提供足够的执行实例来响应用户的请求， 同时函数计算提供了完善的监控设施来监控您的函数运行情况。

1.3. Serverless 方案与传统自建服务方案对比 1.3.1 卓越的工程效率  自建服务函数计算 Serverless基础设施需要用户采购和管理无开发效率除了必要的业务逻辑开发,需要自己建立相同线上运行环境， 包括相关软件的安装、服务配置、安全更新等一系列问题只需要专注业务逻辑的开发, 配合 FUN 工具一键资源编排和部署学习上手成本可能使用 K8S 或弹性伸缩( ESS )，需要了解更多的产品、名词和参数的意义会编写对应的语言的函数代码即可 1.3.2 弹性伸缩免运维  自建服务函数计算 Serverless弹性高可用需要自建负载均衡 (SLB)，弹性伸缩，扩容缩容速度较 FC 慢FC系统固有毫秒级别弹性伸缩，快速实现底层扩容以应对峰值压力，免运维监控报警查询ECS 级别的 metrics提供更细粒度的函数执行情况，每次访问函数执行的 latency 和日志等， 更加完善的报警监控机制 1.3.3 更低的成本

• 函数计算 (FC) 固有自动伸缩和负载均衡功能，用户不需要购买负载均衡 (SLB) 和弹性伸缩。
• 具有明显波峰波谷的用户访问场景(比如只有部分时间段有请求，其他时间甚至没有请求)，选择按需付费，只需为实际使用的计算资源付费。

对于明显波峰波谷或者稀疏调用具有低成本优势， 同时还保持了弹性能力，以后业务规模做大以后并没有技术切换成本，同时财务成本增长配合预付费也能保持平滑。

• 部分请求持续平稳的场景下,可以配合预付费解决按需付费较高单价问题。函数计算成本优化最佳实践文档。

假设有一个在线计算服务，由于是CPU 密集型计算， 因此在这里我们将平均 CPU 利用率作为核心参考指标对成本，以一个月为周期，10台 C5 ECS 的总计算力为例，总的计算量约为 30% 场景下， 各解决方案 CPU 资源利用率使用情况示意图大致如下:

由上图预估出如下计费模型：

• 函数计算预付费 3CU 一个月: 246.27 元， 计算能力等价于 ECS 计算型 C5
• ECS 计算型 C5 (2vCPU,4GB)+云盘: 包月219 元，按量: 446.4 元
• 包月10 Mbps 的 SLB: 526.52 元(这里做了一定的流量假设)， 弹性伸缩免费
• 饱和使用下，函数计算按量付费的一台机器成本约为按量付费 C5 ECS 的2 倍

 平均CPU利用率计算费用SLB总计函数计算组合付费>=80%738+X（246.27*3+X）无