前言概述
本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估， 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。
1.1 DEMO 概述
通过上传一个猫或者狗的照片， 识别出这个照片里面的动物是猫还是狗
- DEMO 示例效果入口： http://sz.mofangdegisn.cn
- DEMO 示例工程地址： https://github.com/awesome-fc/cat-dog-classify
1.2 解决方案
如上图所示， 当多个用户通过对外提供的 url 访问推理服务时候，每秒的请求几百上千都没有关系， 函数计算平台会自动伸缩， 提供足够的执行实例来响应用户的请求， 同时函数计算提供了完善的监控设施来监控您的函数运行情况。
1.3. Serverless 方案与传统自建服务方案对比
1.3.1 卓越的工程效率
| 自建服务 | 函数计算 Serverless | |
|---|---|---|
| 基础设施 | 需要用户采购和管理 | 无 |
| 开发效率 | 除了必要的业务逻辑开发,需要自己建立相同线上运行环境， 包括相关软件的安装、服务配置、安全更新等一系列问题 | 只需要专注业务逻辑的开发, 配合 FUN 工具一键资源编排和部署 |
| 学习上手成本 | 可能使用 K8S 或弹性伸缩( ESS )，需要了解更多的产品、名词和参数的意义 | 会编写对应的语言的函数代码即可 |
1.3.2 弹性伸缩免运维
| 自建服务 | 函数计算 Serverless | |
|---|---|---|
| 弹性高可用 | 需要自建负载均衡 (SLB)，弹性伸缩，扩容缩容速度较 FC 慢 | FC系统固有毫秒级别弹性伸缩，快速实现底层扩容以应对峰值压力，免运维 |
| 监控报警查询 | ECS 级别的 metrics | 提供更细粒度的函数执行情况，每次访问函数执行的 latency 和日志等， 更加完善的报警监控机制 |
1.3.3 更低的成本
- 函数计算 (FC) 固有自动伸缩和负载均衡功能，用户不需要购买负载均衡 (SLB) 和弹性伸缩。
- 具有明显波峰波谷的用户访问场景(比如只有部分时间段有请求，其他时间甚至没有请求)，选择按需付费，只需为实际使用的计算资源付费。
对于明显波峰波谷或者稀疏调用具有低成本优势， 同时还保持了弹性能力，以后业务规模做大以后并没有技术切换成本，同时财务成本增长配合预付费也能保持平滑。
- 部分请求持续平稳的场景下,可以配合预付费解决按需付费较高单价问题。函数计算成本优化最佳实践文档。
假设有一个在线计算服务，由于是CPU 密集型计算， 因此在这里我们将平均 CPU 利用率作为核心参考指标对成本，以一个月为周期，10台 C5 ECS 的总计算力为例，总的计算量约为 30% 场景下， 各解决方案 CPU 资源利用率使用情况示意图大致如下:
由上图预估出如下计费模型：
- 函数计算预付费 3CU 一个月: 246.27 元， 计算能力等价于 ECS 计算型 C5
- ECS 计算型 C5 (2vCPU,4GB)+云盘: 包月219 元，按量: 446.4 元
- 包月10 Mbps 的 SLB: 526.52 元(这里做了一定的流量假设)， 弹性伸缩免费
- 饱和使用下，函数计算按量付费的一台机器成本约为按量付费 C5 ECS 的2 倍
| 平均CPU利用率 | 计算费用 | SLB 总计 | ||
|---|---|---|---|---|
| 函数计算组合付费 | >=80% | 738+X（246.27*3+X） | 无 |
关注
打赏
查看更多评论
立即登录/注册
微信扫码登录 |
