mirror of
https://github.com/openmlsys/openmlsys-zh.git
synced 2026-02-10 05:35:08 +08:00
27 lines
1.1 KiB
Markdown
27 lines
1.1 KiB
Markdown
# 模型部署
|
|
|
|
在前面的章节中，我们讲述了机器学习模型训练系统的基本组成,这一章节我们将讲述模型部署的相关知识。模型部署是将训练好的模型部署到运行环境中进行推理的过程，模型部署的过程中需要解决训练模型到推理模型的转换，硬件资源对模型的限制，模型推理的时延、功耗、内存占用等指标对整个系统的影响以及模型的安全等一系列的问题。
|
|
|
|
本章将主要介绍机器学习模型部署的主要流程，包括训练模型到推理模型的转换、适应硬件限制的模型压缩技术、模型推理及性能优化以及模型的安全保护，最后我们会给出一个模型部署端到端的实践用例。
|
|
|
|
本章的学习目标包括：
|
|
|
|
- 了解训练模型到推理模型转换及优化
|
|
|
|
- 掌握模型压缩的常用方法：量化、稀疏和知识蒸馏
|
|
|
|
- 掌握模型推理的流程及常用的性能优化的技术
|
|
|
|
- 了解模型安全保护的常用方法
|
|
|
|
|
|
```toc
|
|
:maxdepth: 2
|
|
|
|
model_deployment_introduction
|
|
model_converter_and_optimizer
|
|
model_compression
|
|
model_inference
|
|
model_security
|
|
summary
|
|
``` |