mirror of
https://github.com/openmlsys/openmlsys-zh.git
synced 2026-02-06 11:53:29 +08:00
396487e6b5
* update chapter 3 * update chapter 3 Co-authored-by: Jiarong Han <73918561+hanjr92@users.noreply.github.com> Co-authored-by: Dalong <39682259+eedalong@users.noreply.github.com>
1.3 KiB
1.3 KiB
总结
-
为了兼顾编程的灵活性和计算的高效性，设计了基于计算图的深度学习框架。
-
计算图的基本数据结构是张量，基本运算单元是算子。
-
计算图可以表示机器学习模型的计算逻辑和状态，利用计算图分析图结构并进行优化。
-
计算图是一个有向无环图，图中算子间可以存在直接依赖和间接依赖关系，或者相互关系独立，但不可以出现循环依赖关系。
-
可以利用控制流来改变数据在计算图中的流向，常用的控制流包括条件控制和循环控制。
-
计算图的生成可以分为静态生成和动态生成两种方式。
-
静态图计算效率高，内存使用效率高，但调试性能较差，可以直接用于模型部署。
-
动态图提供灵活的可编程性和可调试性，可实时得到计算结果，在模型调优与算法改进迭代方面具有优势。
-
利用计算图和算子间依赖关系可以进行模型中的算子执行调度问题。
-
根据计算图可以找到相互独立的算子进行并发调度，提高计算的并行性。而存在依赖关系的算子则必须依次调度执行。
-
计算图的训练任务可以使用同步或者异步机制，异步能够有效提高硬件使用率，缩短训练时间。