可微分编程

多数可微分编程框架是通过构造包含程序中的控制流和数据结构的图来进行工作的[5]。早期的尝试一般可归入两组之中：

• 基于静态、编译图的方式，比如TensorFlow[note 1]、Theano和MXNet。它们意图允许良好的编译器优化并易于伸缩成大系统，但是它们的静态本质，限制了交互性，和可以容易建立的程序类型（就是涉及循环或递归的那些程序），还有使得用户难于针对他们的程序进行有效的推理[5][6][7]。

• 基于运算符重载、动态图的方式，比如PyTorch和NumPy的AutoGrad。它们的动态和交互本质，使得多数程序可以更容易的书写和推理。但是它们导致了解释器开销（特别是在包含很多小运算的时候），较弱的可伸缩性，费力于从编译器优化中获益[6][7][4]。

这些早期方式都只能微分以适合于这些框架的风格书写的代码，限制了同其他程序的互操作性。

更新近的包如Julia编程语言的Zygote，Swift编程语言的Swift for TensorFlow，和新的编程语言Myia，通过将编程语言的语法当作图来处理，解决了早期尝试面对的问题。任意代码的中间表示可以直接的微分、优化和编译[5][8][6]。

可微分编程已经应用于多个领域，比如在机器人学中结合深度学习和物理引擎，可微分光线追踪，图像处理和概率编程[9][10][11][12][4]。

• 机器学习