理清神经网络中的数学知识雷锋网
雷锋网按：本文原作者AaronYang，原载于知乎专栏。雷锋网已获得作者授权。导读：首先我想在这里声明的是，本篇文章针对的是一些已经具备一定神经网络知识的人。意在帮助大家梳理神经网络中涉及的数学知识，以及理解其物理含义。希望大家读过之后，可以使大家对于神经网络有更多角度的理解，帮助大家推导以及理解其中的数学公式。1.线性代数矩阵乘以向量的物理含义矩阵乘法我更喜欢称作线性转换。一个矩阵乘以向量中，矩阵相当于一个转换函数，而向量是一个输入，已知了输入和函数，我们就可以知道输出。这里需要强调的是，向量共有两种形式，一种为列向量，一种为行向量。在默认情况下，向量是指列向量。大部分的国内教材中，并没有特意提到这一点。很多人接触到编写代码时，都是以行向量的形式开始学习，导致后续有很多概念产生混淆。在本文中，若无特殊说明，向量的形式默认为列向量。首先我们先看以下的2道热身题：1.假设读者并不知道矩阵乘法的运算准则，能否在假想的几何空间中，快速地反应出答案是多少呢？给大家30s。（记住，不可以通过运算法则来进行计算）2.同样地，利用假想的几何空间想象，是否可以立即解答出矩阵是什么？如果读者可以快速解答出上面的问题，那么恭喜您，您已经了解了线性代数空间转换的本质；如果没有解答出，那就是我写这篇文章的意义。先抛开上面两道题，这里来介绍一下矩阵。线性代数与空间几何是存在紧密的联系的。基本所有的线性代数都有其对应的几何表示方法。理解几何，是理解线性代数的核心所在。以二维空间作为例子，与是二维空间的单位基向量。任何的向量都是由这两个单位基向量线性组合而成，并表示出来，例如。现在，我们来看一张动图：更多动图的信息请
