0)=1是个偏置单元,与线性回归中的零次项一致;”
“激活函数可以用Logistic/Sigmoid函数、tanh函数、ReLU函数等,用到激活函数的原因是如果不用的话,那么线性成分的叠加还是线性成分,整个神经网络依然是线性的,无法拟合非线性假设。”
“我们给每个神经元都套上非线性函数,就能够让网络真正的拟活,注意是拟活而不是激活,也就是说,现在我们构造的这个激活函数,其实是通过给线性单元套上非线性函数,用来拟合非常复杂的非线性运算的情况,也就是神经化。”
“于是机器就能够通过深度学习,识别出‘莫听穿林打叶声,何妨吟啸且徐行’;‘大明湖,明湖大,明湖上面有荷花,荷花上面有蛤蟆,一戳一蹦跶’,孰优孰劣了。”周至也学得十分认真。
“哈哈哈哈……”麦小苗不由得大笑了起来:“后面这首是谁写的?太有意思了……”
“一个军阀,山东王张宗昌,鲁迅先生曾经给他取过一个外号,叫‘三不知将军’,即不知道自己有多少兵,不知道自己有多少钱,不知道自己有多少姨太太。”
“哈哈哈……”麦小苗又被逗得忍不住笑了,按着自己的小肚子艰难地想憋笑:“要让机器达到这个水平还有点难,不过帮助我们的图形识别系统寻找匹配的边缘,应该比现在的程序效率……要高一些吧……”
“小苗你不用跟我打埋伏。”周至说道:“能提高多少效率其实我并没有抱多大的希望,就算资源多浪费一倍,效率减缓一倍,我们都可以接受,只要新的算法能够成功就行,因为这是思路的胜利,我们先解决可行不可行的问题,再解决效率提升的问题。”
麦小苗笑了,说回了模型上来:“我们接受输入的第一层为输入层,提供输出的最后一层为输出层,中间所有的层为隐藏层。”
“隐藏层越多、隐藏层神经元越多,神经网络就能拟合更复杂的情况,但是也更难训练。”