Hinton 最新研究：神经网络的未来是前向-前向算法( 八 )

如果想让一个万亿参数神经网络只消耗几瓦特，非永生计算可能是唯一的选择。它的可行性取决于，我们能否找到一种可以在精确细节未知的硬件中高效运行的学习过程，在Hinton看来， FF算法就是一个很有前途的方案，只是它在扩展到大型神经网络时的表现还有待观察。
论文最后， Hinton指出了以下悬而未决的问题：
FF能否生成足够好的图像或视频生成模型来创建无监督学习所需要的负数据？
如果负向传递在睡眠期间完成，正向和负向传递能否可以在时间上非常广泛地区分开来？
如果负相位被消除了一段时间，其效果是否与严重睡眠剥夺的破坏性影响相似？
使用什么哪种goodness函数最好？本文在大多数实验中使用活动平方和，但最小化正数据的活动平方和和最大化负数据的活动平方和似乎效果稍好一些。
最好使用哪种激活函数？目前只研究了ReLU 。使激活成为t分布下密度的负对数是一种可能性。
对于空间数据， FF是否可以从图像不同区域的大量局部优化函数中获益？如果可行，就能加快学习速度。
对于顺序数据，是否可以使用快速权重来模拟简化的转换器?
一组试图最大化其平方活动的特征检测器和一组试图最小化其平方活动的约束违反检测器，能否支持FF？
更多内容，点击下方关注：mp-common-profile
文章图片
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
雷峰网