What should you know about the Batch Size

Recently I played with the batch size in my experiments. And I learned something new in this process: we should know more than......

单隐层BP神经网络的Python实现

上次我们谈了BP神经网络中反向传递的公式推导,这次就用Python来实现一个单隐层BP神经网络。

用BP神经网络建模的整个流程主要包括初始化模型和训练模型两部分。

初始化模型包括导入数据和根据样本的维度初始化参数;

训练模型包括以下两步:第一步,输入数据,正向计算得到隐藏层的输出Z和最终输出Y;第二步,反向传递,利用Y和Z更新参数;不断重复这两步,计算cost和正确率。在运行到设定......

基于交叉熵进行反向传递的推导和理解

这篇文本的主要内容是基于交叉熵代价函数 ( cross-entropy lose function) 的反向传递的公式推导以及一些自己的理解。因为在推导过程中遇到了许多问题,所以记录下来。一方面是总结,另一方面更希望帮助其他朋友绕过这些弯路。

交叉熵

交叉熵是两种分布间相似性的度量方式,定义如下。给定两个分布p, q,其交叉熵为: