联盟赛事投注

        Skip to main content
         足球 > 英超 >

        历届英超冠军一览表

        2020-11-06 16:20 浏览:

          它的深度为5,包含2个卷积层和2个全连接层和1个Guassian connection。如下图:

          第2层是池化层,进行下采样。池化核[2x2],步长为2,因此输出为[14x14x6]。论文中提到的池化方法,类似卷积,用[2x2]权重和感受视野做内积运算,得到结果;既不是MAX池化,也是不AVERAGE池化。

          第3层是卷积层,共有16个卷积核,卷积核size[5x5]。通常卷积核depth和输入的depth相同,这里并不是。论文中定义了一个Connection Table,通过这个Table,可以看出每个卷积核和前一层那些feature map相连接。具体可以参考论文。之所以卷积核depth和输入depth不同,是因为1、non-complete连接可以减少参数个数;2、更紧要的是打破了对称结构。这样得到的输入后,不同的feature map提取了不同的特征,因为它们输入不同。得到的输出为[10x10x16]

          第4层是下采样层,和第二层的下采样类似。得到的输出为[5x5x16]。

          第5层是卷积层,卷积核[5x5],个数为[120],depth为[16];这样得到的输出为[1x1x120]。这样看来本质是一个全连接层,用卷积层是因为输入可能变大,这样得到的输出就不再是[1x1]了。

          第6层是全连接层,输出为大小为84。这一层输出经过了非线性函数sigmoid。

        历届英超冠军一览表

          第7层是输出层,它有欧式径向基函数(Euclidean Radial Basis Function)RBF组成,没类一个单元,包含84个输出。单元

          也就是,每个RBF单元计算输出向量和参数向量之间的欧式距离。和参数向量越远,输出越大;RBF的输出可以明白为衡量输入模式和RBF类别相关联模型之间的惩罚(匹配程度)。从概率角度看,RBF输出可以看做是和第6层输出的高斯分布的非负log-likelihood。给定一个输入,loss函数使得第6层输出和RBF参数向量足够接近。

          LeNet是最早的卷积神经网络结构,它的开创了神经网络基本结构CONV-POOL-非线性算子;在此之后,卷积神经网络寂静多年。

          上图采用了模型并行,网络分在了2个GPU中。AlexNet共有8个包含参数的层,其中5个卷积层,3个全连接层,最后一个全连接层后面是softmax层。具体网络结果不再赘述,总结一下AlexNet创新点:

        历届英超冠军一览表

          使用了ReLU非线性激活替代tanh和sigmod,加快了训练速度。因为训练网络使用梯度下降法,非饱和的非线性函数训练速度快于饱和的非线层网络准确率和迭代次数关系,使用数据为CIFAR-10:

          CNNs中的POOL层一般不会叠加,即步长大于等于池化核。但是AlexNet中,池化核的感受视野之间有叠加,例如池化核[3x3],步长却为2。

          使用了数据增加。为了减小过拟合。数据增加包孕:1、随机crop图像。2、改变图像RGB通道强度。

          使用了Dropout。也是为了减少过拟合。使用了Dropout后,每次前向/后向传播,葡超联赛积分榜网络结构都不相同;训练完成后,再把这些网络组合起来。使用了Dropout后,会增加训练时迭代的次数。

          AlexNet的意义在于,使得CNNs重新回到人们视野,再次掀起来对CNNs研究的热潮。

          ZFNet的意义不在于它获得了2013年ILSVRC的冠。