Everything about
「Paper」

  1. 闲聊Activation Functions

    最近学习突然想到一些基本的问题，比如“为什么有那么多的激活函数？”，“这些激活函数背后的原理分别是什么？”，以及“什么时候用哪个激活函数效果更好？或者更能达到我们预期想要的结果。” “激活函数里面都是硬核的数学知识吗？”针对这些问题，重新把激活函数相关的内容学习了一下。
    希望本文也可以帮助到对上面这些问题感到困惑、想不全、有些地方不太理解的小伙伴。
    on Machine Learning

  2. ~"圣徒的几日游"

    世界上有两件东西能够深深地震撼人们的心灵，一件是我们心中崇高的道德准则，另一件是我们头顶上灿烂的星空。
    on Fragments

  3. Inceptions

    基础分类网络的两大杰出网络，一是ResNet，第二则是本文要说的Inception。Inception从最初的GoogLeNet到inception v4,inception resnet，探究了通过将模型变得更深、更宽是否能变得更加高效。
    on Paper

  4. VALSE 2019

    初次体验研讨会，感觉其意义大致在于拓宽视界、开拓思路、结交同行，附带有一些大大小小的企业在招聘，可谓是领域学术界和工业界的一次「盛会」了。简单回顾一下。
    on Activity

  5. PyTorch: Restrict range of variable or gradient during gradient descent

    一般来说，我们对卷积或者全连接层的weights是没有限制的，但是如果我们自定义层的话，有可能会需要对权重或者梯度值进行限制。
    on Machine Learning

  6. 1x1卷积的作用

    我们在ResNet深层结构以及Inception中都见过1x1卷积层，或者说bottleneck layer，为什么我们会需要1x1的卷积核呢？
    总的来说1x1卷积可以用作升降维度、减少参数量和计算量、增加非线性特征的作用。
    on Machine Learning