论文笔记：
Rethinking ImageNet Pre-training
Take Home Message
- 不大幅度修改模型结构也可以在目标任务上随机初始化参数进行训练。
- 随机初始化参数训练需要更多的迭代次数来充分收敛。
- 随机初始化参数训练可以达到和预训练相匹配的模型性能，即使是只有10k的COCO数据作训练集。
- ImageNet的预训练加快了模型在新任务上的收敛速度。
- 排除数据集非常小的情况，ImageNet的预训练并不一定有助于减少过拟合现象的发生。
- 相较于分类，如果目标任务对定位更加敏感，那么ImageNet预训练对模型的帮助将变得更小。
Personal opinion
就这样的‘发现’而言，更多的是用实打实的验证过去几年里大家对于pre-train的一些直觉感受。
文末的Rethink：
第一点是对未来的展望，如果有更多的目标数据和计算资源，不要忘记了针对目标任务训练，ImageNet预训练并不是必须的。言外之意，就是第二点，当下缺少这两个条件，ImageNet预训练是有用的，可以帮助更快收敛，训练成本低。
第三点，与第一点还是呼应的，需要大数据，为未来的到来做积累量。
第四点比较有意思，追求通用的模型性能。所有的模型都是想要学到数据的通用特征表征。所以我们更需要注意评估预训练的特征，预训练学习到的特征是不是和目标任务相契合，如果不契合，用随机初始化可能得到比预训练更出色的表现。
当下还是先跟紧‘潮流’，先造好自己的小船。 所以AI+医学图像，目前Pretrain标配的现状什么时候能结束？ ：）