“训练数据太少,参数太多,模型就会导致过拟合。”——这不就是“书读得少,但想太多”?
很多“认死理”就是这么来的,基于有限的经验做归纳,且归纳得极其正确,最后“类推”出的就是一系列离谱的结果。
有两个解决方向:1.训练数据不要太少(增加经验);2.参数不要太多(在做拟合的过程中,不要追求绝对正确,反而要有误差,但能够归纳出一种趋势)。
Dropout 算法还能给一个新的启示:在做拟合的过程中,适度关闭一些神经元(不要让所有经验都参与分析,不要追求百分百自洽),这样反复验证一些观点的时候就可以避免“背答案”,从而迫使自己更接近“原理”。
以上感悟来自于一次拟合(也可能是过拟合)。