周志华《机器学习》笔记

机器学习：
不显式编程地赋予计算机能力的研究领域

归纳偏好

对于一组训练数据，可以得到无数种数学模型；
比如下图中一组训练数据（黑点），A曲线和B曲线都是可能表述的数学模型，
很难说哪一种才是正确的，而对一个算法来说，归纳成A曲线还是B曲线，是有它自己的偏好和原则的

比如“奥卡姆剃刀”就是其中一种常用、基本的原则
即：若有多个假设与观察一致，则选最简单的那个
显然根据该原则，A曲线要更优于B曲线，但也并不代表A曲线就更接近实际

• “没有免费的午餐”定理
  若所有“问题”出现的机会相同、所有“问题”同等重要，那么所有的学习算法的期望性能都是相同的，哪怕是一个随机瞎猜的算法
  因此，脱离具体问题讨论“什么学习算法最好”毫无意义，没有最好的学习算法，只是最适合的学习算法