若需预测离散值，此类学习任务称为分类；若需预测连续值，此类学习任务称为回归。
学得模型后，使用其进行预测的过程称为测试，被预测的样本称为测试样本。
根据训练数据是否拥有标记信息，学习任务可大致分为：监督学习和无监督学习，分类和回归是前者的代表，聚类是后者的代表。
学得模型适用于新样本的能力，称为“泛化”能力。
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。“奥卡姆剃刀”认为：若有多个假设与观察一致，则选择最简单的那个。
NFL（No Free Lunch Theorem）没有免费午餐定理，表明：无论学习算法a多聪明、学习算法b多笨拙，它们的期望性能相同。但是有一个前提：所以问题的出现机会相同、或所有问题同等重要。NFL定理的重要寓意，让我们清楚地认识到，脱离具体的问题，空泛地谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有学习算法都一样好。