人工设计算法是主动实现自己的思路,而机器学习是让思路自己出现

人工设计算法是主动实现自己的思路,而机器学习是让思路自己出现 激活函数的根据是哺乳动物大脑感知信息时会对信息进行多层次传播和处理

高维诅咒:同样数量的样本集,每个样本的特征越多,数据维度越高,开销越高 规则学习(人工制定程序)->经典机器学习(人工提取特征)->深度学习(存在高维诅咒)->深度学习(降维之后)

back-propagation:反向传播 模型训练的本质是让模型模仿数据集,通过输出和输入的对应关系来评价模型训练的好坏,如果想要调整模型就需要拿到输出结果和输入信息之间的函数关系,涉及到输出结果y对输入信息x的导数;反向传播算法类似于链式求导法则,在正向的逐层计算传播的同时反向计算出导数,供下一层利用,最终层层传播利用可以得出最终结果和输入条件之间的导数关系

Tensor 运算会“感染”整个计算图 反向传播不是对所有变量求导，只对 requires_grad=True 的变量求导