1、机器学习核心逻辑
预测->计算损失->调整参数->重复
本质:人类设计学习方法、提供数据和目标,计算机通过数学计算自动调整参数,寻找能够降低误差的规律。
2、深度学习
深度学习通常使用神经网络,神经网络里面有大量参数和多层计算。每一层都进行一些数学计算,参数通过训练不断调整。
例如:输入→第一层→第二层→第三层→输出
即机器学习是一种“从数据学习规律”的思想和方法集合;深度学习是其中使用多层神经网络的一类方法。
3、基本概念
3.1、特征、标签、假设函数
3.2、参数与模型
模型就是函数,比如最简单的线性模型
3.3、损失函数 loss function
最常见的入门例子之一是均方误差(MSE,Mean Squared Error)
因为:
所以也可以写成:
机器学习训练的数学目标就是寻找合适的w和b,使损失函数尽可能小。
3.4、梯度下降
从当前参数出发,一步步向损失更低的方向移动,这就是梯度下降。
梯度下降核心公式:
为什么要减去梯度,因为梯度指向损失上升最快的方向,我们想让损失下降,所以要往相反方向走。
梯度告诉方向,学习率决定步子大小。
在训练深度学习模型时,学习率是非常重要的超参数(Hyperparameter)。
- 参数(Parameter):模型通过训练学习的,例如 w,bw,bw,b
- 超参数(Hyperparameter):训练过程开始前由人设置或通过实验选择的,例如学习率、批大小、训练轮数
3.5、过拟合(Overfitting)
过拟合指的是模型在训练数据上表现很好,但在未见过的新数据上表现较差。
所以机器学习真正想要的不是把训练数据记得越熟越好,而是能从训练数据中学习能够推广到新数据的规律。
这个能力叫做泛化(Generalization)。
泛化能力,就是模型在未见过但来自相同任务分布的新数据上表现良好的能力。这也是为什么机器学习不能只看训练集上的损失。
3.6、训练集、验证集、测试集
简单来说:
训练集用来学
验证集用来选
测试集用来考
4、线性回归(Linear Regression)
实例:预测学生成绩
4.1、准备数据
import numpy as np
# 输入:学习时间
X = np.array([1, 2, 3, 4, 5, 6], dtype=float)
# 标签:考试成绩
y = np.array([35, 45, 50, 60, 70, 75], dtype=float)在这里面X是特征,y是标签
X[0]=1,y[0]=35,表示学习1小时,实际成绩是35分。
4.2、初始化参数
w=0.0
b=0.0此时模型是:
也就是说,无论学习多少小时,模型一开始都预测结果为0,这当然很差,但是训练就是从一个初始状态开始调整参数。
4.3、定义模型
def predict(X, w, b):
return w * X + b对应数学公式:
4.4、定义损失函数
使用均方误差:
def mse(y_pred, y_true):
return np.mean((y_pred - y_true) ** 2)
#np.mean()函数用来计算平均值
#x ** 2 就表示 x的平方对应:
4.5、推导梯度
接下来真正进入机器学习数学
模型:
损失:
我们需要知道:
- 如果调整 w,损失会怎么变化?
- 如果调整 b,损失会怎么变化?
所以要分别求偏导
对w求偏导:
告诉我们w应该往哪个方向调整
对b求偏导:
告诉我们b应该往哪个方向调整
然后使用梯度下降:
4.6、线性回归完整流程
训练数据
↓
┌───────────┐
│ 线性模型 │
│ ŷ = wx+b │
└─────┬─────┘
↓
前向计算
↓
ŷ预测
↓
计算 MSE Loss
↓
计算梯度
↙ ↘
∂L/∂w ∂L/∂b
↘ ↙
更新 w、b
↓
再次预测
↓
……
5、分类
5.1、回归与分类
例如:
回归通常用来预测具体成绩
而分类用于是否及格
如果直接使用线性回归拿来做分类,那么预测结果可能是一堆具体的值,而分类通常希望得到一个比较容易解释的范围,例如01,于是我们需要一个新的函数,把任意数字压缩到01:
由此引出Sigmoid函数:
于是分类模型变成:
这就是下一步要学习的逻辑回归(Logistic Regression),然后名字里有回归,但主要用于分类。
如果只有两个类别0,1就叫二分类(Binary Classification)
5.2、思路
1、最直接的想法:还是使用线性模型,由于线性模型输出的太过杂乱,我们希望模型输出一个类似0.0~1.0之间的数字。
2、为什么要0~1,我们可以把它理解成模型对属于1类的信心程度。可以规定0.5作为分类阈值。
3、所以我们需要Sigmoid函数把任意的 z 转换成0~1之间的数字。 Sigmoid函数
4、所以最终的分类模型就会变成
5.3、决策边界
由于Sigmoid函数有一个非常漂亮的性质:
所以
实际上就是分类的分界线。 这条分界线就叫做决策边界(Decision Boundary)。
5.4、交叉熵损失
线性回归模型可以通过损失函数MSE来回答本次模型预测的结果,但逻辑回归(分类) 使用MSE并不是最合适的选择,所以我们通常使用交叉熵损失(Cross-Entropy Loss)。
交叉熵:
例如:
当真实答案y=1时:
看看不同预测:
| 预测 | Loss |
|---|---|
| 0.9 | ≈0.105 |
| 0.7 | ≈0.357 |
| 0.5 | ≈0.693 |
| 0.1 | ≈2.303 |
| 0.01 | ≈4.605 |
| 你会发现: |
当真实答案是 1 时,你预测得越接近 1,损失越小。
同理
真实答案是 0 时,你预测得越接近 0,损失越小。
故交叉熵是一种专门衡量“预测概率分布和真实类别之间差距”的损失函数。
模型对正确答案越自信,Loss 越小;对错误答案越自信,Loss 越大。
5.5、逻辑回归完整流程
输入 x
↓
线性计算 wx+b
↓
得到 z
↓
Sigmoid σ(z)
↓
得到预测概率 ŷ
↓
┌──────────────┐
│ 交叉熵 Loss │
└──────┬───────┘
↓
计算梯度
↓
更新 w、b
↓
重复