By BarryZed

概论

损失函数

课上推导（两个偏导）

两个圈中=0，左侧w与有下w相等

线性回归

目的

右上第二行应为1234减 导致-7.5为错误答案

1. 骨架

2. ML(Machine Learning)↔ 统计

3. 标准框架：特征→模型→损失函数→优化（梯度下降）→评估(越大越好）

4. 可解释性强

5. 基准

6. 有最完善的理论支持

代码

1. 读数据，规范数据格式

2. 特征归一化（Normalize）
特征标准化 = （X - 均值）/标准差
• 均值：np.mean(X, axis=0)
• 标准差：np.std(X, axis=0)
（axis=0 指按列求）

3. 线性预测函数
：np.matmul(X, W) + bias
matmul ：matrix multiplication（@）

4. 损失函数
• np.sum() 可以直接算和（当用就行）

5. 梯度下降
• grad_w
• grad_bais
• alpha ：学习率
• W = W - alpha * grad_w bias = bias - alpha * grad_b

6. 训练函数
• ite 指学习轮数（iteration，迭代次数）
1. 先给初始值
W = np.random.randn(n, 1) * 0.01 给W 一个随机值，*0.01 防止过大
b = 0.1
alpha = 0.01
2. 声明costs 来记录每次的损失，来确定学习率是否合适
3. 开始循环
1. 先保存当前cost
2. 进行(5)的梯度下降更新W, bais

手算

• 向量（一步一步算）

• 正规方程解（一步到位最优解）

逻辑回归

“你有多像那一边？”（probability matters）——ChatGPT

二分类

目的

Sigmoid函数

//交叉熵损失（Cross Entropy Loss）

梯度下降

• grad_w

• grad_b

• 更新
• alpha ：学习率
• W = W - alpha * grad_w b = b - alpha * grad_b

• 更新时不把变为0或1，保留原始值，只有最后与测试再变

手算

感知机

“你在哪边？”（only side matters）——ChatGPT

二分类

手算

• 某一轮指完全走一遍
例子（4个数）
• 第一个数错误：更新w1, b1
• 用w1, b1分第二个数，正确
• 用w1, b1分第三个数，错误，更新w2, b2
• 用w2, b2分第四个数，错误，更新w3, b3
→此时w3, b3则是第一轮的结果
 

Fisher线性判别分析(Linear Discriminant Analysis, LDA)

代码

1. 分类
class1, class2 = np.unique(x) ：把数组 x 里“所有不重复的值”提取出来，并排序返回
按照返回值将原数据X 分到X1， X2 中

2. 计算类均值
找到class1, class2 的中心m1, m2 (m1 = np.mean(X1, axis=0))

3. 计算散度矩阵和类内散度
1. 散度矩阵：衡量“两个类别中心有多远”，越远越好
这里是外积(m_diff = m2 - m1; S_b = np.outer(m_diff, m_diff.T))，公式为：
2. 类内散度：类别内部“散不散”，越近越好
1. 先按类算出每类的散度
S1 = np.dot((X1 - m1), (X1 - m1).T)
2. 全部相加得出

4. 找最优方向
• 再归一化：w = w / np.linalg.norm(w)
原因：只关心方向，不关心长度
（w可以理解为是一个多维坐标，与原点连线就能确定一个方向；长短没啥用）

5. 投影后均值

6. 预测函数
1. 算点的投影：proj = np.dot(w.T, x)
2. 比较绝对值，分类