https://zhangzhao219.github.io/2022/12/11/pattern-recognition-and-machine-learning-final/

[giscus[bot]]

https://zhangzhao219.github.io/2022/12/11/pattern-recognition-and-machine-learning-final/

《模式识别与机器学习》期末复习

https://zhangzhao219.github.io/2022/12/11/pattern-recognition-and-machine-learning-final/

[Ming-er]

SVM 里求解优化极值时，你说的“由图易知”是指的直接看出来哪些是支持向量？（还可以这样 qwq？考试的时候感觉得编编步骤吧）

[zhangzhao219]

“由式解得”

[zhangzhao219]

确定不考了

[Ming-er]

有个疑问，2019-2020年的 SVM 为什么 $\alpha_1 = 0$，但是它又是支持向量呢？

[zhangzhao219]

是个问题，目前不确定怎么答题

[Ming-er]

KL变换与PCA的区别是什么呢？

[Ming-er]

一个是自相关矩阵一个是协方差矩阵？

[zhangzhao219]

一般都是要减均值的所以都是协方差矩阵吧？
都是无监督的算法，应该没有区别

[Ming-er]

箭头指向的两步推导为啥不直接用 $z_i = W^\top x_i$ 对 $z_i^\top W^\top x_i$ 用结合律先算后两项，从而一步推导过去，还要中间那么多步骤

[Ming-er]

感知机算法的更新过程为什么“迭代时要一正一负进行更新”？

[zhangzhao219]

一正一负他不快嘛

[Ming-er]

还有这说法，确实快，有什么理论证明或者直觉上的理解吗？

[zhangzhao219]

假如4正4负的顺序，初始不满足>0，通过正1更新了一下。
这个更新后的超平面肯定是满足正1的，同时在超平面上正在一侧，负在另外一侧（肯定线性可分），那么调正1的时候说不定就把正 2 3 4都调好了（想象距离负点最近的点是正1）
因此算正2 3 4都会满足要求（上面的想象，对于正点最难分的就是正1，正1分好了 2 3 4肯定就都好了）
但是这个超平面很可能就在负点中间，毕竟就通过正1调了一下，说不定所有点都在超平面的一侧呢
下一个点看负1，大概率不满足要求，更新了一下，可能就和前面的正点类似。
最坏情况八个点算一遍，可能只有两个点不满足>0的要求，更新了两次，但是离全部分好还差很远。（另外6个点根本没看）
因此一正一负的顺序，让他在第一轮就不断更新，把所有点都看一遍，第二轮可能就简单调节一下就满足要求了
其实就是减少了判断部分的计算量，实际更新的计算量估计差不多？

[Ming-er]

You may well have a point there

[Ming-er]

对于 LDA （也称 Fisher 判别分析），我们是否只讲述了权向量的求法？关于我下面的问题我们是否不需要了解？
如果新来了一个样本 x，应该怎样对其分类呢？显然按照距离降维后各类均值的距离来分类是不合理的，因为可能有的类样本点分布更宽一些，得有一个公式同时考虑均值和方差的影响。

[zhangzhao219]

我感觉求权向量都不太能考吧。。。

[Ming-er]

关于马尔可夫毯：
有向图：一个节点的 MB 是其子节点、父节点及其子节点的父节点
无向图：一个节点的 MB 是所有与其直接相连的节点
是这样吗？

[zhangzhao219]

我认为是的

[Ming-er]

关于贝叶斯中的正态分布，周晓飞课程中提到了两种情形：

1. 朴素贝叶斯，第 $i$ 个特征的条件概率 $p(x_i|c)$ 为离散值，服从正态分布，见“西瓜”例子；
2. 高斯贝叶斯，其中 $p(x|c)$ 服从多元高斯分布，$x$ 代表所有特征的联合；
   所以，1. 是否应该是 2. 的特例（当 2. 中的协方差矩阵为对角阵）？

[zhangzhao219]

我的理解：朴素贝叶斯指的是相互独立，高斯贝叶斯指的是正态分布，我们做的高斯贝叶斯题目一般都是高斯朴素贝叶斯，就比如模式识别那个巨多推导的作业，似乎推的就是这个
你的意思应该是正确的

[Ming-er]

“正态分布模式的贝叶斯分类器”下的 2016-2017年考题的推导中，
其中 $x^\top \Sigma^{-1}_{i} x$ 并非类别无关的常量，当且仅当各类的协方差矩阵相等时是类别无关的常量，此时决策面是直线，一个不相等的例子可参考周晓飞第2章练习题第四题，此时的决策面是曲线

[zhangzhao219]

对的，这个推导简化了很多东西，也包括先验概率之类的也都没考虑
后面再补充一下

[zhangzhao219]

确定不考了

[Ming-er]

对于《机器学习》题库单选题的疑问：
19. “阈值”指的是什么？
67. 与多选题 21. 是否矛盾？
69. 神经元不应该是多输入单输出吗？
72. C 选项 KNN 的可解释性不错吧？
85. C 选项 IID（独立同分布）不是机器学习的基本假设吗？D 选项分类原因不透明指的是可解释性不强？但是决策树这种可解释性不错吧？

[zhangzhao219]

19.C值
67.是的，感觉按照多选题为准吧
69.他的意思是不是连接到后面的多个神经元就说是多个输出？
72.网上有这样一句话：”相比决策树模型，KNN模型可解释性不强“
85.IID是基本假设，但是是我们的假设，就是我们假设我们的数据是IID的，但是实际上并不是也基本不可能是，所以C不能这样说。至于D，有下面的资料：
https://www.cnblogs.com/boost/p/14166909.html

[zhangzhao219]

对比六 ： 不透明 vs 可解释性
由于有监督算法最后输出的一个结果，或者说标签。yes or no，一定是会有一个倾向。但是，如果你想探究为什么这样，有监督会告诉你：因为我们给每个字段乘以了一个参数列[w1, w2, w3…wn]。你继续追问：为什么是这个参数列？为什么第一个字段乘以了0.01而不是0.02？有监督会告诉你：这是我自己学习计算的！然后，就拒绝再回答你的任何问题。是的，有监督算法的分类原因是不具有可解释性的，或者说，是不透明的，因为这些规则都是通过人为建模得出，及其并不能自行产生规则。所以，对于像反洗钱这种需要明确规则的场景，就很难应用。而无监督的聚类方式通常是有很好的解释性的，你问无监督，为什么把他们分成一类？无监督会告诉你，他们有多少特征有多少的一致性，所以才被聚成一组。你恍然大悟，原来如此！于是，进一步可以讲这个特征组总结成规则。如此这般分析，聚类原因便昭然若揭了。

[Ming-er]

对于《机器学习》题库多选题的疑问：
2. D 选项，许多聚类算法都是增量学习的，如流 KMeans、BIRCH 等，为什么增量学习错误呢？
8. D 选项，类似于 IsoMap 等非线性降维方法可以将数据降至低维空间的同时保持其在高维空间中的测地相对距离，因此降维后点之间的近邻关系是几乎不变的，但是维度却减少了，计算数据点间相似度变快了，为什么不可行呢？
13. A 选项，一个结点可以称为团吗？
15. A 选项，线性回归属于分类？
23. D 选项，RBM 不是只有两层结构吗，属于深度学习？不应该是 DBM 吗？
33. A 选项，获取更多的训练数据也可以缓解欠拟合吧？（个人感觉如果数据量极少的情况下是缓解欠拟合）

[zhangzhao219]

2.8. 应该是你想太复杂了
13. 不知道单个节点算不算
15. 应该不属于
23. 当然算深度学习，有说法两层不算深度学习吗？
33. 这个前面也都有好多题目，增加数据量不能缓解欠拟合，是缓解过拟合的手段。因为数据是同分布的，模型欠拟合是模型的问题，增加再多的数据模型看来和前面的数据是一样的，欠拟合是说明特征提取的不好

[Ming-er]

PRML 选择题
21-22
B C B B A C C BC C B
19-20
B A B B C A C A

[zhangzhao219]

19-20 6 为什么不选fine-tune呢