【机器学习周志华】专业课考试重点笔记-含试题及答案

【机器学习周志华】专业课考试重点笔记-含试题及答案 本次复习聚焦于周志华的《机器学习》教材，旨在帮助同学高效备考专业课考试。核心内容将围绕以下几个关键模块展开： 1. 监督学习： 重点掌握支持向量机(SVM)的原理与应用，包括核函数的选择以及线性可分平面与非线性可分平面。理解线性回归和逻辑回归，注重模型参数的估计与正则化方法，如L1和L2正则化。 掌握决策树的构建方法，理解信息增益和基尼系数的计算，并熟悉剪枝算法，防止过拟合。 2. 无监督学习： 深入理解聚类算法，如K-means算法的收敛性与影响因素，以及其他聚类方法如层次聚类。重点掌握降维方法，如主成分分析(PCA)及其在特征提取中的作用。 3. 模型评估与选择： 熟悉交叉验证方法，如K折交叉验证，以及准确率、召回率、F1值等评估指标的计算与应用。 理解过拟合与欠拟合的概念，以及如何通过调整模型复杂度、增加数据量或选择合适的模型来改善模型性能。 试题示例： 问题1： 什么是正则化？ 常见的正则化方法有哪些？ 它们的作用是什么？ 答案： 正则化是一种在机器学习模型训练过程中，为了避免过拟合而添加的约束。常见的正则化方法包括L1正则化（Lasso）和L2正则化（Ridge）。 L1正则化能够使模型中某些特征的系数变为0，从而进行特征选择； L2正则化则能够降低模型中所有特征的系数，减少模型的复杂度。 问题2： 解释K-means算法的收敛性，以及导致收敛失败的可能原因。 答案： K-means算法的收敛性取决于初始聚类中心的选取。 算法通过迭代更新每个样本到最近簇中心的距离来优化簇中心。 初始簇中心的位置过于集中，或初始样本划分过于不均匀，都可能导致算法无法收敛，甚至进入循环迭代。 问题3： 请简述支持向量机(SVM)的基本思想。 答案： SVM的基本思想是找到一个能够最大化间隔的超平面来划分数据点， 从而实现分类或回归。 这个超平面的确切位置由支持向量决定。 核心在于通过核函数将原始数据映射到高维空间，使得线性可分问题可以转化为非线性可分问题。 以上为本次复习的重点内容，请同学务必熟练掌握，并结合例题进行练习，以确保考试顺利。 展开