1. 项目概述从“AI作业4”到无监督学习的实战探索最近在整理自己的学习笔记翻到了以前做的一个标记为“AI作业4”的项目文件夹。这个名字听起来很普通甚至有点学生气但它背后其实是一次对无监督学习核心思想从理论到实践的完整“趟坑”之旅。无监督学习作为人工智能领域里一个既迷人又充满挑战的分支它不像监督学习那样有明确的“老师”标签告诉你对错而是让模型自己去数据中“发现”规律和结构。这听起来很酷但实操起来从数据预处理、算法选择到结果评估每一步都可能让你怀疑人生。这个“作业”项目就是我当年试图用几个经典数据集亲手复现并理解K-Means聚类、DBSCAN密度聚类和主成分分析PCA降维等核心算法的记录。今天我就把这个“作业”的里里外外、踩过的坑和最终的心得当成一次完整的项目复盘分享出来希望能给正在入门或想深入理解无监督学习的朋友们一个实实在在的参考。2. 核心思路与方案选型为什么是这三个算法当我拿到这个“作业”时核心目标很明确不是简单地调用sklearn的几行代码跑出结果而是要深入理解不同无监督学习算法解决问题的内在逻辑、适用场景以及它们的局限性。因此在方案选型上我选择了三个最具代表性且互补的算法K-Means、DBSCAN和PCA。这个选择背后有清晰的逻辑链条。2.1 K-Means经典的距离划分艺术K-Means几乎是所有人学习聚类时的第一个算法。它的核心思想直观得惊人事先指定要将数据分成K个簇然后通过迭代让每个数据点到其所属簇中心的距离平方和最小。我选择它首先是因为它的“基础性”。理解K-Means就理解了基于“距离”和“中心点”的划分式聚类的基本范式。其次它的超参数少主要就是K值便于我们集中精力去研究“如何确定最佳簇数”这个核心问题。在项目中我用它来处理像鸢尾花Iris这类特征维度不高、簇形状近似球形且大小均匀的数据集效果非常直观能很好地演示“类内紧凑、类间分离”的理想聚类状态。2.2 DBSCAN基于密度的“抗噪”能手然而现实世界的数据很少像教科书例子那么规整。数据点可能分布成任意形状数据中必然混有噪声和离群点。这时K-Means就力不从心了因为它基于距离的划分会强行将非球形簇撕裂并把噪声点归入某个簇污染结果。DBSCANDensity-Based Spatial Clustering of Applications with Noise就是为了解决这些问题而生的。它不需要预先指定簇的个数而是基于“高密度区域”和“低密度区域”的划分来发现任意形状的簇并能明确识别出噪声点。在项目中我特意用了一个包含月牙形、环形分布以及明显离群点的合成数据集来“挑战”DBSCAN。通过调整核心参数——邻域半径eps和最小样本数min_samples可以清晰地看到算法如何捕捉数据的真实分布这对于理解现实场景如异常检测、地理信息聚类至关重要。2.3 PCA降维与可视化的利器无监督学习不止于聚类降维是另一个核心任务。当数据维度成百上千时“维度灾难”我们难以直观理解很多算法也会效率低下。主成分分析PCA通过线性变换将原始特征转换到一组新的、彼此不相关的坐标轴上主成分并按方差大小排序。保留前几个方差最大的主成分就能在尽可能保留信息的前提下降低维度。在项目中我将PCA用于两个目的一是作为数据预处理步骤对高维数据降维后再进行聚类以提升效率和稳定性二是作为可视化工具将多维数据投影到二维平面让我们能用肉眼观察K-Means或DBSCAN的聚类效果。这相当于给高维数据戴上了一副“特制的眼镜”是理解复杂数据分布不可或缺的一步。注意这个算法组合并非万能。它们都属于传统机器学习范畴对于处理超高维、非结构化数据如图像、文本会显得吃力。但在入门和掌握核心思想上它们构成了一个非常坚实的三角支架K-Means教你划分DBSCAN教你发现PCA教你看清。3. 实战环境搭建与核心工具解析工欲善其事必先利其器。一个稳定、可复现的环境是进行任何数据科学项目的基础。我不推荐初学者一开始就追求最炫酷的框架或最复杂的部署从最经典、最成熟的工具链入手能让你更专注于算法本身。3.1 Python与Anaconda数据科学的起跑线我的整个项目基于Python 3.8环境。对于新手我强烈建议直接安装Anaconda发行版。它不仅仅是一个Python解释器更是一个集成了包管理conda和环境管理的平台。为什么是Anaconda首先它预装了数百个数据科学相关的库如NumPy, Pandas, Matplotlib省去了你一个个手动安装的麻烦。其次它的环境管理功能是“救命稻草”。你可以为这个“AI作业4”项目创建一个独立的虚拟环境例如命名为unsupervised_learning在这个环境里安装特定版本的库完全不会干扰你系统里或其他项目的Python环境。项目做完环境一删干干净净。3.2 核心库“四件套”在这个独立的环境中我们需要安装几个核心库它们构成了项目代码的骨架NumPy Pandas数据处理的基石。NumPy提供高效的数组运算Pandas的DataFrame则是操作表格数据的“瑞士军刀”数据加载、清洗、转换都离不开它。Scikit-learn机器学习算法的宝库。我们用的K-Means、DBSCAN、PCA以及数据标准化、评估指标等全部来自这个库。它的API设计非常一致且优雅是学习机器学习的最佳伴侣。Matplotlib Seaborn数据可视化的双雄。Matplotlib是基础绘图库功能强大但稍显繁琐。Seaborn基于Matplotlib提供了更高级、更美观的统计图形接口绘制聚类结果、分布图、热力图等非常方便。安装命令非常简单在激活的conda环境中执行conda install numpy pandas scikit-learn matplotlib seaborn3.3 数据集准备从经典到自制为了全面测试算法我混合使用了经典数据集和自制数据集鸢尾花数据集来自sklearn.datasets.load_iris()。这是聚类和分类的“Hello World”维度低4个特征包含3个类别适合演示K-Means。手写数字数据集来自sklearn.datasets.load_digits()。这是一个更大的数据集1797个样本64维特征常用于降维PCA和聚类效果的评估。合成数据集使用sklearn.datasets.make_moons和make_circles生成非线性可分的月牙形和环形数据专门用于“刁难”K-Means展示DBSCAN的优势。带噪声的合成数据集在以上数据中加入随机噪声点测试DBSCAN的噪声识别能力。实操心得不要一上来就用自己的业务数据。先用这些结构清晰、结果已知的经典数据集验证你的代码和理解是否正确建立起正确的“手感”和评估直觉后再迁移到复杂数据上能极大降低调试难度。4. 核心算法实现与参数调优实战环境就绪数据在手接下来就是核心的代码实现和参数调优环节。这里我分享每个算法实现中的关键代码片段并重点解释参数选择的“所以然”。4.1 K-Means寻找那个神秘的“K”实现K-Means本身只有几行代码但核心难点在于如何确定最佳的簇数K盲目猜测会导致灾难性结果。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt # 假设 X 是我们的数据 inertia [] silhouette_scores [] K_range range(2, 11) # 尝试K从2到10 for k in K_range: kmeans KMeans(n_clustersk, random_state42, n_initauto) # n_initauto是sklearn新版本的推荐设置 kmeans.fit(X) inertia.append(kmeans.inertia_) # 保存簇内误差平方和 silhouette_scores.append(silhouette_score(X, kmeans.labels_)) # 绘制肘部法则图 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(K_range, inertia, bo-) plt.xlabel(Number of clusters (K)) plt.ylabel(Inertia) plt.title(The Elbow Method) # 绘制轮廓系数图 plt.subplot(1, 2, 2) plt.plot(K_range, silhouette_scores, ro-) plt.xlabel(Number of clusters (K)) plt.ylabel(Silhouette Score) plt.title(Silhouette Analysis) plt.show()关键参数解析n_clustersk这就是我们要寻找的K。random_state固定随机种子确保每次运行结果可复现这对实验至关重要。n_initK-Means算法对初始中心点的选择敏感n_init指定了用不同的初始中心点运行算法的次数最终取结果最好的那次。设为auto或一个较大值如10可以提升结果稳定性。如何选K我同时使用了两种方法肘部法则绘制不同K值对应的inertia簇内误差平方和曲线。曲线拐点像手肘对应的K值通常是较好的选择。但拐点有时不明显需要主观判断。轮廓系数计算每个样本的轮廓系数取值范围[-1, 1]再求平均。这个值越接近1说明聚类效果越好样本与自身簇内其他样本相似度高与其他簇样本相似度低。选择轮廓系数最大的K值通常更客观可靠。4.2 DBSCAN理解“密度”的定义DBSCAN的实现同样简洁但它的行为完全由两个参数eps和min_samples决定。from sklearn.cluster import DBSCAN from sklearn.preprocessing import StandardScaler # 重要DBSCAN对数据尺度敏感通常需要先标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 尝试不同的参数组合 dbscan DBSCAN(eps0.3, min_samples5) labels dbscan.fit_predict(X_scaled) # 统计结果 n_clusters len(set(labels)) - (1 if -1 in labels else 0) # 标签-1代表噪声点 n_noise list(labels).count(-1) print(f‘估计的簇数量 {n_clusters}’) print(f‘识别出的噪声点数量 {n_noise}’)关键参数解析eps邻域半径。想象以每个数据点为圆心画一个圆eps就是这个圆的半径。它是定义“密度”的空间尺度。太小会导致每个点都自成一体或成为噪声太大则会把所有点都归为一个簇。min_samples核心点的邻域内至少需要的样本数包括点自身。它定义了“密度”的样本数量门槛。值越大对核心点的要求越严格更多的点会被判定为边界点或噪声。参数调优实战没有银弹公式。我的方法是可视化结合网格搜索。首先对标准化后的数据计算每个点到其第min_samples个最近邻的距离称为k-distance。将所有点的这个距离排序后绘图距离快速上升的“拐点”对应的距离值可以作为eps的初始参考。然后在一个合理的范围内如eps从0.1到1.0min_samples从3到10进行网格搜索结合轮廓系数注意轮廓系数计算时需要排除噪声点或对噪声点做特殊处理和可视化的聚类结果图来选择最符合数据分布直觉的参数。4.3 PCA抓住主要矛盾PCA的实现侧重于理解降维后的信息保留程度。from sklearn.decomposition import PCA # 不指定n_components先拟合所有成分 pca_full PCA() pca_full.fit(X_scaled) # 同样PCA前建议标准化 # 计算累计解释方差比 cumulative_variance_ratio np.cumsum(pca_full.explained_variance_ratio_) # 绘制碎石图 plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.plot(range(1, len(cumulative_variance_ratio)1), pca_full.explained_variance_ratio_, o-) plt.xlabel(Principal Component) plt.ylabel(Explained Variance Ratio) plt.title(Scree Plot) plt.subplot(1, 2, 2) plt.plot(range(1, len(cumulative_variance_ratio)1), cumulative_variance_ratio, bo-) plt.axhline(y0.95, colorr, linestyle--) # 常用阈值95% plt.xlabel(Number of Principal Components) plt.ylabel(Cumulative Explained Variance Ratio) plt.title(Cumulative Explained Variance) plt.show() # 根据图形选择n_components例如保留95%方差的主成分 n_components np.argmax(cumulative_variance_ratio 0.95) 1 pca PCA(n_componentsn_components) X_pca pca.fit_transform(X_scaled) print(f‘保留95%方差所需的主成分数量为 {n_components}’)关键输出解读explained_variance_ratio_每个主成分所能解释的原始数据方差的比例。第一个主成分最大依次递减。碎石图绘制各主成分的解释方差。通常图形会有一个明显的“拐点”像山坡上的碎石拐点之前的主成分包含主要信息之后的可以舍弃。累计解释方差图更实用的工具。我们可以直接设定一个阈值如0.95即保留95%的信息然后找到最少需要多少个主成分能达到这个阈值。这为n_components的选择提供了量化依据。5. 结果评估与可视化不止于“看起来很美”无监督学习没有绝对正确的标签因此评估比监督学习更主观、更具挑战性。我们不能只满足于画出漂亮的彩色散点图必须结合多种评估指标和可视化技术进行综合判断。5.1 聚类效果的内外部评估内部评估指标无需真实标签轮廓系数上文已提及是评估聚类“紧密度”和“分离度”的黄金标准。越接近1越好。计算时需注意对于DBSCAN产生的噪声点标签-1通常将其排除在整体轮廓系数的计算之外因为噪声点不属于任何簇。Calinski-Harabasz指数也称为方差比准则。计算簇间离散度与簇内离散度的比值。值越大表示簇自身越紧密簇间分离越好。戴维森堡丁指数计算任意两个簇之间的平均距离与簇内平均距离的比值再取负对数。值越小甚至为负表示聚类效果越好但解释性不如轮廓系数直观。 在我的项目中我会对同一数据集在不同参数下的聚类结果如K-Means的不同K值DBSCAN的不同eps计算这些指标进行横向对比。外部评估指标有真实标签时 当我们使用鸢尾花这种有真实类别标签的数据集时可以计算聚类结果与真实标签的一致性但这仅用于验证算法在已知结构数据上的表现不能用于真实的无标签数据。调整兰德指数衡量两个聚类结果算法结果 vs 真实标签的相似度取值范围[-1, 1]越接近1越好0表示随机分配。互信息衡量两个聚类结果共享的信息量同样有调整后的版本值越大越好。5.2 可视化让高维数据开口说话可视化是无监督学习理解结果的终极武器。二维/三维散点图对于经过PCA降维至2维或3维的数据直接用不同颜色标记聚类标签是最直观的方式。可以一眼看出簇的形状、大小、分离程度以及噪声点的分布。平行坐标图对于维度稍高如5-10维且不想降维的情况平行坐标图非常有用。它将每个维度画成一条垂直的轴线每个样本是一条穿越所有轴线的折线。将属于同一簇的样本线用同色绘制可以观察不同簇在各个特征维度上的分布差异。热力图与树状图在尝试层次聚类另一个无监督算法时树状图可以展示样本逐层合并的过程。热力图则可以展示样本间的距离矩阵或相似度矩阵配合聚类标签重排行列能清晰显示块状结构。注意事项所有评估指标都有其局限性。例如轮廓系数倾向于选择凸形的、密度均匀的簇对于DBSCAN发现的复杂形状簇其得分可能反而不高。因此永远不要只依赖一个指标。必须将指标与可视化结果、以及对业务/数据本身的理解结合起来做出综合判断。可视化图形“看起来”合理往往比一个孤立的高分指标更重要。6. 项目复盘与进阶思考完成这个“AI作业4”项目跑通所有代码并得到一系列图表只是第一步。真正的收获来自于复盘整个过程并思考如何将这套方法应用到更复杂、更真实的场景中。6.1 踩坑实录与核心经验数据未标准化/归一化这是新手最常踩的坑尤其是对K-Means和基于距离的算法。如果特征A的取值范围是[0, 1000]特征B是[0, 1]那么算法会被特征A主导特征B几乎不起作用。务必在聚类前使用StandardScaler标准化或MinMaxScaler归一化进行预处理。DBSCAN对数据尺度尤其敏感。盲目相信“肘部法则”肘部图的拐点经常模糊不清尤其是在真实数据中。不要纠结于找到一个精确的“肘点”把它作为一个参考区间结合轮廓系数和业务理解来确定K。用监督学习的思维评估无监督结果总想找一个“正确率”来评判聚类好坏。要尽早接受无监督学习评估的主观性和多元性。聚类结果的价值最终要看它是否揭示了有意义的、可解释的数据分组能否服务于下游业务如用户分群、异常检测。忽略噪声点的价值在使用DBSCAN时不要简单地把标签为-1的点删除。这些噪声点/离群点本身可能就是极具价值的信息比如在欺诈检测中它们很可能就是可疑交易。6.2 从“作业”到“项目”的进阶方向掌握了这些基础后你可以沿着以下几个方向深化处理复杂数据尝试对文本数据先用TF-IDF或词向量转化、图像数据先用CNN提取特征进行聚类。这时特征工程和表示学习变得至关重要。探索其他算法高斯混合模型GMM提供软聚类一个样本属于多个簇的概率谱聚类能处理更复杂的流形结构自编码器可以进行非线性的降维。与监督学习结合无监督学习可以作为监督学习的“前哨站”。例如先用聚类对用户分群然后针对不同群体制订不同的营销策略半监督或者用聚类产生的“伪标签”来辅助训练一个初始的分类模型。聚焦评估与解释深入研究如何向非技术人员解释你的聚类结果。除了统计指标可以计算每个簇的特征均值、中位数生成“用户画像”或者使用SHAP等工具来解释样本为何被分到某个簇。这个名为“AI作业4”的项目本质上是一次对机器学习中“自主发现”能力的系统性训练。它教会我的不仅是K-Means、DBSCAN、PCA这几个算法的调用更是一种面对无标签数据时的问题拆解、方法选型、实验评估和结果解读的完整思维框架。当你下次面对一堆没有答案的数据时希望这份“作业”复盘能帮你更快地找到探索的起点和方向。 无监督学习实战：K-Means、DBSCAN与PCA算法解析与项目复盘
1. 项目概述从“AI作业4”到无监督学习的实战探索最近在整理自己的学习笔记翻到了以前做的一个标记为“AI作业4”的项目文件夹。这个名字听起来很普通甚至有点学生气但它背后其实是一次对无监督学习核心思想从理论到实践的完整“趟坑”之旅。无监督学习作为人工智能领域里一个既迷人又充满挑战的分支它不像监督学习那样有明确的“老师”标签告诉你对错而是让模型自己去数据中“发现”规律和结构。这听起来很酷但实操起来从数据预处理、算法选择到结果评估每一步都可能让你怀疑人生。这个“作业”项目就是我当年试图用几个经典数据集亲手复现并理解K-Means聚类、DBSCAN密度聚类和主成分分析PCA降维等核心算法的记录。今天我就把这个“作业”的里里外外、踩过的坑和最终的心得当成一次完整的项目复盘分享出来希望能给正在入门或想深入理解无监督学习的朋友们一个实实在在的参考。2. 核心思路与方案选型为什么是这三个算法当我拿到这个“作业”时核心目标很明确不是简单地调用sklearn的几行代码跑出结果而是要深入理解不同无监督学习算法解决问题的内在逻辑、适用场景以及它们的局限性。因此在方案选型上我选择了三个最具代表性且互补的算法K-Means、DBSCAN和PCA。这个选择背后有清晰的逻辑链条。2.1 K-Means经典的距离划分艺术K-Means几乎是所有人学习聚类时的第一个算法。它的核心思想直观得惊人事先指定要将数据分成K个簇然后通过迭代让每个数据点到其所属簇中心的距离平方和最小。我选择它首先是因为它的“基础性”。理解K-Means就理解了基于“距离”和“中心点”的划分式聚类的基本范式。其次它的超参数少主要就是K值便于我们集中精力去研究“如何确定最佳簇数”这个核心问题。在项目中我用它来处理像鸢尾花Iris这类特征维度不高、簇形状近似球形且大小均匀的数据集效果非常直观能很好地演示“类内紧凑、类间分离”的理想聚类状态。2.2 DBSCAN基于密度的“抗噪”能手然而现实世界的数据很少像教科书例子那么规整。数据点可能分布成任意形状数据中必然混有噪声和离群点。这时K-Means就力不从心了因为它基于距离的划分会强行将非球形簇撕裂并把噪声点归入某个簇污染结果。DBSCANDensity-Based Spatial Clustering of Applications with Noise就是为了解决这些问题而生的。它不需要预先指定簇的个数而是基于“高密度区域”和“低密度区域”的划分来发现任意形状的簇并能明确识别出噪声点。在项目中我特意用了一个包含月牙形、环形分布以及明显离群点的合成数据集来“挑战”DBSCAN。通过调整核心参数——邻域半径eps和最小样本数min_samples可以清晰地看到算法如何捕捉数据的真实分布这对于理解现实场景如异常检测、地理信息聚类至关重要。2.3 PCA降维与可视化的利器无监督学习不止于聚类降维是另一个核心任务。当数据维度成百上千时“维度灾难”我们难以直观理解很多算法也会效率低下。主成分分析PCA通过线性变换将原始特征转换到一组新的、彼此不相关的坐标轴上主成分并按方差大小排序。保留前几个方差最大的主成分就能在尽可能保留信息的前提下降低维度。在项目中我将PCA用于两个目的一是作为数据预处理步骤对高维数据降维后再进行聚类以提升效率和稳定性二是作为可视化工具将多维数据投影到二维平面让我们能用肉眼观察K-Means或DBSCAN的聚类效果。这相当于给高维数据戴上了一副“特制的眼镜”是理解复杂数据分布不可或缺的一步。注意这个算法组合并非万能。它们都属于传统机器学习范畴对于处理超高维、非结构化数据如图像、文本会显得吃力。但在入门和掌握核心思想上它们构成了一个非常坚实的三角支架K-Means教你划分DBSCAN教你发现PCA教你看清。3. 实战环境搭建与核心工具解析工欲善其事必先利其器。一个稳定、可复现的环境是进行任何数据科学项目的基础。我不推荐初学者一开始就追求最炫酷的框架或最复杂的部署从最经典、最成熟的工具链入手能让你更专注于算法本身。3.1 Python与Anaconda数据科学的起跑线我的整个项目基于Python 3.8环境。对于新手我强烈建议直接安装Anaconda发行版。它不仅仅是一个Python解释器更是一个集成了包管理conda和环境管理的平台。为什么是Anaconda首先它预装了数百个数据科学相关的库如NumPy, Pandas, Matplotlib省去了你一个个手动安装的麻烦。其次它的环境管理功能是“救命稻草”。你可以为这个“AI作业4”项目创建一个独立的虚拟环境例如命名为unsupervised_learning在这个环境里安装特定版本的库完全不会干扰你系统里或其他项目的Python环境。项目做完环境一删干干净净。3.2 核心库“四件套”在这个独立的环境中我们需要安装几个核心库它们构成了项目代码的骨架NumPy Pandas数据处理的基石。NumPy提供高效的数组运算Pandas的DataFrame则是操作表格数据的“瑞士军刀”数据加载、清洗、转换都离不开它。Scikit-learn机器学习算法的宝库。我们用的K-Means、DBSCAN、PCA以及数据标准化、评估指标等全部来自这个库。它的API设计非常一致且优雅是学习机器学习的最佳伴侣。Matplotlib Seaborn数据可视化的双雄。Matplotlib是基础绘图库功能强大但稍显繁琐。Seaborn基于Matplotlib提供了更高级、更美观的统计图形接口绘制聚类结果、分布图、热力图等非常方便。安装命令非常简单在激活的conda环境中执行conda install numpy pandas scikit-learn matplotlib seaborn3.3 数据集准备从经典到自制为了全面测试算法我混合使用了经典数据集和自制数据集鸢尾花数据集来自sklearn.datasets.load_iris()。这是聚类和分类的“Hello World”维度低4个特征包含3个类别适合演示K-Means。手写数字数据集来自sklearn.datasets.load_digits()。这是一个更大的数据集1797个样本64维特征常用于降维PCA和聚类效果的评估。合成数据集使用sklearn.datasets.make_moons和make_circles生成非线性可分的月牙形和环形数据专门用于“刁难”K-Means展示DBSCAN的优势。带噪声的合成数据集在以上数据中加入随机噪声点测试DBSCAN的噪声识别能力。实操心得不要一上来就用自己的业务数据。先用这些结构清晰、结果已知的经典数据集验证你的代码和理解是否正确建立起正确的“手感”和评估直觉后再迁移到复杂数据上能极大降低调试难度。4. 核心算法实现与参数调优实战环境就绪数据在手接下来就是核心的代码实现和参数调优环节。这里我分享每个算法实现中的关键代码片段并重点解释参数选择的“所以然”。4.1 K-Means寻找那个神秘的“K”实现K-Means本身只有几行代码但核心难点在于如何确定最佳的簇数K盲目猜测会导致灾难性结果。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt # 假设 X 是我们的数据 inertia [] silhouette_scores [] K_range range(2, 11) # 尝试K从2到10 for k in K_range: kmeans KMeans(n_clustersk, random_state42, n_initauto) # n_initauto是sklearn新版本的推荐设置 kmeans.fit(X) inertia.append(kmeans.inertia_) # 保存簇内误差平方和 silhouette_scores.append(silhouette_score(X, kmeans.labels_)) # 绘制肘部法则图 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(K_range, inertia, bo-) plt.xlabel(Number of clusters (K)) plt.ylabel(Inertia) plt.title(The Elbow Method) # 绘制轮廓系数图 plt.subplot(1, 2, 2) plt.plot(K_range, silhouette_scores, ro-) plt.xlabel(Number of clusters (K)) plt.ylabel(Silhouette Score) plt.title(Silhouette Analysis) plt.show()关键参数解析n_clustersk这就是我们要寻找的K。random_state固定随机种子确保每次运行结果可复现这对实验至关重要。n_initK-Means算法对初始中心点的选择敏感n_init指定了用不同的初始中心点运行算法的次数最终取结果最好的那次。设为auto或一个较大值如10可以提升结果稳定性。如何选K我同时使用了两种方法肘部法则绘制不同K值对应的inertia簇内误差平方和曲线。曲线拐点像手肘对应的K值通常是较好的选择。但拐点有时不明显需要主观判断。轮廓系数计算每个样本的轮廓系数取值范围[-1, 1]再求平均。这个值越接近1说明聚类效果越好样本与自身簇内其他样本相似度高与其他簇样本相似度低。选择轮廓系数最大的K值通常更客观可靠。4.2 DBSCAN理解“密度”的定义DBSCAN的实现同样简洁但它的行为完全由两个参数eps和min_samples决定。from sklearn.cluster import DBSCAN from sklearn.preprocessing import StandardScaler # 重要DBSCAN对数据尺度敏感通常需要先标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 尝试不同的参数组合 dbscan DBSCAN(eps0.3, min_samples5) labels dbscan.fit_predict(X_scaled) # 统计结果 n_clusters len(set(labels)) - (1 if -1 in labels else 0) # 标签-1代表噪声点 n_noise list(labels).count(-1) print(f‘估计的簇数量 {n_clusters}’) print(f‘识别出的噪声点数量 {n_noise}’)关键参数解析eps邻域半径。想象以每个数据点为圆心画一个圆eps就是这个圆的半径。它是定义“密度”的空间尺度。太小会导致每个点都自成一体或成为噪声太大则会把所有点都归为一个簇。min_samples核心点的邻域内至少需要的样本数包括点自身。它定义了“密度”的样本数量门槛。值越大对核心点的要求越严格更多的点会被判定为边界点或噪声。参数调优实战没有银弹公式。我的方法是可视化结合网格搜索。首先对标准化后的数据计算每个点到其第min_samples个最近邻的距离称为k-distance。将所有点的这个距离排序后绘图距离快速上升的“拐点”对应的距离值可以作为eps的初始参考。然后在一个合理的范围内如eps从0.1到1.0min_samples从3到10进行网格搜索结合轮廓系数注意轮廓系数计算时需要排除噪声点或对噪声点做特殊处理和可视化的聚类结果图来选择最符合数据分布直觉的参数。4.3 PCA抓住主要矛盾PCA的实现侧重于理解降维后的信息保留程度。from sklearn.decomposition import PCA # 不指定n_components先拟合所有成分 pca_full PCA() pca_full.fit(X_scaled) # 同样PCA前建议标准化 # 计算累计解释方差比 cumulative_variance_ratio np.cumsum(pca_full.explained_variance_ratio_) # 绘制碎石图 plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.plot(range(1, len(cumulative_variance_ratio)1), pca_full.explained_variance_ratio_, o-) plt.xlabel(Principal Component) plt.ylabel(Explained Variance Ratio) plt.title(Scree Plot) plt.subplot(1, 2, 2) plt.plot(range(1, len(cumulative_variance_ratio)1), cumulative_variance_ratio, bo-) plt.axhline(y0.95, colorr, linestyle--) # 常用阈值95% plt.xlabel(Number of Principal Components) plt.ylabel(Cumulative Explained Variance Ratio) plt.title(Cumulative Explained Variance) plt.show() # 根据图形选择n_components例如保留95%方差的主成分 n_components np.argmax(cumulative_variance_ratio 0.95) 1 pca PCA(n_componentsn_components) X_pca pca.fit_transform(X_scaled) print(f‘保留95%方差所需的主成分数量为 {n_components}’)关键输出解读explained_variance_ratio_每个主成分所能解释的原始数据方差的比例。第一个主成分最大依次递减。碎石图绘制各主成分的解释方差。通常图形会有一个明显的“拐点”像山坡上的碎石拐点之前的主成分包含主要信息之后的可以舍弃。累计解释方差图更实用的工具。我们可以直接设定一个阈值如0.95即保留95%的信息然后找到最少需要多少个主成分能达到这个阈值。这为n_components的选择提供了量化依据。5. 结果评估与可视化不止于“看起来很美”无监督学习没有绝对正确的标签因此评估比监督学习更主观、更具挑战性。我们不能只满足于画出漂亮的彩色散点图必须结合多种评估指标和可视化技术进行综合判断。5.1 聚类效果的内外部评估内部评估指标无需真实标签轮廓系数上文已提及是评估聚类“紧密度”和“分离度”的黄金标准。越接近1越好。计算时需注意对于DBSCAN产生的噪声点标签-1通常将其排除在整体轮廓系数的计算之外因为噪声点不属于任何簇。Calinski-Harabasz指数也称为方差比准则。计算簇间离散度与簇内离散度的比值。值越大表示簇自身越紧密簇间分离越好。戴维森堡丁指数计算任意两个簇之间的平均距离与簇内平均距离的比值再取负对数。值越小甚至为负表示聚类效果越好但解释性不如轮廓系数直观。 在我的项目中我会对同一数据集在不同参数下的聚类结果如K-Means的不同K值DBSCAN的不同eps计算这些指标进行横向对比。外部评估指标有真实标签时 当我们使用鸢尾花这种有真实类别标签的数据集时可以计算聚类结果与真实标签的一致性但这仅用于验证算法在已知结构数据上的表现不能用于真实的无标签数据。调整兰德指数衡量两个聚类结果算法结果 vs 真实标签的相似度取值范围[-1, 1]越接近1越好0表示随机分配。互信息衡量两个聚类结果共享的信息量同样有调整后的版本值越大越好。5.2 可视化让高维数据开口说话可视化是无监督学习理解结果的终极武器。二维/三维散点图对于经过PCA降维至2维或3维的数据直接用不同颜色标记聚类标签是最直观的方式。可以一眼看出簇的形状、大小、分离程度以及噪声点的分布。平行坐标图对于维度稍高如5-10维且不想降维的情况平行坐标图非常有用。它将每个维度画成一条垂直的轴线每个样本是一条穿越所有轴线的折线。将属于同一簇的样本线用同色绘制可以观察不同簇在各个特征维度上的分布差异。热力图与树状图在尝试层次聚类另一个无监督算法时树状图可以展示样本逐层合并的过程。热力图则可以展示样本间的距离矩阵或相似度矩阵配合聚类标签重排行列能清晰显示块状结构。注意事项所有评估指标都有其局限性。例如轮廓系数倾向于选择凸形的、密度均匀的簇对于DBSCAN发现的复杂形状簇其得分可能反而不高。因此永远不要只依赖一个指标。必须将指标与可视化结果、以及对业务/数据本身的理解结合起来做出综合判断。可视化图形“看起来”合理往往比一个孤立的高分指标更重要。6. 项目复盘与进阶思考完成这个“AI作业4”项目跑通所有代码并得到一系列图表只是第一步。真正的收获来自于复盘整个过程并思考如何将这套方法应用到更复杂、更真实的场景中。6.1 踩坑实录与核心经验数据未标准化/归一化这是新手最常踩的坑尤其是对K-Means和基于距离的算法。如果特征A的取值范围是[0, 1000]特征B是[0, 1]那么算法会被特征A主导特征B几乎不起作用。务必在聚类前使用StandardScaler标准化或MinMaxScaler归一化进行预处理。DBSCAN对数据尺度尤其敏感。盲目相信“肘部法则”肘部图的拐点经常模糊不清尤其是在真实数据中。不要纠结于找到一个精确的“肘点”把它作为一个参考区间结合轮廓系数和业务理解来确定K。用监督学习的思维评估无监督结果总想找一个“正确率”来评判聚类好坏。要尽早接受无监督学习评估的主观性和多元性。聚类结果的价值最终要看它是否揭示了有意义的、可解释的数据分组能否服务于下游业务如用户分群、异常检测。忽略噪声点的价值在使用DBSCAN时不要简单地把标签为-1的点删除。这些噪声点/离群点本身可能就是极具价值的信息比如在欺诈检测中它们很可能就是可疑交易。6.2 从“作业”到“项目”的进阶方向掌握了这些基础后你可以沿着以下几个方向深化处理复杂数据尝试对文本数据先用TF-IDF或词向量转化、图像数据先用CNN提取特征进行聚类。这时特征工程和表示学习变得至关重要。探索其他算法高斯混合模型GMM提供软聚类一个样本属于多个簇的概率谱聚类能处理更复杂的流形结构自编码器可以进行非线性的降维。与监督学习结合无监督学习可以作为监督学习的“前哨站”。例如先用聚类对用户分群然后针对不同群体制订不同的营销策略半监督或者用聚类产生的“伪标签”来辅助训练一个初始的分类模型。聚焦评估与解释深入研究如何向非技术人员解释你的聚类结果。除了统计指标可以计算每个簇的特征均值、中位数生成“用户画像”或者使用SHAP等工具来解释样本为何被分到某个簇。这个名为“AI作业4”的项目本质上是一次对机器学习中“自主发现”能力的系统性训练。它教会我的不仅是K-Means、DBSCAN、PCA这几个算法的调用更是一种面对无标签数据时的问题拆解、方法选型、实验评估和结果解读的完整思维框架。当你下次面对一堆没有答案的数据时希望这份“作业”复盘能帮你更快地找到探索的起点和方向。