近邻朴素贝叶斯与决策树入门

更新：2026-10-13；状态：可用；验证范围：官方算法说明核对；未运行kNN、朴素贝叶斯、树或随机森林。

用三种直观规则理解基础分类器，比较距离、条件概率与递归分割。

近邻：看相近训练样本

k近邻在指定距离下找训练样本，分类常按邻居投票，回归可平均邻居响应。它对缩放、距离、K和高维噪声敏感；预测时需要访问相应训练信息。测试标签不能参与邻居规则或特征选择。

例如按两个标准化特征寻找3个最近训练对象，其中2个属于A，简单投票预测A。这个投票不是完整校准的后验概率，也不证明相似基因表达对应同一机制。

朴素贝叶斯：组合类别与特征证据

朴素贝叶斯按类别先验与各特征条件概率组合比较类别，关键简化是给定类别后的特征条件独立。高斯、多项和Bernoulli版本适配不同输入假设，不能把名称不同当作参数随意互换。

基因通常相关，条件独立假设可能不符合数据；模型仍可作为基线，但概率质量与分类表现应分别检验。实现通常使用对数概率避免连乘下溢，稀疏事件还需适当平滑。

决策树：递归划分

决策树选择特征阈值，将样本递归分到较纯的子集；分类常用Gini或熵等标准，回归使用相应误差目标。最大深度、最小叶节点样本数和剪枝控制复杂度。单棵树可能对样本扰动不稳定。

随机森林通过多棵随机化树组合改善稳定性；这不自动提供因果解释。特征重要性受相关特征、选择偏差和计算定义影响，不应直接当作基因功能排名。

公平比较怎样做

先建立简单基线，使用相同外层划分；缩放、特征筛选与超参数选择都在训练折内完成。报告错误类型、阈值、校准及目标群体，见分类指标ROC与PR曲线。不要比较在不同测试样本上得到的最高分。

本页为算法解释，没有执行这些分类器。接口：近邻指南、朴素贝叶斯、决策树。