机器学习输入特征（输入的特征包括）

机器学习的特征重要性究竟是怎么算的

了解主流机器学习模型计算特征重要性的过程。常用算法包括xgboost、gbdt、randomforest、tree等，它们都能输出特征的重要性评分。本文将重点阐述xgboost和gbdt特征重要性计算方法。xgboost计算特征重要性涉及到复杂的过程。在xgboost R API文档中能找到部分解释。

特征重要性计算方法包括Permutation Feature Importance （PFI），它通过打乱特征顺序评估其对模型预测的影响。PFI结果显示birthn和Q1的重要性依然突出，但PFI不能反映特征间的相关性。部分依赖绘图（PDP）则展示了单个特征对预测结果的影响，如birthn对firstborn和lastborn的影响，以及Q1的正负向影响。

排列重要性 （PermutationImportance）： 通过随机打乱特征值来评估模型性能下降，特征对模型影响越大，下降越显著。内置特征重要性 （coef_或feature_importances_）： 线性回归和随机森林等模型直接输出特征贡献分数。Leave-one-out： 逐个移除特征，观察模型准确性，影响越大，特征越关键。

在模型开发和应用中，理解模型内部运作和关键特征的重要性至关重要。特别是在风控领域，模型的透明度和可解释性对于满足监管要求和保障业务稳健运行至关重要。机器学习模型，如XGBoost，虽然性能优秀，但其内部运作复杂，似黑箱。为了平衡性能和理解，我们可以通过特征重要性和SHAP值来解析模型决策过程。

简单介绍机器学习建模过程

特征工程：特征工程包括从原始数据中特征构建、特征提取、特征选择、特征工程做的好能发挥原始数据的最大效力，往往能够使得算法的效果和性能得到显著的提升，有时能使简单的模型的效果比复杂的模型效果好。数据挖掘的大部分时间就花在特征工程上面，是机器学习非常基础而又必备的步骤。

建模的过程离不开模型的求解，我们假设输入特征变量记为X，输出变量记为Y，他们对应的具体取值分别记为x和y，输入变量X可以是标量也可以是向量。本系列课程中除非特殊声明，否则特征向量都是列向量，因此输入实例x的列向量可以表示为：x=（x（1），x（1），...，x（i），...，x（n）T。

机器学习建模流程图如下： 数据收集与预处理阶段 特征工程阶段 模型选择与训练阶段 模型评估与优化阶段 模型部署与应用阶段 以下是 数据收集与预处理阶段：在这一阶段，主要任务是收集与问题相关的数据，并进行必要的预处理。数据收集需要考虑数据来源的可靠性和多样性。

首先，通过数据清洗，处理离散特征的编码和异常值，对缺失值进行填充。接着，进行特征工程，如归一化、共线性检查、特征选择（如使用L1正则和特征重要性）等。在模型选择上，我尝试了逻辑回归和随机森林，采用网格搜索和交叉验证进行参数调优。

小白也能入门机器学习-线性回归

1、机器学习是通过模拟人类学习过程，通过数据和模型优化进行预测和决策的数学模型技术。主要分为有监督学习和无监督学习，前者如分类和回归，后者则包括聚类和降维。有监督学习利用带标签的数据建立模型，无监督学习则无标签数据自我组织。半监督学习则在标签不完整时使用。

2、这节课希望大家对线性回归有了一个直观的认识，了解机器学习工作的基本原理与实际处理方法。

3、机器学习中的统计回归模型，特别是线性回归，是广泛应用的基础技术之一，它通过最小二乘法建立自变量和因变量之间的线性关系。线性回归的扩展形式包括多项式曲线拟合，能处理更复杂的非线性关系，这些方法都属于有监督学习方法。

4、简单线性回归：1 损失函数：在机器学习中，所有的算法模型其实都依赖于 最小化或最大化某一个函数 ，我们称之为“ 目标函数 ”。最小化的这组函数被称为“损失函数”。

5、线性回归的位置如上图所示，它属于机器学习 — 监督学习 — 回归 — 线性回归。什么是回归？回归是一种基于独立预测变量对目标值进行建模的方法。回归的目的主要是用于预测和找出变量之间的因果关系。比如预测明天的天气温度，预测股票的走势。

6、回归分析的核心在于建立一个数学模型，描述输入变量与输出变量之间的关系。最简单且直观的回归模型是线性回归，模型方程为 y = ax + b。通过学习最优参数 a 和 b，使得对于任何给定输入 x，模型能准确预测输出 y。