介绍
当你有面对一大堆特征手无足措的时候，这时候你应该先考虑生成一个特征效用度量：
特征效用度量又叫互信息，互信息与相关系数类似，都是衡量两个数值的关系的，但区别是相关系数只能检测线性关系，而互信息可以检测任何一种关系。
用法：
当互信息等于0时，数值之间是没有关系的。不设上限，然而大于2.0的互信息一般不是很常见。
注意点：
mi（互信息）能帮助你找到对target（结果）具有潜在关系的特征。
mi无法找到两个特征之间的影响程度，原因是他是单变量度量。
即便特征mi很高，但也有可能对模型一点作用没有，因为模型学习的是跟结果有关的特征的关系。因此如果模型并未学到有关该特征的规律，再高的mi也没有用。
例子：
autos.csv:一个包含23个特征（make, body_style, and horsepower）的数据集
使用scikit-learn工具包：
由于scikit-learn对连续数据和离散数据做mi的方法是不同的，所以要把离散数据映射成一组数字：
for colname in X.select_dtypes("object"): X[colname], _ = X[colname].factorize()
在scikit-learn中有两套mi计算方法，一种是针对结果是实数的(mutual_info_regression)，一种是针对结果是categorical targets 的(mutual_info_classif):
from sklearn.feature_selection import mutual_info_regression def make_mi_scores(X, y, discrete_features): mi_scores = mutual_info_regression(X, y, discrete_features=discrete_features) mi_scores = pd.Series(mi_scores, name="MI Scores", index=X.columns) mi_scores = mi_scores.sort_values(ascending=False) return mi_scores mi_scores = make_mi_scores(X, y, discrete_features)
结果：
curb_weight 1.526026
highway_mpg 0.958583
length 0.615287
bore 0.496247
为了看的更清楚一些，我们可以使用BAR图:
def plot_mi_scores(scores): scores = scores.sort_values(ascending=True) width = np.arange(len(scores)) ticks = list(scores.index) plt.barh(width, scores) plt.yticks(width, ticks) plt.title("Mutual Information Scores") plt.figure(dpi=100, figsize=(8, 5)) plot_mi_scores(mi_scores)
我们发现curb_weight的Mi Scores很高，因此，我们对curb_weight和price做图:
作图代码：
sns.relplot(x="curb_weight", y="price", data=df);
fuel_type的Mi Score很低，但通过做交互效应图后，发现fuel_type还是要保留的。
作图代码：
sns.lmplot(x="horsepower", y="price", hue="fuel_type", data=df);