F檢驗與互換信息法的比較?
此示例說明了單變量F檢驗統計量與互換信息法之間的差異。
我們考慮三個特征x_1，x_2，x_3均勻分布在[0，1]上，目標變量依賴于它們：
y = x_1 + sin(6 * pi * x_2) + 0.1 * N(0, 1)， 也就是說，第三個特性是完全不相關的。
下面代碼繪制了y對單個x_i的依懶性， 并且歸一化了單變量F檢驗統計和互換信息法的值。
因為F檢驗只能捕捉線性關系， 所以它將x_1評為最具判斷力的特征。另一方面，互換信息法可以捕捉變量之間的任何類型的關系，所以它將x_2評為最具判斷力的特性，這可能更符合我們對這個例子的直覺。這兩種方法都正確地將x_3標記為無關。
print(__doc__)
import numpy as np
import matplotlib.pyplot as plt
from sklearn.feature_selection import f_regression, mutual_info_regression
np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)
f_test, _ = f_regression(X, y)
f_test /= np.max(f_test)
mi = mutual_info_regression(X, y)
mi /= np.max(mi)
plt.figure(figsize=(15, 5))
for i in range(3):
plt.subplot(1, 3, i + 1)
plt.scatter(X[:, i], y, edgecolor='black', s=20)
plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
if i == 0:
plt.ylabel("$y$", fontsize=14)
plt.title("F-test={:.2f}, MI={:.2f}".format(f_test[i], mi[i]),
fontsize=16)
plt.show()
腳本的總運行時間：(0分0.292秒)