одномерные линейные регрессионные тесты для выбора признаков?

1

Я читал о функции f_regression, доступной в пакете feature_selection scikit. Согласно тому, что я читаю, и я цитирую, он говорит:

Линейная модель для тестирования индивидуального эффекта каждого из многих регрессоров. Это функция подсчета очков, которая будет использоваться в процедуре сортировки объектов, а не процедура выбора свободной позиции.

Это делается в 2 этапа:

  • Вычисляется корреляция между каждым регрессором и мишенью, то есть ((X [:, i] - среднее значение (X [:, i])) * (y - mean_y))/(std (X [:, i] ) * std (y)).
  • Он преобразуется в F-балл, а затем в p-значение.

Поэтому в первой части я полагаю, что они вычисляют коэффициенты корреляции, но я не могу найти, как сделать часть преобразования из этих коэффициентов корреляции в F-оценку, а затем в p-значения. Может ли кто-нибудь сделать какой-нибудь аналитический пример, чтобы узнать, как сделать этот процесс?

Спасибо

Теги:
scikit-learn

1 ответ

0

Если мы используем этот пример:

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt
from sklearn.feature_selection import f_regression
from scipy import stats

np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)

y = x 1 + sin (6 * pi * x 2) + 0,1 * N (0, 1), то есть третья особенность совершенно не имеет значения.

f_test, p_values = f_regression(X, y)
f_test_norm = f_test/np.max(f_test)

plt.figure(figsize=(25, 5))
for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.scatter(X[:, i], y, edgecolor='black', s=20)
    plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
    if i == 0:
        plt.ylabel("$y$", fontsize=14)
    plt.title("Normalized F-test={:.2f},F-test={:.2f}, p-value={:.2f}".format(f_test_norm[i],f_test[i],p_values[i]),
              fontsize=16)
plt.show()

Изображение 174551

Значения для F-теста и p-значения следующие:

>>> f_test, p_values
(array([187.42118421,  52.52357392,   0.47268298]),
 array([3.19286906e-39, 8.50243215e-13, 4.91915197e-01]))

Пусть сначала вычислить корреляцию:

df = pd.DataFrame(X)
df['y'] = y
            0         1         2         y
0    0.548814  0.715189  0.602763  1.004714
1    0.544883  0.423655  0.645894  0.900226
2    0.437587  0.891773  0.963663 -0.919160
...

>>> df.corr()['y']
0    0.397624
1   -0.223601
2    0.021758
y    1.000000

corr = df.corr()['y'][:3]

Затем, в соответствии с этим, они вычисляют degrees_of_freedom, так как len(y) - 2 если параметр center равен true и len(y) - 1 противном случае:

degrees_of_freedom = y.size - (2 if center else 1)

F-статистика рассчитывается как

F = corr ** 2/(1 - corr ** 2) * degrees_of_freedom которое в нашем случае дает:

0    187.421184
1     52.523574
2      0.472683
Name: y, dtype: float64

p-значения затем вычисляются с использованием функции выживания:

pv = stats.f.sf(F, 1, degrees_of_freedom)
>>> pv
array([3.19286906e-39, 8.50243215e-13, 4.91915197e-01])

Ещё вопросы

Сообщество Overcoder
Наверх
Меню