sklearn.linear_model.SGDRegressor?
class sklearn.linear_model.SGDRegressor(loss='squared_loss', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)
通過使用SGD最小化正則經驗損失來擬合線性模型。
SGD代表隨機梯度下降:每次對每個樣本估計損失函數的梯度，模型以遞減的強度(又名學習率)沿此路徑更新。
正則化器是對損失函數的一種懲罰，它使用平方歐幾里德范數L2或絕對范數L1或兩者的組合（彈性網）將模型參數向零矢量收縮。如果由于正則化器的原因，參數更新跨越了0.0值，那么更新被截斷為0.0，以允許學習稀疏模型和實現在線特征選擇。
這個實現使用的數據為浮點值密集的numpy數組。
在用戶指南中閱讀更多內容。
| 參數 | 說明 |
|---|---|
| loss | str, default=’hinge’ 要使用的損失函數。可能的值為“ squared_loss”，“ huber”，“ epsilon_insensitive”或“ squared_epsilon_insensitive” “ squared_loss”是指普通的最小二乘擬合。'huber'修正了'squared_loss'，通過從平方損失切換到超過epsilon距離的線性損失，減少了對異常值的校正。 'epsilon_insensitive'忽略小于epsilon的錯誤，并且是線性的；這是SVR中使用的損失函數。 'squared_epsilon_insensitive'也是相同的，但是變成了超過ε容差的平方損失。 有關損失函數的更多詳細信息，請參見用戶指南。 |
| penalty | {‘L2’, ‘L1’, ‘elasticnet’}, default=’L2’ 要使用的懲罰（又稱正則化）。默認值為“ L2”，這是線性SVM模型的標準正則化器。“ L1”和“ elasticnet”可能會給模型帶來稀疏性（特征選擇），而這是“ l2”無法實現的。 |
| alpha | float, default=0.0001 與正則項相乘的常數。值越高，正則化越強。當 learning_rate設置為“optimal” 時，也用于計算學習率。 |
| l1_ratio | float, default=0.15 彈性網混合參數，其中0 <= l1_ratio <=1。l1_ratio = 0對應于L2懲罰，l1_ratio = 1對應與L1懲罰。僅在 penalty為“ elasticnet”時使用。 |
| fit_intercept | bool, default=True 是否估計截距。如果為False，則假定數據已經中心化。 |
| max_iter | int, default=1000 通過訓練數據的最大次數（又稱歷元）。它只會影響 fit方法中的行為，而不會影響 partial_fit方法。0.19版本中的新功能。 |
| tol | float, default=1e-3 停止標準。如果不是None，則連續 n_iter_no_change次（eploss> best_loss-tol）時迭代將停止。0.19版本中的新功能。 |
| shuffle | bool, default=True 在每次迭代之后是否重新打亂訓練數據。 |
| verbose | int, default=0 日志的詳細程度。 |
| epsilon | float, default=0.1 僅當 loss是“ huber”，“ epsilon_insensitive”或“ squared_epsilon_insensitive”時，損失函數對epsilon是不敏感的。對于“huber”，確定一個閾值，在這個閾值上，準確預測變得不那么重要了。對于epsilon不敏感的情況，如果當前的預測和正確的標簽小于這個閾值，那么它們之間的任何差異都將被忽略。 |
| random_state | int, RandomState instance, default=None 用于打亂訓練數據，當 shuffle設置為 True。可以用一個整數為多個函數調用傳遞重復的輸出。請參閱詞匯表。 |
| learning_rate | str, default=’optimal’ 學習率參數： - ‘constant’: eta = eta0- ‘optimal’: eta = 1.0 / (alpha * (t + t0)),其中t0由Leon Bottou提出的啟發式方法選擇。- ‘invscaling’: eta = eta0 / pow(t, power_t)- ‘adaptive’:eta = eta0，只要訓練持續減少即可。如果early_stopping為True，每次迭代中連續n_iter_no_change次未能減少tol的訓練損失或未能增加tol的驗證分數，則當前學習率除以5。 0.20版中的新功能：添加了“adaptive”選項 |
| eta0 | double, default=0.01 “constant”，“invscaling”或“adaptive”，初始學習率。默認值為0.01。 |
| power_t | double, default=0.25 逆標度學習率指數。 |
| early_stopping | bool, default=False 是否使用驗證提前停止終止訓練。如果設置為True，它將自動將訓練數據的分層部分的 score留作驗證，并在連續n_iter_no_change次的驗證分數沒有提高至少tol時終止訓練。0.20版中的新功能：添加了“ early_stopping”選項 |
| validation_fraction | float, default=0.1 預留的訓練數據比例作為早期停止的驗證集。必須介于0和1之間。僅在 early_stopping為True時使用。0.20版中的新功能：添加了“ validation_fraction”選項 |
| n_iter_no_change | int, default=5 迭代次數，結果沒有改善，迭代需要提前停止。 0.20版中的新功能：添加了“ n_iter_no_change”選項 |
| warm_start | bool, default=False 設置為True時，重用前面調用的解決方案來進行初始化，否則，只清除前面的解決方案。請參閱詞匯表。 當warm_start為True時，重復調用fit或partial_fit可能會導致解決方案與一次調用fit時有所不同，這是因為數據的重排方式不同。如果使用動態學習率，則根據已經看到的樣本數調整學習率。調用 fit會重置此計數器，而partial_fit會導致增加現有計數器。 |
| average | bool or int, default=False 設置為True時，將計算平均SGD權重并將結果存儲在 coef_屬性中。如果將int設置為大于1，則一旦看到的樣本總數達到平均值就會開始平均。如average=10，將在看到10個樣本后開始平均。 |
| 屬性 | 說明 |
|---|---|
| coef_ | ndarray of shape (n_features,) 分配給特征的權重。 |
| intercept_ | ndarray of shape (1,) 決策函數中的常數項。 |
| average_coef_ | ndarray of shape (n_features,) 分配給特征的平均權重。僅在 average=True時可用。從0.23版 average_coef_開始不推薦使用*：*此屬性在0.23版中不再推薦使用，并且將從0.25版中刪除。 |
| average_intercept_ | ndarray of shape (1,) 平均截距項。僅在 average=True時可用。從0.23版 average_intercept_開始不推薦使用*：*此屬性在0.23版中不再推薦使用，并且將從0.25版中刪除。 |
| n_iter_ | int 達到停止標準之前的實際迭代次數。 |
| t_ | int 訓練期間進行的權重更新次數，與 (n_iter_ * n_samples)相同。 |
另見
示例
>>> import numpy as np
>>> from sklearn.linear_model import SGDRegressor
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.preprocessing import StandardScaler
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> reg = make_pipeline(StandardScaler(),
... SGDRegressor(max_iter=1000, tol=1e-3))
>>> reg.fit(X, y)
Pipeline(steps=[('standardscaler', StandardScaler()),
('sgdregressor', SGDRegressor())])
方法
| 方法 | 說明 |
|---|---|
densify() |
將系數矩陣轉換為密集數組格式。 |
fit(X, y[, coef_init, intercept_init, …]) |
用隨機梯度下降擬合線性模型。 |
get_params([deep]) |
獲取此估計器的參數。 |
partial_fit(X, y[, sample_weight]) |
對給定的樣本進行一次隨機梯度下降的迭代。 |
predict(X) |
使用線性模型進行預測。 |
score(X, y[, sample_weight]) |
返回預測的確定系數R ^ 2。 |
set_params(**kwargs) |
設置并驗證估計器的參數。 |
sparsify() |
將系數矩陣轉換為稀疏格式。 |
__init__(loss='squared_loss', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)
初始化self， 請參閱help(type(self))以獲得準確的說明。
densify()
將系數矩陣轉換為密集數組格式。
將coef_數值（返回）轉換為numpy.ndarray。這是coef_的默認格式，并且是擬合模型所需的格式，因此僅在之前被稀疏化的模型上才需要調用此方法。否則，它是無操作的。
| 返回值 | 說明 |
|---|---|
| self | 擬合估計器。 |
fit(X, y, coef_init=None, intercept_init=None, sample_weight=None)
[源碼]
用隨機梯度下降擬合線性模型。
| 參數 | 說明 |
|---|---|
| X | {array-like, sparse matrix} of shape (n_samples, n_features) 訓練數據 |
| y | ndarray of shape (n_samples,) 目標標簽。 |
| coef_init | ndarray of shape (n_features,), default=None 用于熱啟動優化的初始系數。 |
| intercept_init | ndarray of shape (1,), default=None 初始截距以熱啟動優化。 |
| sample_weight | array-like, shape (n_samples,), default=None 應用于各個樣本的權重（1表示未加權）。 |
| 返回值 | 說明 |
|---|---|
| self | returns an instance of self. 返回self的實例。 |
get_params(deep=True)
[源碼]
獲取此估計器的參數。
| 參數 | 說明 |
|---|---|
| deep | bool, default=True 如果為True，返回此估計器和所包含子對象的參數。 |
| 返回值 | 說明 |
|---|---|
| params | mapping of string to any 參數名稱映射到其值。 |
partial_fit(X, y, sample_weight=None)
[源碼]
對給定的樣本進行一次隨機梯度下降的迭代。
在內部，此方法使用max_iter = 1。因此，不能保證調用一次后達到損失函數的最小值。目標收斂、提前停止等問題由用戶自行處理。
| 參數 | 說明 |
|---|---|
| X | {array-like, sparse matrix}, shape (n_samples, n_features) 訓練數據的子集 |
| y | numpy array of shape (n_samples,) 目標值的子集 |
| sample_weight | array-like, shape (n_samples,), default=None 權重應用于各個樣本。如果未提供，則假定權重相同。 |
| 返回值 | 說明 |
|---|---|
| self | returns an instance of self. 返回self的實例。 |
predict(X)
[源碼]
使用線性模型進行預測。
| 參數 | 說明 |
|---|---|
| X | {array-like, sparse matrix}, shape (n_samples, n_features) 樣本數據 |
| 返回值 | 說明 |
|---|---|
| C | ndarray of shape (n_samples,) X中每個樣本的預測目標值。 |
score(X, y, sample_weight=None)
[源碼]
返回預測的確定系數R ^ 2。
系數R ^ 2定義為（1- u / v），其中u是殘差平方和（（y_true-y_pred）** 2）.sum（），而v是總平方和（（y_true- y_true.mean（））** 2）.sum（）。可能的最高得分為1.0，并且也可能為負（因為該模型可能會更差）。一個常數模型總是預測y的期望值，而不考慮輸入特征，得到的R^2得分為0.0。
| 參數 | 說明 |
|---|---|
| X | array-like of shape (n_samples, n_features) 測試樣本。對于某些估計量，這可以是預先計算的內核矩陣或通用對象列表，形狀為（n_samples，n_samples_fitted），其中n_samples_fitted是用于擬合估計器的樣本數。 |
| y | array-like of shape (n_samples,) or (n_samples, n_outputs) X的真實值。 |
| sample_weight | array-like of shape (n_samples,), default=None 樣本權重。 |
| 返回值 | 說明 |
|---|---|
| score | float 預測值與真實值的R^2。 |
注
調用回歸器中的score時使用的R2分數，multioutput='uniform_average'從0.23版開始使用 ，與r2_score默認值保持一致。這會影響多輸出回歸的score方法（ MultiOutputRegressor除外）。
set_params(**params)
[源碼]
設置并驗證此估計器的參數。
| 參數 | 說明 |
|---|---|
| **params | dict 估計器參數。 |
| 返回值 | 說明 |
|---|---|
| self | object 估計器實例。 |
sparsify()
[源碼]
將系數矩陣轉換為稀疏格式。
將coef_數值轉換為scipy.sparse矩陣，對于L1正規化的模型，該矩陣比通常的numpy.ndarray具有更高的內存和存儲效率。
該intercept_數值未轉換。
| 返回值 | 說明 |
|---|---|
| self | 擬合估計器。 |
注
對于非稀疏模型，即當coef_中零的個數不多時，這實際上可能會增加內存使用量，因此請謹慎使用此方法。經驗法則是，可以使用(coef_ == 0).sum()計算得到的零元素的數量必須大于50％，這時的效果是顯著的。
在調用densify之前，調用此方法將無法進一步使用partial_fit方法（如果有）。
