您的位置:金沙手机版下载 > 黑色洛城 > 回归算法预测波士顿地区房价

回归算法预测波士顿地区房价

2019-10-10 16:48
正规方程(LinearRegression) 梯度下降(SGDRegressor)
适用于小规模数据集特征数量<100K 适用于大规模数据集>10K
一次运算得出 需要指定学习率, 须多次运算(迭代)得出
只适用于线性模型(可能出现过拟合问题) 适用于各种模型
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegression
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error
from sklearn.externals import joblib

def boston_line():

    lb = load_boston()
    x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)

    # 为数据增加一个维度,相当于把[1, 5, 10] 变成 [[1, 5, 10],]
    y_train = y_train.reshape(-1, 1)
    y_test = y_test.reshape(-1, 1)

    # 进行标准化
    std_x = StandardScaler()
    x_train = std_x.fit_transform(x_train)
    x_test = std_x.transform(x_test)

    std_y = StandardScaler()
    y_train = std_y.fit_transform(y_train)
    y_test = std_y.transform(y_test)

    # 正规方程预测
    lr = LinearRegression()
    lr.fit(x_train, y_train)
    lr_predict = std_y.inverse_transform(lr.predict(x_test))
    print("正规方程预测出的系数为:", lr.coef_)
    # 计算均方误差参数必须使用标准化之前的值
    print("正规方程的均方误差为:", mean_squared_error(std_y.inverse_transform(y_test),lr_predict))
    print("正规方程预测出的结果为:", lr_predict)


    # 梯度下降预测
    sgd = SGDRegressor()
    sgd.fit(x_train, y_train)
    sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
    print("梯度下降预测出的系数为:", sgd.coef_)
    # 计算均方误差参数必须使用标准化之前的值
    print("梯度下降的均方误差为:", mean_squared_error(std_y.inverse_transform(y_test),sgd_predict))
    print("梯度下降预测出的结果为:", sgd_predict)


    # 岭回归下降预测(alpha为正则化力度, 数值越大,特征对最后的结果影响越小)
    rid = Ridge(alpha=1.0)
    rid.fit(x_train, y_train)
    rid_predict = std_y.inverse_transform(rid.predict(x_test))
    print("岭回归预测出的系数为:", rid.coef_)
    # 计算均方误差参数必须使用标准化之前的值
    print("岭回归的均方误差为:", mean_squared_error(std_y.inverse_transform(y_test),rid_predict))
    print("岭回归预测出的结果为:", rid_predict)


    # 保存岭回归的模型(pkl格式)
    joblib.dump(rid, "./rid_model.pkl")

    # 加载岭回归的模型

    new_rid = joblib.load("./rid_model.pkl")
    new_rid_predict = std_y.inverse_transform(new_rid.predict(x_test))
    print("模型-->岭回归预测出的系数为:", rid.coef_)
    # 计算均方误差参数必须使用标准化之前的值
    print("模型-->岭回归的均方误差为:", mean_squared_error(std_y.inverse_transform(y_test),new_rid_predict))
    print("模型-->岭回归预测出的结果为:", new_rid_predict)

if __name__ == '__main__':
    boston_line()

黑色洛城 1

正式方程

黑色洛城 2

梯度下落

黑色洛城 3

岭回归

黑色洛城 4

岭回归模型

关于拟合曲线程度的剖断(不荒谬拟合为顶级)

黑色洛城 5

拟合曲线

有关拟合程度(以识别小车为例):

欠拟合:

黑色洛城,假定只选取"三个车轱辘",作为推断小车的根据, 这"超级市场小推车"也许也会被识别为汽车,那正是欠拟合

过拟合:

一经选用"七个轮子","有内燃机", "有方向盘","青绿",作为小车的论断依赖,那"灰色的赛车"就不恐怕被辨认为小车,分明这里多选取了"卡其灰"这一特性,那正是过拟合

本文由金沙手机版下载发布于黑色洛城,转载请注明出处:回归算法预测波士顿地区房价

关键词: