呆板学习讲堂5二分类与逻辑回归

1.2-8线性回归举行二分类

代码

2. #  2-8线性回归进行二分类
3. import numpy as np
4. import matplotlib.pyplot as plt
6. #  参数设置
7. iterations = 20  # 迭代次数
8. learning_rate = 0.1  # 学习率
9. dataset = 1  # 选择训练数据集
10. threshold = 0.5  # 判决门限
11. # 训练数据集
12. if dataset == 1:  # 数据集1
13.     x_train = np.array([50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70]).reshape(
14.         (1, -1))
15.     y_train = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]).reshape((1, -1))
16. elif dataset == 2:  # 数据集2
17.     x_train = np.array(
18.         [0, 5, 10, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70]).reshape((-1, 1))
19.     y_train = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]).reshape((1, -1))
20. m_train = x_train.size  # 训练样本数量
21. # 标准化输入特征
22. mean = np.mean(x_train)
23. std = np.std(x_train, ddof=1)
24. x_train = (x_train - mean) / std
25. # 初始化
26. w, b = 0, 0
27. v = np.ones((1, m_train)).reshape((1, -1))
28. costs_saved = []
29. # 梯度下降法
30. for i in range(iterations):
31.     e = w * x_train + b * v - y_train
32.     b = b - 2. * learning_rate * np.dot(v, e.T) / m_train
33.     w = w - 2. * learning_rate * np.dot(x_train, e.T) / m_train
34.     #  保存代价函数值
35.     costs = np.dot(e, e.T) / m_train
36.     costs_saved.append(costs.item(0))
37. #  打印最新权重与偏差
38. print(f'Weight={w.item(0):.3f}')
39. print(f'Bias={b.item(0):.3f}')
40. # 画代价函数值
41. plt.plot(range(1, np.size(costs_saved) + 1), costs_saved, 'r-o', linewidth=2, markersize=5)
42. plt.ylabel('costs')
43. plt.xlabel('itertions')
44. plt.title('learning rate=' + str(learning_rate))
45. plt.show()
46. y_train_hat = (w * x_train + b) >= threshold
47. print('Trainset class:', np.array2string(np.squeeze(y_train, axis=0)))
48. print('Predicted class:', np.array2string(np.squeeze(y_train_hat.astype(int), axis=0)))
49. # 画拟合直线
50. plt.figure()
51. plt.plot(x_train[0] * std + mean, y_train[0], 'xc', markersize=12, markeredgewidth=2,
52.          label='training examples')
53. plt.plot(x_train[1:] * std + mean, y_train[1:], 'xc', markersize=12, markeredgewidth=2)  # 画训练样本
54. plot_x = np.arange(np.amin(x_train), np.amax(x_train) + 0.01, 0.01).reshape((-1, 1))  # 生成用于画图的x坐标
55. plot_y = w * plot_x + b  # 拟合直线y坐标）
56. plot_x = plot_x * std + mean  # 特征缩放的逆过程
57. plt.plot(plot_x, plot_y >= threshold, '--y', linewidth=2, label='predicted grade')  # 画判决后的类别值
58. plt.plot(plot_x, plot_y, 'r', linewidth=2, label='Fittted straight line')  # 画拟合直线
59. plt.xlabel('Points')
60. plt.ylabel('Grade')
61. plt.legend()
62. plt.show()
63. 结果图<img alt=""  src="[img]https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvYmVkMzU5NjZhZWU1NGYwZTlmMmQ5YzI1MzY5ODlkNzAucG5n[/img]"  />

复制代码

2.2-9逻辑回归分类猜测

代码

2. #  2-9逻辑回归分类预测
3. import pandas as pd
4. import numpy as np
5. import matplotlib.pyplot as plt
7. #  参数设置
8. iterations = 1000  # 迭代次数
9. learning_rate = 0.1  # 学习率
10. m_train = 250  # 训练样本数量
12. # 读入酒驾检测数据集
13. df = pd.read_csv('alcohol_dataset.csv')
14. data=np.array(df)
15. m_all = np.shape(data)[0]  # 样本总数
16. d =np.shape(data)[1] - 1  # 输入特征的维数
17. m_test = m_all - m_train  # 测试数据集样本数量
18. # 构造随机种子为指定值的随机数生成器，并对数据集中样本随机排序
19. rng=np.random.default_rng(1)
20. rng.shuffle(data)
21. # 对输入特征标准化
22. mean=np.mean(data[0:m_train, 0:d], axis=0)  # 计算训练样本输入特征的均值
23. std=np.std(data[0:m_train, 0:d], axis=0, ddof=1)  # 计算训练样本输入特诊的标准差
24. data[:, 0:d]=(data[:, 0:d]-mean)/std  # 标准化所有样本的输入特征
25. # 划分数据集
26. X_train = data[0:m_train, 0:d].T  # 训练集输入特征
27. X_test = data[m_train:, 0:d].T  # 测试集输入特征
28. Y_train = data[0:m_train, d].reshape((1, -1))  # 训练集目标值
29. Y_test = data[m_train:, d].reshape((1, -1))  # 测试集目标值
30. # 初始化
31. w = np.zeros((d, 1)).reshape((-1, 1))  # 权重
32. b = 0  # 偏差（标量）
33. v = np.ones((1, m_train))  # 1向量
34. costs_saved = []  # 用于保存代价函数的值
35. # 训练过程，迭代循环
36. for i in range(iterations):  # 更新权重与偏差
37.     z=np.dot(w.T, X_train)+ b * v  # 线性回归部分
38.     Y_hat = 1./(1+np.exp(-z))
39.     e = Y_hat - Y_train  # 计算误差
40.     Y_1_Y_hat=Y_hat * (1-Y_hat)
41.     b = b - 2. * learning_rate * np.dot(Y_1_Y_hat, e.T) / m_train  # 更新偏差
42.     w = w - 2. * learning_rate * np.dot(X_train, (Y_1_Y_hat*e).T) / m_train  # 更新权重
43.     # 保存代价函数的值
44.     costs = np.dot(e, e.T) / m_train
45.     costs_saved.append(costs.item(0))
46. #  打印最新权重与偏差
47. print('Weights=', np.array2string(np.squeeze(w, axis=1), precision=3))
48. print(f'Bias={b.item(0):.3f}')
49. # 画代价函数值
50. plt.plot(range(1, np.size(costs_saved) + 1), costs_saved, 'r-o', linewidth=2, markersize=5)
51. plt.ylabel('costs')
52. plt.xlabel('itertions')
53. plt.title('learning rate=' + str(learning_rate))
54. plt.show()
55. # 训练数据集上的分类错误
56. Y_train_hat = (np.dot(w.T, X_train) + b * v) >= 0
57. errors_train=np.sum(np.abs(Y_train_hat-Y_train))
58. print('Trainset Predicted errors=', errors_train.astype(int))
59. # 测试数据集上的分类错误
60. Y_test_hat=(np.dot(w.T,X_test)+b)>=0
61. errors_test=np.sum(np.abs(Y_test_hat-Y_test))
62. print('Testset Predicted errors=', errors_test.astype(int))

复制代码

结果图