呆板学习底子知识使用总结

数据科学

•         AI
  
•         ML
  
•         DL (deep learning)
  
•         Maths& statistics
  
•         visualization
  
•         EDA
  

1.datascience

3. import numpy as np
5. """
6. numpy :数学计算库,主要用于数组计算
8. """
10. print(np.__version__)
11. #ndarry数组的创建与基本操作#
13. #将列表转换为数组
14. arr= np.array([1,2,3,4,5])
15. print(arr)
16. print(arr.itemsize)
18. #创建等差数列数组
19. arr=np.arange(0,10,2)  #从0开始，到10结束（不包含10），步长为2
20. print(arr)
21. print("############################################")
22. #数组基本属性：shape (形状),dtype (数据类型)
23. arr=np.array([[1,2,3],[4,5,6]]) #输出(2,3)，表示二维数组，第一维有2个元素，第二维有3个元素
24. print(arr.shape)
25. print(arr.dtype)
27. #最小维度
28. a = np.array([1,2,3,4,5],ndmin=2)
29. print(a)

复制代码

2. import os
3. import pandas as pd
4. import matplotlib.pyplot as plt
6. """
7. pandas库主要用于数据分析（清洗，转换，分析，可视化）
8.   
9.   功能：
10.    1.数据清洗：处理缺失数据、重复数据
11.    2.数据转换：改变数据的形状，结构或格式
12.    3.数据分析：进行统计分析、聚合、分组
13.    4.数据可视化：通过整合matplotlib等库进行数据可视化
15.   数据结构：
16.       1.Series:一维数据,由 index,Name,values组成
17.       2.DataFrame：表格型的数据结构，含有一组有序的列，每列可以是不同的值类型（数值，字符串、布尔值）组；
18.                    DataFrame即有行索引也有列索引，可以被看做由Series组成的字典（共同用一个索引）;
19.                    DataFrame由Index、Key、Value 组成;
20. """
22. #1. series (类似一维数组)#
23. a = [12, 3, 4]
24. res = pd.Series(a,name='年龄')
25. print(res)
26. print(f"索引2对应的值：{res[2]}")
28. #查看基本信息
29. print("索引：",res.index)
30. print("数据:",res.values)
31. print("数据类型:",res.dtype)
32. print("前两行数据:",res.head(2))
34. #使用map函数将每个元素加倍
35. res_double=res.map(lambda x:x*2)
36. print("元素加倍后:",res_double)
37. #查找缺失值（没有缺失值，全部返回false）
38. print("缺失值判断：",res.isnull())
39. #计算累计求和
40. sum_res=res.cumsum()
41. print("累计求和：",sum_res)
42. #排序
43. sorted_res=res.sort_values()
44. print("排序后结果为：",sorted_res)
45. print(res.sum())  # 输出 Series 的总和
46. print(res.mean())  # 输出 Series 的平均值
47. print(res.max())  # 输出 Series 的最大值
48. print(res.min())  # 输出 Series 的最小值
49. print(res.std())  # 输出 Series 的标准差
51. print("=====================series (类似一维数组) end===========================")
53. #2.DataFrame表格 (存在数据)#
54. plt.rcParams['font.family'] = 'SimHei'  # 替换为你选择的字体
55. mydataset={
56.     "sites": ["google","Runoob","wiki"],
57.     "number": [1,2,3]
58. }
59. df = pd.DataFrame(mydataset)    #绘图：填充数据
60. df.plot(kind='bar',x='sites',y='number',figsize=(8, 5))
61. plt.title("i'm title标题")
62. plt.xlabel("x sites")
63. plt.ylabel("y number")
64. plt.show()
65. print("=====================DataFrame表格  end ===========================")
67. #3.合并2个 Series对象成一个DataFrame#
68. series_apple=pd.Series([1,2,7,4])
69. series_banana=pd.Series([2,6,3,5])
70. df=pd.DataFrame({'Apples':series_apple,'Bananas':series_banana})
71. #显示dataFrame
72. print(df)
73. print("=====================合并2个 Series对象成一个DataFrame  end ===========================")
76. #4.dataframe#
78. data = {
79.     'Name': ['alice','bob','charlies','david'],
80.     'Age': [25,30,35,40],
81.     'City': ['New York','Los Angeles','Chicago','Huston']
82. }
83. df=pd.DataFrame(data)
85. print(df.head(2)) #查看前两行数据
86. print(df.info()) #查看dataframe基本信息
87. print(df.describe()) #获取描述统计信息
88. print("================================================")
89. #按年龄排序
90. df_sorted= df.sort_values(by='Age',ascending=False)
91. print(df_sorted)
92. print("================================================")
93. #选择指定列
94. print(df[['Name',"Age"]])
95. print("================================================")
96. #按照索引选择行
97. print(df.iloc[1:3]) #选择第二到第三行
98. print("================================================")
99. #分组统计,按城市分组，计算平均年龄
100. print(df.groupby('City')['Age'].mean())
101. print("================================================")
102. #处理缺失值(填充缺失值)
103. df['Age']=df['Age'].fillna(70)
104. print("路径：",os.getcwd())
105. #导出为cvs文件
107. df.to_csv('./data/output.csv',index=False)  # 导出时不导出index列
108. print("=====================导出csv成功===========================")
110. #读取cvs文件数据，加载为DataFrame
111. df=pd.read_csv("./data/vgsales.csv")
112. #print(df.to_string())  #显示dataframe读取到的所有数据
113. print(df.head(10)) #读取前10行数据
114. print(df.tail(10)) #读取尾10行数据
116. print("=====================dataframe end===========================")
118. #5. pandas excel
119. df=pd.read_excel('./data/transactions.xlsx') #读取excel表单数据
120. print(df)
121. df=pd.read_excel('./data/transactions.xlsx',sheet_name='Sheet2',skiprows=0) #读取指定sheet名字的数据
122. print(df)
124. print("=====================pandas excel end===========================")
126. #6.pandas JSON
127. df = pd.read_json('./data/sites.json')
128. print(df.to_string())
130. data=[
131.    {
132.    "id": "A001",
133.    "name": "菜鸟教程",
134.    "url": "www.runoob.com",
135.    "likes": 61
136.    },
137.    {
138.    "id": "A002",
139.    "name": "Google",
140.    "url": "www.google.com",
141.    "likes": 124
142.    },
143.    {
144.    "id": "A003",
145.    "name": "淘宝",
146.    "url": "www.taobao.com",
147.    "likes": 490
148.    }
149. ]
151. df=pd.DataFrame(data)
152. print(df)
154. print("=====================pandas JSON end===========================")
155. #7.数据清洗#
156. person = {
157.   "name": ['Google', 'Runoob', 'Runoob', 'Taobao'],
158.   "age": [50, 40, 40, 23]
159. }
160. df = pd.DataFrame(person)
161. print(df.duplicated())  #查找是否有重复值：有 true，否则 false
162. print(df.drop_duplicates()) #删除重复值
163. print("=====================数据清洗 end===========================")
165. # dfs=pd.read_html('https://www.runoob.com')
166. # df=dfs[0]
167. # print("result:",df.columns)

复制代码

2. import matplotlib.pyplot as plt
3. import numpy as np
5. """
6. matplotlib 是python的绘图库，主要用于绘制各种静态、动态、交互式的图表，
7. 可以绘制线图、散点图、等高线图、条形图、柱状图、3D 图形、甚至是图形动画等等。
8. """
10. # print(mat.__version__)
12. # xpoints = np.array([0,6])
13. # ypoints = np.array([0,100])
15. #plt.plot(xpoints,ypoints)
16. #plt.scatter(xpoints,ypoints)
17. #plt.bar(xpoints,ypoints)
18. # plt.hist(xpoints,ypoints)
19. # plt.show()
21. # plt.rcParams['font.family'] = 'SimHei'  # 替换为你选择的字体
22. #
23. # ypoints=np.array([1,3,4,5,8,9,6,1,3,4,5,2,4])
24. # plt.plot(ypoints,'+:r')
25. # #plt.plot(ypoints,marker='*')
26. # plt.title("i'm title标题")
27. # plt.xlabel("x girl")
28. # plt.ylabel("y boy")
29. # plt.show()
31. #绘制正余弦
32. # x= np.arange(0,4*np.pi,0.1) # start ,stop,step
33. # y=np.sin(x)
34. # z=np.cos(x)
35. # plt.plot(x,y,x,z)
36. # plt.show()
38. #网格线
39. # x=np.array([1,2,3,4])
40. # y=np.array([1,4,9,16])
41. #
42. # plt.title("grid Test")
43. # plt.xlabel("x-label")
44. # plt.ylabel("y-label")
45. # plt.plot(x,y)
46. # plt.grid()
47. # plt.show()
49. #绘制多图
50. #plot1
51. # xpoints=np.array([0,6])
52. # ypoints=np.array([0,100])
53. # plt.subplot(1,2,1)
54. # plt.plot(xpoints,ypoints)
55. # plt.title("plot1")
56. #
57. # #plot2
58. # x=np.array([1,2,3,4])
59. # y=np.array([1,4,9,16])
60. # plt.subplot(1,2,2)
61. # plt.plot(x,y)
62. # plt.title("plot2")
63. #
64. # plt.suptitle("subplot test")
65. # plt.show()
67. #散点图
68. # x = np.array([1, 2, 3, 4, 5, 6, 7, 8])
69. # y = np.array([1, 4, 9, 16, 7, 11, 23, 18])
70. # colors=np.array(["red","green","black","orange","purple","beige","cyan","magenta"])
71. # plt.scatter(x,y,c=colors)
72. # plt.show()
74. #绘制柱形图
75. # x=np.array(["test1","test2","test3","test4"])
76. # y=np.array([12,22,6,18])
77. # plt.bar(x,y,color = "#4CAF50")
78. # plt.show()
80. #绘制饼状图
81. y=np.array([35,25,15,15])
82. plt.pie(y,
83.         labels=['A','B','C','D'],
84.         colors=["#d5695d", "#5d8ca8", "#65a479", "#a564c9"]
85.         )
86. plt.title("title heha")
87. plt.show()
89. #保存图像数据#
90. # img=np.random.rand(10,10,3)
91. # #绘制图像
92. # plt.imshow(img)
93. # #显示图像
94. # plt.show()
95. # #保存图像数据
96. # plt.imsave("./data/test.png",img)
98. #读取图像文件数据#
99. img=plt.imread('./data/img.png')
100. plt.imshow(img)
101. plt.show()

复制代码

2.呆板学习                                                                                                                                         

  

2. import sklearn
3. from sklearn.datasets import load_iris
4. from sklearn.model_selection import train_test_split
5. from sklearn.pipeline import Pipeline
6. from sklearn.preprocessing import StandardScaler
7. from sklearn.svm import SVC
9. """
10. Sklearn，全称为 Sklearn，是一个基于 Python的开源机器学习库
11. Sklearn 适用于各类机器学习任务，如分类、回归、聚类、降维等
12. """
14. #验证scikit-learn（机器学习库）是否安装成功
15. print(sklearn.__version__)
17. #PipeLine 使用#
18. #1.加载数据
19. data= load_iris()
20. x,y= data.data,data.target
22. #2.将数据集划分为训练集和测试集
23. X_train,X_test,y_train,y_test= train_test_split(x,y,test_size=0.2,random_state=42)
24. #3.创建PipeLine
25. pipeline= Pipeline([
26.     ('scaler',StandardScaler()), #数据标准化
27.     ('svc',SVC()) #支持向量机分类
28. ])
29. #4.训练模型
30. pipeline.fit(X_train,y_train)
31. #5.预测结果
32. y_pred=pipeline.predict(X_test)
33. #6.打印模型精度
34. print(f"Model accuracy:{pipeline.score(X_test,y_test)}")

复制代码

2. import pandas as pd
3. from sklearn.tree import DecisionTreeClassifier
4. from sklearn.model_selection import train_test_split
5. from sklearn.metrics import accuracy_score
6. """
7. 机器学习利用模型预测结果步骤
8. """
10. #1.导入数据
11. music_data=pd.read_csv('./data/music.csv')
12. #music_data
14. #2.清洗数据
15. x=music_data.drop(columns=['genre'])  #删除列
16. y = music_data['genre']  #获取一列数据
18. #3.分隔数据成训练的数据集
19. x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2)
20. #4.创建模型
21. model= DecisionTreeClassifier()
22. model.fit(x,y)
23. #5.利用模型预测结果
24. predictions=model.predict(x_test)
25. #predictions
26. # 6.计算准确的结果
27. score=accuracy_score(y_test,predictions)
28. score

复制代码

2. import pandas as pd
3. from sklearn.tree import DecisionTreeClassifier
4. import joblib
6. """
7. 持久化模型
8. """
10. #1.导入数据
11. music_data=pd.read_csv('./data/music.csv')
13. #2.清洗数据
14. x=music_data.drop(columns=['genre'])  #删除列
15. y = music_data['genre']  #获取一列数据
17. #4.创建模型
18. model= DecisionTreeClassifier()
19. model.fit(x,y)
20. #5.存储训练的模型
21. joblib.dump(model,'./data/music-recommender.joblib')
22. #6.利用模型预测结果
23. #predictions=model.predict([[21,1]])

复制代码

2. import pandas as pd
3. from sklearn.tree import DecisionTreeClassifier
4. import joblib
6. """
7.    加载训练模型
8. """
9. #加载训练的music模型#
10. model=joblib.load('./data/music-recommender.joblib')
11. #利用训练的模型预测结果
12. predictions=model.predict([[21,1]])
13. print("加载训练模型,预测结果为：")
14. for obj in predictions:
15.     print(obj)

复制代码

3. import pandas as pd
4. from sklearn.tree import DecisionTreeClassifier
5. from sklearn import tree
7. """
8. 绘图显示模型
9. """
10. #导入数据
11. music_data=pd.read_csv('./data/music.csv')
13. #.清洗数据
14. x=music_data.drop(columns=['genre'])  #删除列
15. y = music_data['genre']  #获取一列数据
17. #创建模型
18. model= DecisionTreeClassifier()
19. model.fit(x,y)
21. #绘图显示模型
22. tree.export_graphviz(model,
23.                      out_file='./data/music-recommer.dot',#out_file：以何种图像语言描述
24.                      feature_names=['age','gender'],
25.                      class_names=sorted(y.unique()),
26.                      label='all',
27.                      rounded=True, #四舍五入
28.                      filled=True
29.                      )  
31. print("绘图显示模型成功！")

复制代码

查察xx.dot文件如下：

vscode设置Graphviz和dot语言环境:
1.安装Graphviz （https://www.graphviz.org/）
2.查察dot文件必须给vscode安装vscode-graphviz插件和Graphviz Interactive Preview 插件
3.实行下令：graphviz: open preveiw to the side

3.pytorch

2. from  torch.utils.data.dataset import Dataset
3. from PIL import Image
4. import os
6. """
7. 创建一个Dataset步骤
9.    定义一个MyData类继承Dataset，实现getitem和len方法来读取数据和返回数据数量
11.   注意：
12.   1. __init__方法中，需要传入root_dir和label_dir参数，分别表示数据集根路径和所需label路径
13.   2. __getitem__方法中，需要返回img和label，img为PIL Image格式的图片，label为图片所对应的label
14.   3. __len__方法中，返回数据集的图片数量
15.   """
16. class MyData(Dataset):
17.     def __init__(self,root_dir,label_dir):
18.         self.root_dir = root_dir
19.         self.label_dir = label_dir
20.         self.path=os.path.join(self.root_dir,self.label_dir)
21.         self.img_path=os.listdir(self.path)
23.     def __getitem__(self, idx):
24.         img_name= self.img_path[idx]
25.         img_item_path=os.path.join(self.root_dir,self.label_dir,img_name)
26.         img=Image.open(img_item_path)
27.         label= self.label_dir
28.         return img,label
30.     def __len__(self):
31.         return len(self.img_path)
33. root_dir= "./dataset/train"
34. ants_label_dir="ants_image"
35. bees_label_dir="bees_image"
37. ants_dataset= MyData(root_dir,ants_label_dir)
38. bees_dataset= MyData(root_dir,bees_label_dir)
40. #拼接两个数据集
41. train_dataset= ants_dataset + bees_dataset
42. print(len(train_dataset))
44. #显示制定的图片
45. img,label = train_dataset[243]
46. img.show()

复制代码

2. import os
4. """
5. 重命名数据集标签
6. """
7. root_dir="./dataset/train"
8. target_dir="ants_image"
9. img_path=os.listdir(os.path.join(root_dir,target_dir))
10. label=target_dir.split('_')[0]
11. out_dir="ants_label"
12. for i in img_path:
13.     filename=i.split('.jpg')[0]
14.     with open(os.path.join(root_dir,out_dir,"{}.txt".format(filename)),'w') as f:
15.         f.write(label)

复制代码

2. from torch.utils.tensorboard import SummaryWriter
4. #使用SummaryWriter写日志
5. writer = SummaryWriter("logs")
7. for i in range(100):
8.     writer.add_scalar("y=2x",3*i,i)
9. writer.close()
11. """
12. tensorboard使用
13. 1.查看logs文件方法：
14.    terminal中 执行 tensorboard --logdir=pytorchDemo/logs 命令；
15.    点击访问地址：默认本地http://localhost:6006
16. """

复制代码

运行下令：tensorboard --logdir=logs ，tensonboard表现如下：