昇思25天学习打卡营第1天 | 根本先容

在深入学习和实现深度学习算法时，明白其背后的原理和机制至关告急。通过利用纯Python实现一个简单的神经网络，我们可以更好地明白这些根本概念，而无需依靠诸如PyTorch或TensorFlow等高级深度学习框架。以下是我在编写和研究以上代码时的一些学习心得：
1. 神经网络的根本构成

神经网络由多个层构成，每层包罗多少节点（神经元）。在这个简单的示例中，我们实现了一个两层神经网络，包罗一个隐蔽层和一个输出层。每个神经元通过权重毗连到下一层的神经元，这些权重在练习过程中会不绝调解以优化模子的性能。
2. 激活函数

激活函数在神经网络中起着至关告急的作用。它引入了非线性，使得神经网络可以学习和体现更复杂的函数。我们在代码中利用了sigmoid激活函数，它将输入值映射到0到1之间，而且其导数易于盘算，得当作为练习过程中的激活函数。

2. def sigmoid(x):
3.     return 1 / (1 + math.exp(-x))
5. def sigmoid_derivative(x):
6.     return x * (1 - x)

复制代码

3. 前向流传和反向流传

前向流传是指数据从输入层颠末隐蔽层转达到输出层的过程。在这个过程中，输入数据通过每层的权重举行加权求和，并通过激活函数得到输出。反向流传则是通过盘算输出与盼望结果之间的毛病，并将毛病反向流传，通过梯度降落法调解权重，以最小化毛病。

2. def forward_propagate(inputs, weights_input_hidden, weights_hidden_output):
3.    
4.     return hidden_layer_output, final_layer_output
6. def back_propagate(inputs, hidden_layer_output, final_layer_output, expected_output, weights_input_hidden, weights_hidden_output, learning_rate):

复制代码

4. 丧失函数

丧失函数用于权衡模子推测值与实际值之间的差距。在这个实现中，我们利用均方毛病（MSE）作为丧失函数。每个epoch竣过后，我们盘算并输出当前的丧失值，以监控练习过程中的模子性能。

2. loss = sum((expected_output[i][j] - forward_propagate(inputs[i], weights_input_hidden, weights_hidden_output)[1][j]) ** 2 for i in range(len(inputs)) for j in range(len(expected_output[0])))

复制代码

 5. 超参数选择

超参数（如学习率、隐蔽层节点数和练习次数等）的选择对于模子的练习结果有着显着影响。学习率决定了每次权重更新的步长，过高的学习率大概导致练习不稳固，而过低的学习率则大概导致练习时间过长。通过不绝调解这些超参数，我们可以找到使模子到达最佳性能的参数组合。
6. 练习和推测

在练习过程中，通过不绝地前向流传和反向流传来调解模子的权重。练习完成后，我们可以利用练习好的模子举行推测。通过输入差别的数据，我们可以得到模子的推测输出，并评估其性能。

2. for input_data in inputs:
3.     _, prediction = forward_propagate(input_data, trained_weights_input_hidden, trained_weights_hidden_output)
4.     print(f'Input: {input_data}, Prediction: {prediction}')

复制代码

总结

通过这次实现简单神经网络的实践，我更加深入地明白了神经网络的工作原理和练习过程。只管当代深度学习框架大大简化了神经网络的实现和练习过程，但明白这些根本原理对于深入把握和应用深度学习技能仍然至关告急。这个练习不但资助我巩固了理论知识，还进步了我办理实际题目的本事。将来，我会继承探索更复杂的网络结构和优化算法，不绝提拔自己的深度学习技能。