Aplicación de la regla de la cadena

Lo interesante de esto es que, una vez calculadas estas derivadas parciales, podemos usar la regla de la cadena para seguir recorriendo la red neuronal de derecha a izquierda, calculando el resto de derivadas parciales. Así, si quisiéramos calcular la derivada parcial de la función de coste parcial C_i con respecto a a₁ podríamos hacerlo aplicando la regla de la cadena:

Si tenemos en cuenta la relación entre a₁ y z₃:

...podemos calcular la derivada parcial de z₃ con respecto a a₁:

...y así sucesivamente. Y recordemos que para obtener la función de coste total C bastaría con sumar las funciones de coste parciales.

El resultado de este proceso para una única muestra es el conjunto de derivadas parciales de la función de coste con respecto a cada parámetro achacables a dicha muestra.

Si llamamos a este resultado "gradiente parcial" (achacable a una muestra), la suma de todos los gradientes parciales forma el llamado gradiente o vector gradiente de la función de coste, vector que apunta -tal y como hemos visto- en la dirección de máximo crecimiento de la función (en este caso de la función de error).

Como podemos ver, es este cálculo iterativo que recorre la red de derecha a izquierda el que da el nombre a este método de aprendizaje: backpropagation o retropropagación en español.