Gradiente, Newton y métodos de descenso

Escribimos x_nuevo=x+αp, con α>0. p es la dirección propuesta y α su longitud relativa a ese vector. Escalar p y compensar α puede producir el mismo desplazamiento. Para decidir si el movimiento mejora hay que evaluar la función en el nuevo punto, no solo observar el signo de una coordenada.

En esta lección minimizamos funciones diferenciables sin restricciones. Una frontera o un dominio limitado exige mantener las evaluaciones en la zona permitida, usar proyección u otro método adecuado. No se mueve libremente una variable que el modelo haya restringido.

Entre vectores p de norma euclídea uno, Cauchy–Schwarz da gᵀp≥−‖g‖₂, alcanzado en p=−g/‖g‖₂. La afirmación compara movimientos con el mismo tamaño según una norma concreta.

Cambiar la norma o las escalas de las variables cambia qué movimientos se consideran igual de grandes. El gradiente euclídeo no es una dirección universalmente mejor bajo cualquier geometría. Si g=0, el argumento no produce descenso estricto y hay que estudiar el punto.

Si el gradiente es L-Lipschitz en la región utilizada, integrar su cambio a lo largo del segmento da f(x+d)≤f(x)+gᵀd+(L/2)‖d‖². En efecto, el resto es ∫₀¹[∇f(x+td)−g]ᵀd dt, acotado por ∫₀¹Lt‖d‖²dt. El segmento debe estar dentro de esa región.

Para 0<α<2/L es positiva si g≠0. α≤1/L ofrece una cota sencilla. La constante debe ser válida para la función y escala actuales: escoger siempre 0,1 no es una garantía general.

Para una dirección con gᵀp<0, Armijo pide f(x+αp)≤f(x)+cαgᵀp, con 0<c<1. El lado derecho exige una parte del descenso lineal previsto. Empezamos por una longitud y la multiplicamos por β∈(0,1) hasta cumplirla, evaluando solo dentro del dominio.

Como la dirección es estrictamente de descenso, el resto queda suficientemente pequeño para aceptar longitudes positivas pequeñas. Esto justifica terminación ideal bajo las hipótesis; límites de evaluación, dominio y precisión finita deben informarse si impiden aceptar, sin llamarlo convergencia.

Para una cuadrática con Hessiana simétrica definida positiva, las direcciones propias tienen factores 1−αλⱼ en gradiente de paso fijo. El mayor autovalor limita α; el pequeño puede dejar un factor muy próximo a uno. Así aparece avance lento o zigzag entre paredes estrechas.

Escalar variables o precondicionar puede cambiar la geometría del cálculo. Si una matriz M es definida positiva, p=−M⁻¹g es de descenso porque gᵀp=−gᵀM⁻¹g<0. Se resuelve el sistema para p; no hace falta formar la inversa. El coste y la calidad de esa matriz importan, y no se promete una mejora universal sin analizarlos.

Su gradiente respecto del incremento es g+Hp; Newton resuelve Hp=−g. Si H es definida positiva, el modelo tiene mínimo único y la dirección es de descenso para g≠0. La longitud puede seguir necesitando control.

Una Hessiana indefinida puede dar ascenso, y una singular puede producir incompatibilidad o varios pasos. No se interpreta el método como una búsqueda automática de mínimos solo porque anule derivadas. Modificar la Hessiana, usar retroceso o una región de confianza son posibles salvaguardas con análisis propio.

Cerca de un mínimo con Hessiana definida positiva, si la Hessiana es localmente Lipschitz y permanece invertible con control, Newton de paso completo tiene error siguiente acotado por una constante por el cuadrado del anterior. Se necesita entrar y permanecer en una vecindad adecuada; empezar lejos puede dar un paso muy malo.

La garantía global de un método requiere más información. Por ejemplo, con objetivo acotado inferiormente y gradiente globalmente L-Lipschitz, gradiente con α fijo en (0,2/L) permite sumar las cotas de descenso: Σ‖gₖ‖² es finita y gₖ→0. Esto controla estacionariedad; no afirma por sí solo convergencia de los puntos ni mínimo global en un problema no convexo.

Un gradiente pequeño mide estacionariedad aproximada con la escala del objetivo. Un paso pequeño puede venir de una longitud elegida diminuta o de estancamiento. Una reducción pequeña puede deberse a redondeo. Ninguno equivale automáticamente a una distancia pequeña al mínimo.

Si hay convexidad fuerte de parámetro m>0 y mínimo sin restricciones, podemos usar f(x)−f*≤‖g‖²/(2m) y ‖x−x*‖≤‖g‖/m. Si no hay esa estructura, informamos el control que realmente tenemos y revisamos la naturaleza del candidato. La parada combina tolerancias, escala, evaluaciones y límites sin convertir un límite de iteración en certificado.