🧮 𝗠𝗘́𝗧𝗛𝗢𝗗𝗘 𝗗𝗘 𝗡𝗘𝗪𝗧𝗢𝗡-𝗥𝗔𝗣𝗛𝗦𝗢𝗡 : 𝗟’𝗔𝗟𝗚𝗢𝗥𝗜𝗧𝗛𝗠𝗘 𝗤𝗨𝗜 𝗘𝗦𝗧𝗜𝗠𝗘 𝗟𝗘𝗦 𝗠𝗢𝗗𝗘̀𝗟𝗘𝗦 𝗦𝗧𝗔𝗧𝗜𝗦𝗧𝗜𝗤𝗨𝗘𝗦

La méthode de Newton-Raphson est une technique numérique permettant de rechercher rapidement la solution d’une équation non linéaire.

Son principe est simple : on part d’une valeur initiale, puis on améliore progressivement cette approximation en utilisant la pente de la fonction.

La formule générale est :

𝗫ₙ₊₁ = 𝗫ₙ − 𝗳(𝗫ₙ) / 𝗳′(𝗫ₙ)

Dans cette expression :

• 𝗫ₙ représente l’estimation actuelle ;

• 𝗳(𝗫ₙ) mesure l’écart par rapport à la solution recherchée ;

• 𝗳′(𝗫ₙ) représente la pente de la fonction ;

• 𝗫ₙ₊₁ est la nouvelle estimation obtenue.

L’algorithme répète ce calcul jusqu’à ce que la différence entre deux estimations successives devienne suffisamment petite :

|𝗫ₙ₊₁ − 𝗫ₙ| < ε

où ε représente le niveau de précision souhaité.

𝗨𝗡𝗘 𝗜𝗡𝗧𝗘𝗥𝗣𝗥𝗘́𝗧𝗔𝗧𝗜𝗢𝗡 𝗚𝗘́𝗢𝗠𝗘́𝗧𝗥𝗜𝗤𝗨𝗘

À chaque étape, Newton-Raphson trace mentalement la tangente à la courbe au point actuel.

L’intersection de cette tangente avec l’axe horizontal fournit une nouvelle approximation de la racine.

Lorsque la valeur initiale est bien choisie et que la fonction est régulière, la convergence peut être très rapide.

𝗣𝗢𝗨𝗥𝗤𝗨𝗢𝗜 𝗖𝗘𝗧𝗧𝗘 𝗠𝗘́𝗧𝗛𝗢𝗗𝗘 𝗘𝗦𝗧-𝗘𝗟𝗟𝗘 𝗜𝗠𝗣𝗢𝗥𝗧𝗔𝗡𝗧𝗘 𝗘𝗡 𝗦𝗧𝗔𝗧𝗜𝗦𝗧𝗜𝗤𝗨𝗘 ?

En statistique, les paramètres d’un modèle ne peuvent pas toujours être calculés directement à l’aide d’une formule explicite.

Il faut alors résoudre numériquement les équations obtenues à partir de la fonction de vraisemblance.

Newton-Raphson est notamment utilisée pour :

estimer les paramètres par le 𝗺𝗮𝘅𝗶𝗺𝘂𝗺 𝗱𝗲 𝘃𝗿𝗮𝗶𝘀𝗲𝗺𝗯𝗹𝗮𝗻𝗰𝗲 ;

résoudre les équations du score ;

estimer les modèles linéaires généralisés ;

ajuster les régressions logistique, probit et de Poisson ;

optimiser certaines fonctions de coût en économétrie et en apprentissage automatique ;

calculer les erreurs standards à partir de la matrice d’information.

Dans un modèle statistique, l’objectif consiste souvent à trouver le paramètre β qui maximise la log-vraisemblance :

𝗹(β) = log L(β)

Le maximum est obtenu lorsque le gradient devient nul :

𝗴(β) = ∂𝗹(β) / ∂β = 0

La version multidimensionnelle de Newton-Raphson s’écrit alors :

β⁽ᵏ⁺¹⁾ = β⁽ᵏ⁾ − [𝗛(β⁽ᵏ⁾)]⁻¹ 𝗴(β⁽ᵏ⁾)

avec :

• 𝗴(β) : le vecteur gradient ou vecteur score ;

• 𝗛(β) : la matrice hessienne des dérivées secondes ;

• [𝗛(β)]⁻¹ : l’inverse de la matrice hessienne.

𝗔𝗣𝗣𝗟𝗜𝗖𝗔𝗧𝗜𝗢𝗡 𝗔̀ 𝗟𝗔 𝗥𝗘́𝗚𝗥𝗘𝗦𝗦𝗜𝗢𝗡 𝗟𝗢𝗚𝗜𝗦𝗧𝗜𝗤𝗨𝗘

La régression logistique est utilisée lorsque la variable à expliquer est binaire :

𝗬 = 1 : succès, achat, maladie ou défaut ;

𝗬 = 0 : échec, non-achat, absence de maladie ou non-défaut.

La probabilité prédite pour l’individu i est :

𝗣ᵢ = 1 / [1 + exp(−𝗫ᵢ′β)]

Contrairement à la régression linéaire, les coefficients β de la régression logistique ne possèdent pas une solution directe de type :

β = (X′X)⁻¹X′Y

Ils doivent être obtenus par itérations.

La fonction de log-vraisemblance est :

𝗹(β) = Σ [𝗬ᵢ ln(𝗣ᵢ) + (1 − 𝗬ᵢ) ln(1 − 𝗣ᵢ)]

Le vecteur score est :

𝗴(β) = X′(Y − P)

La matrice hessienne est :

𝗛(β) = −X′WX

où W est une matrice diagonale contenant :

𝗪ᵢᵢ = 𝗣ᵢ(1 − 𝗣ᵢ)

La mise à jour des coefficients devient donc :

β⁽ᵏ⁺¹⁾ = β⁽ᵏ⁾ + (X′WX)⁻¹X′(Y − P)

À chaque itération, le logiciel :

calcule les probabilités prédites ;

mesure l’écart entre les observations et les prédictions ;

corrige les coefficients ;

recalcule les probabilités ;

poursuit jusqu’à la convergence.

C’est ainsi que des logiciels comme 𝗥, 𝗦𝘁𝗮𝘁𝗮, 𝗦𝗣𝗦𝗦, 𝗦𝗔𝗦 ou 𝗣𝘆𝘁𝗵𝗼𝗻 estiment les coefficients d’une régression logistique.

𝗘𝗫𝗘𝗠𝗣𝗟𝗘 𝗗’𝗜𝗡𝗧𝗘𝗥𝗣𝗥𝗘́𝗧𝗔𝗧𝗜𝗢𝗡

Supposons que l’on souhaite expliquer la probabilité qu’un client rembourse un crédit.

Le modèle peut s’écrire :

log[𝗣 / (1 − 𝗣)] = β₀ + β₁Revenu + β₂Âge + β₃Endettement

Newton-Raphson recherche progressivement les valeurs de β₀, β₁, β₂ et β₃ qui rendent les données observées les plus probables.

Une fois les coefficients estimés, l’odds ratio d’une variable est obtenu par :

𝗢𝗥 = exp(β)

Si exp(β₁) = 1,40, une augmentation d’une unité du revenu multiplie les chances de remboursement par 1,40, toutes choses égales par ailleurs.

𝗟𝗘𝗦 𝗟𝗜𝗠𝗜𝗧𝗘𝗦 𝗔̀ 𝗖𝗢𝗡𝗡𝗔𝗜̂𝗧𝗥𝗘

Newton-Raphson peut rencontrer des difficultés lorsque :

• la valeur initiale est très éloignée de la solution ;

• la dérivée est nulle ou très faible ;

• la matrice hessienne n’est pas inversible ;

• les variables explicatives sont fortement corrélées ;

• les données présentent une séparation complète en régression logistique ;

• la fonction à optimiser possède plusieurs maxima locaux.

𝗘𝗡 𝗥𝗘́𝗦𝗨𝗠𝗘́

Newton-Raphson n’est pas seulement une méthode permettant de trouver les racines d’une fonction.

C’est aussi l’un des mécanismes fondamentaux utilisés pour 𝗲𝘀𝘁𝗶𝗺𝗲𝗿 𝗹𝗲𝘀 𝗽𝗮𝗿𝗮𝗺𝗲̀𝘁𝗿𝗲𝘀 𝗱𝗲 𝗻𝗼𝗺𝗯𝗿𝗲𝘂𝘅 𝗺𝗼𝗱𝗲̀𝗹𝗲𝘀 𝘀𝘁𝗮𝘁𝗶𝘀𝘁𝗶𝗾𝘂𝗲𝘀.

Derrière un simple résultat de régression logistique se cache donc un processus itératif qui corrige les coefficients jusqu’à obtenir la meilleure estimation possible.

Inscrivez-vous dès maintenant pour réserver votre place pour la prochaine session de notre formation en É𝗰𝗼𝗻𝗼𝗺é𝘁𝗿𝗶𝗲 𝗲𝘁 𝗧𝗲𝗰𝗵𝗻𝗶𝗾𝘂𝗲𝘀 quantitatives https://forms.gle/yZAZimRXbTFbUWZk6

#Statistique #RegressionLogistique #NewtonRaphson #Econometrie #DataScience