𝑭𝒐𝒏𝒄𝒕𝒊𝒐𝒏 𝒅𝒆 𝒑𝒆𝒓𝒕𝒆 𝒆𝒏 𝑴𝒂𝒄𝒉𝒊𝒏𝒆 𝑳𝒆𝒂𝒓𝒏𝒊𝒏𝒈 : 𝒄𝒆 𝒒𝒖’𝒊𝒍 𝒇𝒂𝒖𝒕 𝒄𝒐𝒎𝒑𝒓𝒆𝒏𝒅𝒓𝒆

En 𝑴𝒂𝒄𝒉𝒊𝒏𝒆 𝑳𝒆𝒂𝒓𝒏𝒊𝒏𝒈, une 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏 𝒅𝒆 𝒑𝒆𝒓𝒕𝒆 mesure à quel point les prédictions d’un modèle sont éloignées des vraies valeurs.

Autrement dit, elle répond à une question simple :

𝑸𝒖𝒆𝒍𝒍𝒆 𝒆𝒔𝒕 𝒍’𝒆𝒓𝒓𝒆𝒖𝒓 𝒅𝒖 𝒎𝒐𝒅𝒆̀𝒍𝒆 ?

La fonction de perte compare la valeur réelle avec la valeur prédite, puis transforme cette différence en un seul nombre. Pendant l’entraînement, l’objectif du modèle est de rendre ce nombre 𝒍𝒆 𝒑𝒍𝒖𝒔 𝒑𝒆𝒕𝒊𝒕 𝒑𝒐𝒔𝒔𝒊𝒃𝒍𝒆.

C’est cette logique qui guide la descente de gradient : à chaque étape, le modèle ajuste ses paramètres dans la direction qui réduit la perte.

𝑭𝒐𝒓𝒎𝒆 𝒈𝒆́𝒏𝒆́𝒓𝒂𝒍𝒆

ℒ(θ) = (1/N) × Σ L(yi, ŷi(θ))

Avec :

yi : vraie valeur
ŷi : valeur prédite
θ : paramètres du modèle
L : perte calculée pour une observation
N : nombre total d’observations

𝑪𝒐𝒎𝒎𝒆𝒏𝒕 𝒄𝒆𝒍𝒂 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏𝒏𝒆 ?

𝟏. 𝑷𝒓𝒆́𝒅𝒊𝒄𝒕𝒊𝒐𝒏 : le modèle calcule les valeurs prédites.
𝟐. 𝑪𝒂𝒍𝒄𝒖𝒍 𝒅𝒆 𝒍𝒂 𝒑𝒆𝒓𝒕𝒆 : on mesure l’écart entre les prédictions et les vraies valeurs.
𝟑. 𝑮𝒓𝒂𝒅𝒊𝒆𝒏𝒕 : on calcule comment modifier les paramètres pour réduire l’erreur.
𝟒. 𝑴𝒊𝒔𝒆 𝒂̀ 𝒋𝒐𝒖𝒓 : les paramètres sont ajustés.
𝟓. 𝑹𝒆́𝒑𝒆́𝒕𝒊𝒕𝒊𝒐𝒏 : le processus continue jusqu’à ce que la perte diminue suffisamment.

𝑸𝒖𝒆𝒍𝒒𝒖𝒆𝒔 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏𝒔 𝒅𝒆 𝒑𝒆𝒓𝒕𝒆 𝒄𝒐𝒖𝒓𝒂𝒏𝒕𝒆𝒔

𝟏. 𝑴𝑺𝑬 : 𝑬𝒓𝒓𝒆𝒖𝒓 𝒒𝒖𝒂𝒅𝒓𝒂𝒕𝒊𝒒𝒖𝒆 𝒎𝒐𝒚𝒆𝒏𝒏𝒆

ℒ = (1/N) × Σ(yi − ŷi)²

Elle pénalise fortement les grandes erreurs.
Elle est souvent utilisée pour les problèmes de 𝒓𝒆́𝒈𝒓𝒆𝒔𝒔𝒊𝒐𝒏.
Mais elle est sensible aux valeurs extrêmes.

𝟐. 𝑴𝑨𝑬 : 𝑬𝒓𝒓𝒆𝒖𝒓 𝒂𝒃𝒔𝒐𝒍𝒖𝒆 𝒎𝒐𝒚𝒆𝒏𝒏𝒆

ℒ = (1/N) × Σ|yi − ŷi|

Elle mesure l’erreur en valeur absolue.
Elle est plus robuste aux valeurs extrêmes que la MSE.

𝟑. 𝑪𝒓𝒐𝒔𝒔-𝑬𝒏𝒕𝒓𝒐𝒑𝒚

Elle est utilisée surtout pour les problèmes de 𝒄𝒍𝒂𝒔𝒔𝒊𝒇𝒊𝒄𝒂𝒕𝒊𝒐𝒏.
Elle mesure l’écart entre les probabilités prédites et les classes réelles.

𝟒. 𝑯𝒖𝒃𝒆𝒓 𝑳𝒐𝒔𝒔

Elle combine les avantages de la MSE et de la MAE.
Elle est utile lorsque les données contiennent du bruit ou des valeurs extrêmes.

𝑭𝒐𝒏𝒄𝒕𝒊𝒐𝒏 𝒅𝒆 𝒑𝒆𝒓𝒕𝒆 𝒗𝒔 𝒎𝒆́𝒕𝒓𝒊𝒒𝒖𝒆

Une 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏 𝒅𝒆 𝒑𝒆𝒓𝒕𝒆 sert à entraîner le modèle. Elle doit permettre de calculer des gradients pour ajuster les paramètres.

Une 𝒎𝒆́𝒕𝒓𝒊𝒒𝒖𝒆 sert plutôt à évaluer la performance finale du modèle, comme l’accuracy, le F1-score, le RMSE ou le MAE.

En résumé, on 𝒐𝒑𝒕𝒊𝒎𝒊𝒔𝒆 𝒍𝒂 𝒑𝒆𝒓𝒕𝒆, puis on 𝒓𝒂𝒑𝒑𝒐𝒓𝒕𝒆 𝒍𝒂 𝒎𝒆́𝒕𝒓𝒊𝒒𝒖𝒆.

Le bon choix de la fonction de perte dépend du type de problème, de la présence de valeurs extrêmes et du type d’erreur que l’on veut éviter en priorité.

𝑰𝒅𝒆́𝒆 𝒄𝒍𝒆́ :
𝒍𝒂 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏 𝒅𝒆 𝒑𝒆𝒓𝒕𝒆 𝒆𝒔𝒕 𝒍𝒆 𝒈𝒖𝒊𝒅𝒆 𝒅𝒖 𝒎𝒐𝒅𝒆̀𝒍𝒆 𝒑𝒆𝒏𝒅𝒂𝒏𝒕 𝒍’𝒆𝒏𝒕𝒓𝒂𝒊̂𝒏𝒆𝒎𝒆𝒏𝒕.

Si vous avez trouvé cette publication utile, n'hésitez pas à 𝒍𝒂 𝒍𝒊𝒌𝒆𝒓 𝒆𝒕 à 𝒍𝒂 𝒑𝒂𝒓𝒕𝒂𝒈𝒆𝒓 avec vos amis et collègues ! Pour mieux apprendre l’utilisation des logiciel et modèles statistiques, nous vous invitons à prendre part à la prochaine session de notre formation en 𝙀𝙘𝙤𝙣𝙤𝙢é𝙩𝙧𝙞𝙚 𝙚𝙩 𝙏𝙚𝙘𝙝𝙣𝙞𝙦𝙪𝙚𝙨 𝙌𝙪𝙖𝙣𝙩𝙞𝙩𝙖𝙩𝙞𝙫𝙚𝙨 https://forms.gle/yZAZimRXbTFbUWZk6

#MachineLearning #FonctionDePerte #DataScience #IntelligenceArtificielle #Modélisation