📊 𝑹𝑶𝑪-𝑨𝑼𝑪 𝒆𝒏 𝑴𝒂𝒄𝒉𝒊𝒏𝒆 𝑳𝒆𝒂𝒓𝒏𝒊𝒏𝒈 : 𝒄𝒐𝒎𝒎𝒆𝒏𝒕 𝒆́𝒗𝒂𝒍𝒖𝒆𝒓 𝒖𝒏 𝒎𝒐𝒅𝒆̀𝒍𝒆 𝒅𝒆 𝒄𝒍𝒂𝒔𝒔𝒊𝒇𝒊𝒄𝒂𝒕𝒊𝒐𝒏 ? 🤖📈

En 𝑴𝒂𝒄𝒉𝒊𝒏𝒆 𝑳𝒆𝒂𝒓𝒏𝒊𝒏𝒈, lorsqu’on construit un modèle de 𝒄𝒍𝒂𝒔𝒔𝒊𝒇𝒊𝒄𝒂𝒕𝒊𝒐𝒏 𝒃𝒊𝒏𝒂𝒊𝒓𝒆, il ne suffit pas toujours de regarder le taux de bonnes prédictions.

C’est ici que la 𝑹𝑶𝑪-𝑨𝑼𝑪 devient très utile.

🔹 𝑸𝒖’𝒆𝒔𝒕-𝒄𝒆 𝒒𝒖𝒆 𝒍𝒂 𝑹𝑶𝑪-𝑨𝑼𝑪 ?

La 𝑹𝑶𝑪-𝑨𝑼𝑪 est une mesure utilisée pour évaluer la capacité d’un modèle à 𝒃𝒊𝒆𝒏 𝒅𝒊𝒔𝒕𝒊𝒏𝒈𝒖𝒆𝒓 𝒍𝒆𝒔 𝒅𝒆𝒖𝒙 𝒄𝒍𝒂𝒔𝒔𝒆𝒔 : la classe positive et la classe négative.

Elle est particulièrement utilisée lorsque le modèle produit un score ou une probabilité.

La courbe ROC représente le lien entre :

✅ le 𝑻𝒂𝒖𝒙 𝒅𝒆 𝑽𝒓𝒂𝒊𝒔 𝑷𝒐𝒔𝒊𝒕𝒊𝒇𝒔
et
❌ le 𝑻𝒂𝒖𝒙 𝒅𝒆 𝑭𝒂𝒖𝒙 𝑷𝒐𝒔𝒊𝒕𝒊𝒇𝒔

pour différents seuils de décision.

🔹 𝑳𝒆𝒔 𝒅𝒆𝒖𝒙 𝒊𝒏𝒅𝒊𝒄𝒂𝒕𝒆𝒖𝒓𝒔 𝒄𝒍𝒆́𝒔

𝑻𝑷𝑹 = 𝑻𝑷 / (𝑻𝑷 + 𝑭𝑵)

Le 𝑻𝑷𝑹 correspond à la sensibilité ou au rappel.
Il mesure la proportion de vrais positifs correctement détectés.

𝑭𝑷𝑹 = 𝑭𝑷 / (𝑭𝑷 + 𝑻𝑵)

Le 𝑭𝑷𝑹 mesure la proportion de faux positifs parmi les vrais négatifs.

Avec :

TP = vrais positifs
FP = faux positifs
TN = vrais négatifs
FN = faux négatifs

🔹 𝑪𝒐𝒎𝒎𝒆𝒏𝒕 𝒊𝒏𝒕𝒆𝒓𝒑𝒓𝒆́𝒕𝒆𝒓 𝒍’𝑨𝑼𝑪 ?

L’𝑨𝑼𝑪 signifie 𝑨𝒓𝒆𝒂 𝑼𝒏𝒅𝒆𝒓 𝒕𝒉𝒆 𝑪𝒖𝒓𝒗𝒆, c’est-à-dire l’aire sous la courbe ROC.

Plus l’AUC est élevée, plus le modèle distingue bien les deux classes.

📌 𝑨𝑼𝑪 = 0,5
Le modèle ne fait pas mieux qu’un choix aléatoire.

📌 𝑨𝑼𝑪 proche de 1
Le modèle sépare très bien les positifs et les négatifs.

📌 𝑨𝑼𝑪 = 1
Le modèle réalise une séparation parfaite.

🔹 𝑹𝑶𝑪-𝑨𝑼𝑪 𝒗𝒔 𝑨𝒄𝒄𝒖𝒓𝒂𝒄𝒚

L’𝒂𝒄𝒄𝒖𝒓𝒂𝒄𝒚 dépend d’un seuil de classification.

Par exemple, si le seuil est fixé à 0,5, le modèle classe les observations selon ce seuil.

Mais ce choix peut être trompeur, surtout lorsque les classes sont déséquilibrées.

Exemple : si 99 % des observations appartiennent à la classe négative, un modèle qui prédit toujours “négatif” peut afficher une très forte accuracy, sans être réellement utile.

La 𝑹𝑶𝑪-𝑨𝑼𝑪, elle, évalue la performance du modèle sur plusieurs seuils.
Elle mesure surtout la qualité du classement des observations.

🔹 𝑸𝒖𝒂𝒏𝒅 𝒖𝒕𝒊𝒍𝒊𝒔𝒆𝒓 𝒍𝒂 𝑹𝑶𝑪-𝑨𝑼𝑪 ?

On l’utilise lorsque :

✅ on compare plusieurs modèles de classification ;
✅ on veut évaluer la capacité du modèle à séparer les classes ;
✅ le seuil de décision n’est pas encore fixé ;
✅ la qualité du classement est plus importante que la probabilité exacte prédite.

⚠️ Attention : lorsque la classe positive est très rare, il est souvent utile de compléter l’analyse avec la 𝑷𝑹-𝑨𝑼𝑪, qui se concentre davantage sur la précision et le rappel.

✅ 𝑨̀ 𝒓𝒆𝒕𝒆𝒏𝒊𝒓

La 𝑹𝑶𝑪-𝑨𝑼𝑪 permet de mesurer la capacité d’un modèle à distinguer les classes positives et négatives.

Elle ne dépend pas d’un seul seuil de décision.

Elle est plus informative que l’accuracy lorsque l’on veut comparer la qualité de classement des modèles.

En résumé :
𝒑𝒍𝒖𝒔 𝒍𝒂 𝒄𝒐𝒖𝒓𝒃𝒆 𝑹𝑶𝑪 𝒆𝒔𝒕 𝒑𝒓𝒐𝒄𝒉𝒆 𝒅𝒖 𝒄𝒐𝒊𝒏 𝒔𝒖𝒑𝒆́𝒓𝒊𝒆𝒖𝒓 𝒈𝒂𝒖𝒄𝒉𝒆, 𝒎𝒆𝒊𝒍𝒍𝒆𝒖𝒓 𝒆𝒔𝒕 𝒍𝒆 𝒎𝒐𝒅𝒆̀𝒍𝒆.

Si cette publication vous a été utile, pensez à 𝒍𝒂 𝒍𝒊𝒌𝒆𝒓, 𝒍𝒂 𝒄𝒐𝒎𝒎𝒆𝒏𝒕𝒆𝒓 et 𝒍𝒂 𝒑𝒂𝒓𝒕𝒂𝒈𝒆𝒓 avec vos amis, étudiants et collègues.

Inscrivez-vous dès maintenant pour réserver votre place pour la prochaine session de notre formation en É𝗰𝗼𝗻𝗼𝗺é𝘁𝗿𝗶𝗲 𝗲𝘁 𝗧𝗲𝗰𝗵𝗻𝗶𝗾𝘂𝗲𝘀 https://forms.gle/yZAZimRXbTFbUWZk6

#MachineLearning #DataScience #ROCAUC #Classification #AnalyseDeDonnées #Statistiques #IntelligenceArtificielle #ModelEvaluation #DataAnalytics