📊 𝑪𝒂𝒍𝒊𝒃𝒓𝒂𝒈𝒆 𝒅’𝒖𝒏 𝒎𝒐𝒅𝒆̀𝒍𝒆 : 𝒑𝒐𝒖𝒓𝒒𝒖𝒐𝒊 𝒖𝒏𝒆 𝒑𝒓𝒐𝒃𝒂𝒃𝒊𝒍𝒊𝒕𝒆́ 𝒑𝒓𝒆́𝒅𝒊𝒕𝒆 𝒅𝒐𝒊𝒕 𝒆̂𝒕𝒓𝒆 𝒇𝒊𝒂𝒃𝒍𝒆 ?
En machine learning, il ne suffit pas qu’un modèle classe correctement les observations. Il faut aussi que ses 𝒑𝒓𝒐𝒃𝒂𝒃𝒊𝒍𝒊𝒕𝒆 ́ 𝒔 𝒑𝒓𝒆 ́ 𝒅𝒊𝒕𝒆𝒔 soient crédibles. C’est exactement le rôle du 𝒄𝒂𝒍𝒊𝒃𝒓𝒂𝒈𝒆 𝒅 ’ 𝒖𝒏 𝒎𝒐𝒅𝒆 ̀ 𝒍𝒆 . Un modèle est bien calibré lorsque ses probabilités prédites correspondent aux fréquences réellement observées. Par exemple, si un modèle prédit une probabilité de 𝟎 , 𝟖 pour 100 cas, environ 80 cas devraient effectivement être corrects. 👉 Si c’est le cas, le modèle est bien calibré. 👉 Si ce n’est pas le cas, ses probabilités peuvent être trompeuses. 📌 𝑼𝒏 𝒆𝒙𝒆𝒎𝒑𝒍𝒆 𝒔𝒊𝒎𝒑𝒍𝒆 Un modèle peut annoncer : “Je suis sûr à 90 %.” Mais si, dans la réalité, il n’a raison que dans 70 % des cas, alors le modèle est 𝒔𝒖𝒓𝒄𝒐𝒏𝒇𝒊𝒂𝒏𝒕 . À l’inverse, si le modèle annonce 60 %, mais qu’il a raison dans 80 % des cas, il est 𝒔𝒐𝒖𝒔 - 𝒄𝒐𝒏𝒇𝒊𝒂𝒏𝒕 . C’est pourquoi on utilise souvent un 𝒅𝒊𝒂𝒈𝒓𝒂...