𝑭𝒐𝒏𝒄𝒕𝒊𝒐𝒏𝒔 𝒅’𝑨𝒄𝒕𝒊𝒗𝒂𝒕𝒊𝒐𝒏 𝒆𝒏 𝑴𝒂𝒄𝒉𝒊𝒏𝒆 𝑳𝒆𝒂𝒓𝒏𝒊𝒏𝒈 : 𝒍𝒆 𝒎𝒐𝒕𝒆𝒖𝒓 𝒄𝒂𝒄𝒉𝒆́ 𝒅𝒆𝒔 𝒓𝒆́𝒔𝒆𝒂𝒖𝒙 𝒅𝒆 𝒏𝒆𝒖𝒓𝒐𝒏𝒆𝒔
En Machine Learning, surtout dans les réseaux de neurones, une question revient souvent : 𝑸𝒖’𝒆𝒔𝒕-𝒄𝒆 𝒒𝒖𝒊 𝒑𝒆𝒓𝒎𝒆𝒕 𝒂̀ 𝒖𝒏 𝒎𝒐𝒅𝒆̀𝒍𝒆 𝒅’𝒂𝒑𝒑𝒓𝒆𝒏𝒅𝒓𝒆 𝒅𝒆𝒔 𝒓𝒆𝒍𝒂𝒕𝒊𝒐𝒏𝒔 𝒄𝒐𝒎𝒑𝒍𝒆𝒙𝒆𝒔 ? La réponse se trouve en grande partie dans les 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏𝒔 𝒅’𝒂𝒄𝒕𝒊𝒗𝒂𝒕𝒊𝒐𝒏. Une fonction d’activation transforme le signal reçu par un neurone artificiel avant de le transmettre à la couche suivante. Sans elle, un réseau de neurones resterait presque un simple modèle linéaire, même avec plusieurs couches. 𝑳𝒂 𝒇𝒐𝒏𝒄𝒕𝒊𝒐𝒏 𝒍𝒊𝒏𝒆́𝒂𝒊𝒓𝒆 Elle produit une sortie proportionnelle à l’entrée. Elle est simple, mais limitée pour apprendre des relations complexes. 𝑳𝒂 𝒔𝒊𝒈𝒎𝒐𝒊̈𝒅𝒆 Elle transforme les valeurs en probabilités comprises entre 0 et 1. Elle est très utilisée pour les problèmes de classification binaire. 𝑳𝒂 𝑻𝒂𝒏𝒉 Elle ressemble à la sigmoïde, mais ses valeurs varient entre -1 et 1. Elle permet souvent de mieux centrer les données auto...