Articles

EDA : LES 10 ÉTAPES ESSENTIELLES POUR ANALYSER DES DONNÉES COMME UN EXPERT

Image
Avant de construire un modèle de Machine Learning ou de réaliser une analyse statistique, il est indispensable de passer par une Analyse Exploratoire des Données (EDA – Exploratory Data Analysis). Cette étape permet de comprendre la qualité des données, de détecter les anomalies et de préparer un jeu de données fiable. Voici un workflow EDA simple et efficace : 1. Charger les données : importer et visualiser le jeu de données. 2. Vérifier les types de variables : distinguer les variables numériques et qualitatives. 3. Identifier les valeurs manquantes : repérer les données absentes avant toute analyse. 4. Supprimer les doublons : éviter les biais liés aux observations répétées. 5. Produire des statistiques descriptives : explorer les moyennes, médianes, écarts-types et quartiles. 6. Étudier les distributions : comprendre la forme des variables grâce aux histogrammes et aux densités. 7. Détecter les valeurs aberrantes (outliers) : identifier les observations atypiques susceptible...
Enregistrer un commentaire
Lire la suite

▌INTERVALLE DE CONFIANCE : ESTIMER UNE MOYENNE SANS SE TROMPER

Image
▌INTERVALLE DE CONFIANCE : ESTIMER UNE MOYENNE SANS SE TROMPER Un intervalle de confiance permet d’estimer la vraie moyenne d’une population à partir d’un échantillon, en donnant une fourchette de valeurs probable. Quand l’écart-type de la population σ est connu, on utilise la formule : IC = x̄ ± Zα/2 × σ/√n Ici, x̄ représente la moyenne de l’échantillon, σ l’écart-type connu, n la taille de l’échantillon et Zα/2 la valeur critique liée au niveau de confiance. Exemple : Pour une moyenne de 78, un écart-type de 10, un échantillon de 64 et un niveau de confiance de 95 %, on obtient : IC 95 % = [75,55 ; 80,45] Cela signifie qu’on estime que la moyenne réelle de la population se situe probablement entre 75,55 et 80,45. À retenir : plus l’échantillon est grand, plus l’intervalle devient précis. Plus le niveau de confiance est élevé, plus l’intervalle devient large. Un intervalle de confiance ne donne pas une valeur unique : il donne une estimation fiable sous forme de plage. Inscrivez-vous...
Enregistrer un commentaire
Lire la suite

𝗗𝗔𝗧𝗔 𝗦𝗖𝗜𝗘𝗡𝗖𝗘 : 𝗹𝗲𝘀 𝗼𝘂𝘁𝗶𝗹𝘀 𝗶𝗻𝗱𝗶𝘀𝗽𝗲𝗻𝘀𝗮𝗯𝗹𝗲𝘀 𝗽𝗼𝘂𝗿 𝗽𝗮𝘀𝘀𝗲𝗿 𝗮̀ 𝗹’𝗮𝗰𝘁𝗶𝗼𝗻

Image
La Data Science ne se limite pas à manipuler des données. Elle consiste à transformer des informations brutes en décisions utiles, en prédictions fiables et en solutions concrètes. Pour y arriver, plusieurs outils jouent un rôle essentiel. 𝗣𝘆𝘁𝗵𝗼𝗻 permet d’analyser, automatiser et construire des modèles de Machine Learning. 𝗥 reste une référence pour les statistiques, la recherche et les analyses avancées. 𝗦𝗤𝗟 est indispensable pour interroger, extraire et organiser les données dans les bases. 𝗣𝗼𝘄𝗲𝗿 𝗕𝗜, 𝗧𝗮𝗯𝗹𝗲𝗮𝘂, 𝗠𝗮𝘁𝗽𝗹𝗼𝘁𝗹𝗶𝗯 et 𝗦𝗲𝗮𝗯𝗼𝗿𝗻 aident à rendre les résultats visuels, clairs et faciles à comprendre. Pour l’intelligence artificielle, 𝗦𝗰𝗶𝗸𝗶𝘁-𝗟𝗲𝗮𝗿𝗻, 𝗧𝗲𝗻𝘀𝗼𝗿𝗙𝗹𝗼𝘄 et 𝗣𝘆𝗧𝗼𝗿𝗰𝗵 permettent de créer des modèles capables de classifier, prédire et apprendre à partir des données. Avec de très grands volumes, 𝗔𝗽𝗮𝗰𝗵𝗲 𝗦𝗽𝗮𝗿𝗸 et 𝗛𝗮𝗱𝗼𝗼𝗽 deviennent précieux pour le traitement massif. Et pour travailler proprement en équ...
Enregistrer un commentaire
Lire la suite

𝗠𝗘𝗦𝗨𝗥𝗘𝗦 𝗗𝗘 𝗗𝗜𝗦𝗣𝗘𝗥𝗦𝗜𝗢𝗡 : 𝗰𝗼𝗺𝗽𝗿𝗲𝗻𝗱𝗿𝗲 𝗹𝗮 𝘃𝗮𝗿𝗶𝗮𝗯𝗶𝗹𝗶𝘁𝗲́ 𝗱𝗲𝘀 𝗱𝗼𝗻𝗻𝗲́𝗲𝘀

Image
En statistique, la moyenne ne suffit pas toujours pour comprendre une série de données. Deux groupes peuvent avoir la même moyenne, mais présenter des comportements très différents. C’est là qu’interviennent les 𝗺𝗲𝘀𝘂𝗿𝗲𝘀 𝗱𝗲 𝗱𝗶𝘀𝗽𝗲𝗿𝘀𝗶𝗼𝗻. Elles permettent de savoir si les données sont proches du centre ou au contraire très éloignées les unes des autres. Les principales mesures sont : 𝗟’𝗲́𝘁𝗲𝗻𝗱𝘂𝗲 : elle mesure l’écart entre la valeur maximale et la valeur minimale. 𝗟’𝗲́𝗰𝗮𝗿𝘁 𝗶𝗻𝘁𝗲𝗿𝗾𝘂𝗮𝗿𝘁𝗶𝗹𝗲 : il observe la dispersion des 50 % de données centrales. 𝗟𝗮 𝘃𝗮𝗿𝗶𝗮𝗻𝗰𝗲 : elle mesure l’écart moyen au carré par rapport à la moyenne. 𝗟’𝗲́𝗰𝗮𝗿𝘁-𝘁𝘆𝗽𝗲 : il indique l’éloignement moyen des valeurs autour de la moyenne. 𝗟’𝗲́𝗰𝗮𝗿𝘁 𝗺𝗼𝘆𝗲𝗻 : il mesure la distance moyenne entre chaque valeur et le centre. 𝗟𝗲 𝗰𝗼𝗲𝗳𝗳𝗶𝗰𝗶𝗲𝗻𝘁 𝗱𝗲 𝘃𝗮𝗿𝗶𝗮𝘁𝗶𝗼𝗻 : il permet de comparer la variabilité de séries ayant des unités ou des moyennes différe...
Enregistrer un commentaire
Lire la suite

𝗣𝗘𝗔𝗥𝗦𝗢𝗡 𝗼𝘂 𝗦𝗣𝗘𝗔𝗥𝗠𝗔𝗡 : 𝗾𝘂𝗲𝗹𝗹𝗲 𝗰𝗼𝗿𝗿𝗲́𝗹𝗮𝘁𝗶𝗼𝗻 𝗰𝗵𝗼𝗶𝘀𝗶𝗿 ?

Image
En analyse statistique, mesurer la relation entre deux variables ne suffit pas. Il faut surtout choisir le bon coefficient de corrélation. 𝗟𝗮 𝗰𝗼𝗿𝗿𝗲́𝗹𝗮𝘁𝗶𝗼𝗻 𝗱𝗲 𝗣𝗲𝗮𝗿𝘀𝗼𝗻 mesure une relation linéaire entre deux variables quantitatives continues. Elle répond à la question : Quand X augmente, de combien Y varie-t-il en moyenne ? Elle est adaptée lorsque les données sont numériques, approximativement normales et que la relation suit une ligne droite. 𝗟𝗮 𝗰𝗼𝗿𝗿𝗲́𝗹𝗮𝘁𝗶𝗼𝗻 𝗱𝗲 𝗦𝗽𝗲𝗮𝗿𝗺𝗮𝗻 mesure une relation monotone, c’est-à-dire une tendance générale à augmenter ou diminuer, même si la relation n’est pas parfaitement linéaire. Elle répond à la question : Quand X augmente, Y a-t-il tendance à augmenter ou à diminuer ? Elle est préférable lorsque les données sont ordinales, non normales, avec valeurs extrêmes, ou lorsque la relation est croissante/décroissante mais non linéaire. À retenir : Pearson regarde la force d’une relation droite. Spearman regarde le...
Enregistrer un commentaire
Lire la suite