Nettoyage des données (data cleaning) : la méthode pour une PME

Votre fichier clients compte 1 200 lignes. Mais combien de vrais clients ? Sans nettoyage des données, ou data cleaning, impossible de le dire. Le même garage y figure sous trois noms, avec deux numéros SIRET et une adresse mal orthographiée. Résultat : son chiffre d'affaires est éclaté en trois, et votre classement des meilleurs clients est faux.

Le sujet paraît technique. Il est en réalité très concret. Chaque erreur de saisie, chaque fiche en double, chaque date fantaisiste finit dans un rapport de direction. Et plus l'entreprise s'appuie sur ses chiffres pour prendre des décisions stratégiques, plus ces petites erreurs coûtent cher.

Ce guide vous explique ce qu'est le nettoyage des données et quelles erreurs on trouve dans les données d'une PME. Puis il vous donne une méthode en cinq étapes, les bons outils et la règle qui évite de tout refaire chaque mois. C'est une étape clé pour exploiter ses données en PME.

Qu'est-ce que le nettoyage des données ?

Le nettoyage des données, en anglais data cleaning ou data cleansing, consiste à détecter puis corriger les erreurs d'un jeu de données : doublons, valeurs manquantes ou aberrantes, formats incohérents. L'objectif : un fichier exact, complet, cohérent et exploitable sans retouche pour décider.

Wikipédia définit le nettoyage de données comme l'opération de détection et de correction, ou de suppression, des erreurs présentes dans des bases de données. IBM parle aussi de data scrubbing, un synonyme. Quand on supprime les fiches en double, on parle plus précisément de dédoublonnage.

Le nettoyage des données ne consiste pas à embellir un fichier. Il s'agit de transformer des données brutes en informations dignes de confiance. Le nettoyage fait d'ailleurs partie d'un ensemble plus large. La qualité des données décrit le résultat recherché. La préparation regroupe tout ce qu'on fait avant l'analyse, nettoyage compris. La transformation, elle, change la forme : transformer les données pour les regrouper par mois, par exemple. Le nettoyage, enfin, corrige le fond.

Longtemps réservé aux data scientists et aux projets de science des données ou de big data, ce travail concerne aujourd'hui toutes les entreprises. Le nettoyage des données est une étape essentielle de tout traitement de données, même modeste.

Quelles erreurs trouve-t-on dans une base de données de PME ?

Presque toujours les mêmes six familles : les doublons, les codes multiples pour un même objet, les formats incohérents, les données manquantes, les valeurs aberrantes et les statuts jamais mis à jour. Toutes viennent de la saisie au quotidien, rarement d'une panne informatique.

• Les fiches en double. Un client créé deux fois, par deux commerciaux, avec deux orthographes. Ses ventes sont coupées en deux.
• Les codes multiples. Un même article ou une même matière enregistré sous plusieurs références, chez plusieurs fournisseurs, dont certaines inactives.
• Les formats incohérents. Des dates en jour, mois, année ici et en année, mois, jour là. Des quantités en pièces, en kilos ou en mètres. Des chaînes de caractères en majuscules ou non, avec des espaces en trop.
• Les valeurs manquantes. Un délai fournisseur vide, une famille d'articles non renseignée, un commercial absent de la fiche.
• Les valeurs aberrantes. Une quantité saisie dans le champ des heures, une virgule oubliée : mille heures au lieu de dix.
• Les statuts figés. Des affaires toujours « en cours » des années après leur livraison.

Chaque ERP ajoute ses pièges. Dans Sage 100, une même table réunit clients, fournisseurs et prospects. Dans Clipper, certaines dates fictives, comme le 31 décembre 2999, signifient « pas de délai » : nous détaillons ces pièges dans notre article sur les données Clipper. Les types de données comptent aussi : un montant stocké comme du texte ne s'additionne pas.

Le cas de la base de données clients

C'est souvent là que le désordre coûte le plus. Les adresses e-mail rebondissent, les adresses postales sont incomplètes, les numéros de téléphone sont saisis dans dix formats différents. Uniformiser ces numéros, par exemple en +33 suivi de neuf chiffres, permet enfin de repérer deux fiches pour un même contact. Un code postal incohérent avec la ville suffit aussi à fausser une analyse par région. Et avant une campagne par e-mail, nettoyer sa base de données évite d'écrire deux fois au même client. Pour les entreprises, l'Annuaire des entreprises de l'État permet de vérifier un SIRET ou une raison sociale.

Ces erreurs ont aussi une portée légale. Le RGPD impose que les données personnelles soient exactes et tenues à jour. Les données inexactes doivent être effacées ou rectifiées sans tarder (article 5, texte publié par la CNIL). Une base de données non entretenue n'est donc pas seulement un problème de chiffres.

Comment nettoyer efficacement ses données en 5 étapes

Inutile de lancer un nettoyage de bases de données entières d'un coup. Partez d'un indicateur qui compte, par exemple le chiffre d'affaires par client, et nettoyez l'ensemble de données afin de fiabiliser d'abord ce chiffre-là. Commencez par définir ce que « propre » veut dire pour lui.

1. Faire le bilan. Avant de corriger, mesurez. Combien de champs vides ? Combien de fiches en double ? Quelles valeurs sortent de l'ordinaire ? Où sont les incohérences ? C'est ce que les spécialistes appellent le profilage. Il dit où concentrer l'effort et permet de documenter le point de départ.

2. Standardiser les données. Un seul format de date, une seule unité par grandeur, une seule façon d'écrire un nom. Cette standardisation des données vient avant tout le reste. Chez un thermoformeur sous Clipper, toutes les matières ont été converties en kilos pour pouvoir comparer le prévu et le réel.

3. Dédoublonner. Repérez les fiches qui désignent la même chose, puis fusionnez-les. Chez ce même thermoformeur, une matière existait sous plusieurs codes et chez plusieurs fournisseurs. Les fiches ont été regroupées par famille, épaisseur et laize, et chaque code inactif rattaché à son remplaçant.

4. Traiter les valeurs manquantes et aberrantes. Trois options : compléter, signaler ou plafonner. Lors de l'audit d'une PMI métallurgique, 0,33 % des phases de fabrication pesaient 95 % de la charge, à cause d'heures saisies par erreur. Elles ont été plafonnées dans le calcul. Pour les champs vides, la prudence s'impose. Chez un distributeur sous Sage 100, le délai réel d'un fournisseur n'est retenu qu'à partir de trois réceptions. En dessous, le calcul signale le champ manquant plutôt que d'afficher un chiffre fragile.

5. Valider avec le métier. Un chiffre propre n'est pas forcément juste. Montrez le résultat à ceux qui connaissent le terrain, et à l'analyste qui construit les rapports. Chez le thermoformeur, c'est cette revue qui a fait corriger une première version erronée du calcul.

Parmi les meilleures pratiques, une règle simple : corriger les données à un seul endroit, puis tracer chaque correction. Ces bonnes pratiques valent quel que soit l'outil.

Quels outils pour un nettoyage des données efficace ?

Trois niveaux, selon le volume et la fréquence. Excel suffit pour nettoyer les données d'un fichier ponctuel. OpenRefine, un outil gratuit, convient aux nettoyages plus lourds. Et une plateforme de données rejoue les règles automatiquement à chaque mise à jour, sans intervention.

Excel. Sa fonction permet de supprimer les doublons en quelques clics (Microsoft). Mais chaque nettoyage est manuel, et il faut le refaire au prochain export. C'est l'une des limites des tableaux de bord sous Excel.

OpenRefine. Cet outil de nettoyage libre regroupe les valeurs proches, comme « SARL Dupont » et « Dupont SARL ». Il applique ensuite des corrections en série (OpenRefine). Le portail européen des données le recommande avec Excel pour les ensembles de données ouvertes (data.europa.eu). Il reste un outil de travail ponctuel.

Une plateforme de données. Les règles de nettoyage y sont écrites une fois, dans le traitement des données qui alimente vos rapports. C'est le rôle de la transformation dans un ETL : à chaque chargement, le processus de nettoyage des données fusionne les fiches en double, uniformise les formats et signale les valeurs suspectes. De quoi automatiser les tâches de nettoyage, simplifier le processus et transformer vos données sans recopier une seule formule. Le tableau de bord et la visualisation qui suivent reposent alors sur des données propres.

Le nettoyage, première étape de chaque mission Clidd

Chez Clidd, c'est presque toujours par là que commence un projet. Avant le moindre indicateur, nos experts nettoient et fiabilisent la donnée de l'ERP, avec l'équipe métier du client. Ils écrivent ensuite ces règles une fois pour toutes dans la plateforme, sans code. Elles tournent chaque nuit sur les données que le connecteur va chercher directement dans l'ERP, sans export ni ressaisie.

Nos cas d'usage Clipper le montrent. Pour le suivi de production d'une PME de tôlerie, tout a commencé par un nettoyage. Il fallait ne garder que le dernier pointage de chaque opération et repérer les anomalies de séquence (cas d'usage planning, PDF). Pour le suivi matière d'un thermoformeur, il a fallu unifier les matières et rattacher les codes inactifs. Tout a ensuite été converti en kilos avant de comparer quoi que ce soit (cas d'usage suivi matière, PDF). Dans les deux cas, ce travail amont a fait la valeur du résultat : le rapport final n'en est que la partie visible.

C'est la différence avec un outil de BI classique. Il affiche une donnée supposée déjà propre. Clidd, lui, la construit, la fiabilise et la maintient, pour des PME qui n'ont pas d'équipe data en interne.

Comment garder une base de données propre dans la durée ?

En nettoyant en continu. Un grand ménage dans Excel est à refaire le mois suivant, parce que les mêmes erreurs reviennent à la saisie. Les règles doivent vivre dans le flux de données et tourner seules, chaque nuit. Et chaque erreur récurrente doit avoir un responsable chargé de la corriger à la source.

Les deux démarches se complètent. Le processus de nettoyage des données placé dans le flux protège immédiatement vos chiffres. Corriger à la source, dans l'ERP, évite que l'erreur revienne. Prenez une PME de tôlerie : la règle qui ne retient que le dernier pointage de chaque opération s'applique à chaque mise à jour. Personne n'a besoin d'y penser. Pour savoir où placer ces règles, voyez notre guide des flux de données.

Reste à décider qui corrige quoi : qui fusionne deux fiches clients, qui valide qu'une affaire est terminée. Les règles de gestion de ces corrections relèvent de la gouvernance des données. C'est elle qui permet de maintenir la qualité des données dans la durée, sans dépendre d'une seule personne. Un prestataire peut vous aider à nettoyer le stock d'erreurs existant, mais vos propres données restent votre responsabilité.

L'enjeu grandit avec l'IA. Nourri de données sales, un assistant d'IA produit des réponses fausses avec aplomb : c'est l'une des causes des hallucinations de l'IA. Avant de brancher une IA sur vos chiffres, un processus de nettoyage de données propre et fiable est donc stratégique pour toute entreprise.

Conclusion : améliorer la qualité de vos données, chaque nuit

Le nettoyage des données corrige les erreurs qui faussent vos chiffres. Retenez trois idées :

• les défauts d'une PME sont toujours les mêmes : doublons, codes multiples, formats, valeurs manquantes ou aberrantes, statuts figés ;
• une méthode en cinq étapes suffit : bilan, standardisation, dédoublonnage, valeurs à traiter, validation métier ;
• le nettoyage doit tourner en continu, dans le flux, avec un responsable pour corriger à la source.

Le retour sur investissement est rapide : moins d'heures passées à corriger, des données fiables pour décider et optimiser vos choix. Nettoyer ses données une fois, c'est un projet. Le faire chaque nuit, c'est une habitude, celle qui rend enfin vos chiffres dignes de confiance.

‍