Formations logiciels libres - 2i2l

OpenRefine : nettoyer les noms de communes d'une table de données

JMi — 2018-05-13T14:13:00Z

Nous allons utiliser ici le fichier ci-dessous :

communes-erronees-extrait-fichier-reel

– télécharger ce fichier
– lancer l'application OpenRefine dans un navigateur web
– suivre la démarche ci-dessous.

Ouvrir un projet de traitements :
– ouvrir le fichier : communes-erronees-extrait-fichier-reel.csv
– faire suivant
– constater que la séparation des deux colonnes est bien faite, le point-virgule est reconnu
– changer ou pas, le nom du projet, dans le haut de la page,
– cliquer sur "Créer un projet",

Depuis la page d'aperçu :
– demander d'afficher plus de lignes, seules 10 lignes s'affichent par défaut, demander 50 lignes pour plus d'enregistrements par page,
– naviguer dans les pages en cliquant sur l'hypertext "suivante" plusieurs fois et en lisant les réponses,
– constater que les villes sont écrites en majuscules.

Utiliser les "éditions de cellules" pour corriger les villes :
– éditer les cellules, Transformations courantes, Supprimer les espaces de début et de fin. Parfois vous avez plusieurs espaces consécutifs, il faut aussi penser à les supprimer ; 3 cellules en ont.
– éditer les cellules, Transformations courantes, En majuscules, pour nous assurer que toutes les villes soient écrites en majuscules,
– éditer les cellules, Grouper et éditer... et découvrir l'interface pour rapprochement des noms de villes,
– parcourir les propositions,
– cliquer sur la proposition la mieux écrite (disons avec les accents, et les tirets, les villes devraient toutes être écrites de cette manière).
– cliquer sur un choix permet de cocher automatiquement l'acceptation de correction,
– parcourir encore les autres propositions, ajouter un tiret pour CESSON-SÉVIGNÉ
– choisir CHÂTEAU-THIERRY
– il est possible de "Tout sélectionner" et de faire votre tour de correction par la suite,
– cliquer sur "Fusionner la sélection et regrouper", puis "Fermer".

Utiliser les filtres de textes pour corriger les villes :
– cliquer sur la flèche de la colonne VILLE,
– cliquer sur "Filtrer le texte"
– entrer PARIS dans le filtre, seuls les enregistrements contenant PARIS seront retenus pour la Facette à venir,
– cliquer sur la flèche,
– s'arrêter sur Facette,
– choisir Facette textuelle,
– constater que la Facette est juste sur les cellules contenant PARIS,
– procéder aux corrections nécessaires en faisant "éditer" ou bien prévoir un autre traitement, plus fin.

Bonnes découvertes !

OpenRefine : transformer les valeurs

JMi — 2018-05-13T13:45:00Z

Transformer les valeurs

Transformations courantes

Éditer les cellules -> Transformations courantes ->

– Supprimer les espaces de début et de fin
– Rassembler les espaces consécutifs
– En initiales majuscules
– En majuscules
– En minuscules
– En nombre
– En date
– En texte
– Définir les cellules sur null
– Transformer en chaîne vide

Avant de faire des transformations complexes, il est toujours conseillé de sauvegarder les données, pour cela recopier la colonne concernée.

Pour la colonne date : Éditer la colonne -> Ajouter une colonne en fonction de cette colonne -> Nouveau nom de cette colonne et valider.

Puis :
– Éditer les cellules -> Transformations courantes -> En date
– comparer avec la colonne recopiée si les transformations sont bonnes, bien souvent, pour les dates, des erreurs apparaissent : faire très attention aux dates, lors des modifications comme des importations de tables.

OpenRefine : regrouper les données d'une même colonne

JMi — 2018-05-13T13:44:00Z

Regrouper des valeurs

– depuis une facette textuelle, sur une colonne de modalités textuelles,

Facette textuelle

– demander Grouper et observer l'interface

cliquer sur "groupe"

– dans la colonne de cette interface, depuis les Valeurs dans le groupe, cliquer sur la valeur retenue, elle s'affiche alors comme Nouvelle valeur pour la cellule et la coche Fusionner ? apparaît.
– vous pouvez Fusionner la sélection & regrouper.
– Terminé. Fermer.

Fusionner les données

– observez que les corrections ont lieu directement dans la table de données.

OpenRefine : trier, filtrer les données en colonnes

JMi — 2018-05-13T13:44:00Z

Trier les données
– Trier... permet de lancer un tri de l'ensemble de la table de données, d'après l'ordre choisi dans cette colonne. Tout tri réalisé est un affichage, seulement un affichage

Trier les données

– Trier... d'une façon permanente doit s'appliquer avec la fonction qui se trouve dans le menu Sort qui apparaît alors après le choix du nombre de lignes affiché.

Supprimer un tri ou filtre

Filtrer les données
– Filtrer texte sur une première colonne, indiquer le texte à filtrer
– Filtrer texte sur une deuxième colonne, indiquer le texte à filtrer
– supprimer un filtre en cliquant sur la croix de fermeture de la Facette

Cela permet d'appliquer des traitements uniquement sur les enregistrements filtrés

Filtrer le texte

Supprimer les filtres
– Tout réinitialiser, vide les caractères des formulaires de filtres
– Tout supprimer, supprime tous les filtres

Filtre par mot

Filtrer avec une facette textuelle
– lancer une Facette textuelle sur une colonne de texte

Filtrer avec une facette textuelle

Facette textuelle des communes

– observer le nombre de choix et voir les options de modifications :
– cliquer sur 13 Choices pour obtenir la liste des occurences
– Trier par : nom compte, pour changer l'ordre alphabétique par l'ordre du nombre d'occurences, et inversement,
– cliquer sur Groupe pour obtenir une interface qui rassemble les valeurs semblables (selon différentes méthodes et fonctions)

– cliquer sur Facette par nombre de choix, un double curseur apparaît juste dessous, il vous permet de limiter l'affichage sur un nombre de modalités répétées.

– include sur une facette demande d'afficher uniquement les lignes avec cette facette, elle devient orange

Include

– inverser permet d'afficher toutes les lignes sauf celles qui étaient en orange, l'orange passe en noir barré

Include Inserser

– réinitialiser supprime les filtres include et inverser

– une nouvelle Facette textuelle, ou tout nouveau traitement, pourra alors
être générer uniquement sur les enregistrements affichés.
Il est ainsi possible de générer des Facettes sur les données numériques, chronologiques, voire des nuages de points.
Les personnalisations de Facettes demandent quelques connaissances dans le langage GREL.

Filtrer avec les facettes courantes
– Facette par mot ; renvoie tous les mots des cellules, lorsqu'ils sont séparés par un espace

Facette courante par mot

– Facette doublons ; extrait les cellules doublons et les cellules uniques

Facette doublons

– Facette longueur du texte ; pour afficher en fonction du nombre de caractères dans les cellules

Facette longueurs de mots

– Facette par valeur vide (nul ou chaîne vide) ; pour isoler les lignes comportant une cellule vide dans la colonne considérée

Facette vide

OpenRefine : découvrir l'application de traitement de données

JMi — 2018-05-13T13:43:00Z

Utilisons ce CSV pour notre tour de découverte de l'application OpenRefine.

OpenRefine-exercice-1-N2

exemple table de données avec erreurs

Ouvrir un jeu de données
– créer un projet : Parcourir, Suivant

Ouvrir une table de données

– constater un affichage de données
– choisir dans les paramètres de la partie basse : CSV / TSV / separator-based files, les données doivent être en colonnes

paramétrages de la table

Importer votre format de données
– savoir choisir le jeu de caractères : ISO8859-1 ou UTF8
– connaître le séparateur de colonnes : virgules, points-virgules, tabulations, espaces, autres
– préciser la ligne contenant les entêtes de colonnes
– conserver les lignes vides, ou pas

Lancer l'importation
– nommer le projet, en évitant les espaces vides dans le nom,
– cliquer sur Créer un projet

Création du projet

Découvrir les liens et boutons sur la première ligne
– Permalien est un lien vers le projet, si vous utilisez l'application en ligne, dans votre intranet
– ouvrir, un autre projet
– exporter le projet en cours

Découvrir l'interface de traitement
– onglet Facette / Filtre : pour les filtres
– onglet Défaire / Refaire : pour l'historique
– voir en : lignes ou entrées
– afficher : 5, 10, 25, 50 lignes
– première précédente x -x suivante ou dernière (ligne)

Historique des traitements

Lire les noms des colonnes de vos données
– lire le nombre total de lignes de votre importation
– Toutes pour la première colonne, celle-ci permet de marquer d'une étoile ou d'un drapeau, toutes les lignes que vous souhaitez pour le bon déroulement du traitement. Cette colonne comprend également une numérotation automatique de vos lignes.
– vos noms de colonnes, sont-ils bien normalisés ? Semblables ?

Connaître les principes
– vous avez toutes vos données dans une seule feuille
– toutes les lignes n'apparaissent pas forcément, ici 10 par défaut,
– une action peut être locale ou bien appliquée sur toute sa colonne
– une action peut être lancée par le bouton édit depuis une cellule ou bien par le sélecteur en forme de flèche vers le bas, en tête de colonne.

Découvrir les menus de traitements
– Facette ->
– Filtrer le texte
– Éditer les cellules ->
– Éditer la colonne ->
– Transposer ->
– Trier...
– Aperçu ->
– Réconcilier ->

Menus des colonnes

Ils sont tous identiques, pour toutes les colonnes, excepté pour la première colonne Toutes :
– Transformer
– Facette ->
– Éditer les lignes ->
– Éditer les colonnes ->
– Aperçu ->

Menu de la première colonne

Le menu de la première colonne permettant des actions plus génériques sur l'ensemble des lignes ou colonnes.