Formations logiciels libres - 2i2l

OpenRefine : nettoyer les noms de communes d'une table de données

JMi — 2018-05-13T14:13:00Z

Nous allons utiliser ici le fichier ci-dessous :

communes-erronees-extrait-fichier-reel

– télécharger ce fichier
– lancer l'application OpenRefine dans un navigateur web
– suivre la démarche ci-dessous.

Ouvrir un projet de traitements :
– ouvrir le fichier : communes-erronees-extrait-fichier-reel.csv
– faire suivant
– constater que la séparation des deux colonnes est bien faite, le point-virgule est reconnu
– changer ou pas, le nom du projet, dans le haut de la page,
– cliquer sur "Créer un projet",

Depuis la page d'aperçu :
– demander d'afficher plus de lignes, seules 10 lignes s'affichent par défaut, demander 50 lignes pour plus d'enregistrements par page,
– naviguer dans les pages en cliquant sur l'hypertext "suivante" plusieurs fois et en lisant les réponses,
– constater que les villes sont écrites en majuscules.

Utiliser les "éditions de cellules" pour corriger les villes :
– éditer les cellules, Transformations courantes, Supprimer les espaces de début et de fin. Parfois vous avez plusieurs espaces consécutifs, il faut aussi penser à les supprimer ; 3 cellules en ont.
– éditer les cellules, Transformations courantes, En majuscules, pour nous assurer que toutes les villes soient écrites en majuscules,
– éditer les cellules, Grouper et éditer... et découvrir l'interface pour rapprochement des noms de villes,
– parcourir les propositions,
– cliquer sur la proposition la mieux écrite (disons avec les accents, et les tirets, les villes devraient toutes être écrites de cette manière).
– cliquer sur un choix permet de cocher automatiquement l'acceptation de correction,
– parcourir encore les autres propositions, ajouter un tiret pour CESSON-SÉVIGNÉ
– choisir CHÂTEAU-THIERRY
– il est possible de "Tout sélectionner" et de faire votre tour de correction par la suite,
– cliquer sur "Fusionner la sélection et regrouper", puis "Fermer".

Utiliser les filtres de textes pour corriger les villes :
– cliquer sur la flèche de la colonne VILLE,
– cliquer sur "Filtrer le texte"
– entrer PARIS dans le filtre, seuls les enregistrements contenant PARIS seront retenus pour la Facette à venir,
– cliquer sur la flèche,
– s'arrêter sur Facette,
– choisir Facette textuelle,
– constater que la Facette est juste sur les cellules contenant PARIS,
– procéder aux corrections nécessaires en faisant "éditer" ou bien prévoir un autre traitement, plus fin.

Bonnes découvertes !

LimeSurvey : utiliser OpenRefine pour le nettoyage des noms de villes

JMi — 2018-05-13T13:45:00Z

Un point sur le nettoyage de données provenant de vos questionnaires ; lorsque vous utilisez des questions ouvertes, de type texte, en particulier ici pour les types texte court, pour demander le nom d'une commune.

Il existe une extension, développée par Denis Chenu, appelée cpVille, pour vous permettre de poser la question "commune" avec plus de précision, mais elle est peu connue et doit être installée comme extension.

Nous vous proposons donc ce point traitement sur cette question.

Poser la question d'une ville ou d'une commune

Pour reprendre depuis le début, lorsque vous demandez le nom d'une commune, vous utilisez une question de type texte et obtenez des réponses différentes, comme les exemples ci-dessous :

Pas trop d'erreur pour "Nantes", "nantes", "Nantes ", "nantes ", " Nantes" ou " nantes",... mais cela fait déjà quelques modalités différentes pour vos tableaux.

Pour les communes avec des noms plus longs ou compliqués, cela devient vraiment problématique. Par exemple, vous pouvez avoir pour la commune de Saint-Sébastien-sur-Loire :
– Saint Sébastien sur Loire
– Saint-Sebastien-sur-Loire
– Saint Sebastien sur Loire
– Saint-Sébastien-sur-Loire
– Saint-Sébastien-Sur-Loire
– St Sébastien sur Loire
– St-Sebastien-sur-Loire
– St Sébastien / Loire
– St Sebastien/Loire
– Saint Sébastien/Loire
– saint sébastien sur loire
– saint sebastien sur loire
– ...

C'est sans fin !

Nous vous proposons donc de régler ce souci en moins de 3 minutes. Pour cela nous vous présentons le logiciel OpenRefine.

– OpenRefine est un logiciel libre de nettoyage et de mise en forme de données [1].
– voici le lien vers le site officiel OpenRefine,
– et la page de téléchargement OpenRefine,
– OpenRefine est un logiciel libre et gratuit.
– Nous assurons des formations OpenRefine : nettoyer, corriger, réconcilier, enregistrer et préparer la diffusion des fichiers de données, génériques ou sur mesures.

La démarche de nettoyage se trouve expliquée dans cet article : OpenRefine : nettoyer les noms de communes d'une table de données.

[1] Source WikiPedia

OpenRefine : transformer les valeurs

JMi — 2018-05-13T13:45:00Z

Transformer les valeurs

Transformations courantes

Éditer les cellules -> Transformations courantes ->

– Supprimer les espaces de début et de fin
– Rassembler les espaces consécutifs
– En initiales majuscules
– En majuscules
– En minuscules
– En nombre
– En date
– En texte
– Définir les cellules sur null
– Transformer en chaîne vide

Avant de faire des transformations complexes, il est toujours conseillé de sauvegarder les données, pour cela recopier la colonne concernée.

Pour la colonne date : Éditer la colonne -> Ajouter une colonne en fonction de cette colonne -> Nouveau nom de cette colonne et valider.

Puis :
– Éditer les cellules -> Transformations courantes -> En date
– comparer avec la colonne recopiée si les transformations sont bonnes, bien souvent, pour les dates, des erreurs apparaissent : faire très attention aux dates, lors des modifications comme des importations de tables.

OpenRefine : regrouper les données d'une même colonne

JMi — 2018-05-13T13:44:00Z

Regrouper des valeurs

– depuis une facette textuelle, sur une colonne de modalités textuelles,

Facette textuelle

– demander Grouper et observer l'interface

cliquer sur "groupe"

– dans la colonne de cette interface, depuis les Valeurs dans le groupe, cliquer sur la valeur retenue, elle s'affiche alors comme Nouvelle valeur pour la cellule et la coche Fusionner ? apparaît.
– vous pouvez Fusionner la sélection & regrouper.
– Terminé. Fermer.

Fusionner les données

– observez que les corrections ont lieu directement dans la table de données.

OpenRefine : trier, filtrer les données en colonnes

JMi — 2018-05-13T13:44:00Z

Trier les données
– Trier... permet de lancer un tri de l'ensemble de la table de données, d'après l'ordre choisi dans cette colonne. Tout tri réalisé est un affichage, seulement un affichage

Trier les données

– Trier... d'une façon permanente doit s'appliquer avec la fonction qui se trouve dans le menu Sort qui apparaît alors après le choix du nombre de lignes affiché.

Supprimer un tri ou filtre

Filtrer les données
– Filtrer texte sur une première colonne, indiquer le texte à filtrer
– Filtrer texte sur une deuxième colonne, indiquer le texte à filtrer
– supprimer un filtre en cliquant sur la croix de fermeture de la Facette

Cela permet d'appliquer des traitements uniquement sur les enregistrements filtrés

Filtrer le texte

Supprimer les filtres
– Tout réinitialiser, vide les caractères des formulaires de filtres
– Tout supprimer, supprime tous les filtres

Filtre par mot

Filtrer avec une facette textuelle
– lancer une Facette textuelle sur une colonne de texte

Filtrer avec une facette textuelle

Facette textuelle des communes

– observer le nombre de choix et voir les options de modifications :
– cliquer sur 13 Choices pour obtenir la liste des occurences
– Trier par : nom compte, pour changer l'ordre alphabétique par l'ordre du nombre d'occurences, et inversement,
– cliquer sur Groupe pour obtenir une interface qui rassemble les valeurs semblables (selon différentes méthodes et fonctions)

– cliquer sur Facette par nombre de choix, un double curseur apparaît juste dessous, il vous permet de limiter l'affichage sur un nombre de modalités répétées.

– include sur une facette demande d'afficher uniquement les lignes avec cette facette, elle devient orange

Include

– inverser permet d'afficher toutes les lignes sauf celles qui étaient en orange, l'orange passe en noir barré

Include Inserser

– réinitialiser supprime les filtres include et inverser

– une nouvelle Facette textuelle, ou tout nouveau traitement, pourra alors
être générer uniquement sur les enregistrements affichés.
Il est ainsi possible de générer des Facettes sur les données numériques, chronologiques, voire des nuages de points.
Les personnalisations de Facettes demandent quelques connaissances dans le langage GREL.

Filtrer avec les facettes courantes
– Facette par mot ; renvoie tous les mots des cellules, lorsqu'ils sont séparés par un espace

Facette courante par mot

– Facette doublons ; extrait les cellules doublons et les cellules uniques

Facette doublons

– Facette longueur du texte ; pour afficher en fonction du nombre de caractères dans les cellules

Facette longueurs de mots

– Facette par valeur vide (nul ou chaîne vide) ; pour isoler les lignes comportant une cellule vide dans la colonne considérée

Facette vide

OpenRefine : découvrir l'application de traitement de données

JMi — 2018-05-13T13:43:00Z

Utilisons ce CSV pour notre tour de découverte de l'application OpenRefine.

OpenRefine-exercice-1-N2

exemple table de données avec erreurs

Ouvrir un jeu de données
– créer un projet : Parcourir, Suivant

Ouvrir une table de données

– constater un affichage de données
– choisir dans les paramètres de la partie basse : CSV / TSV / separator-based files, les données doivent être en colonnes

paramétrages de la table

Importer votre format de données
– savoir choisir le jeu de caractères : ISO8859-1 ou UTF8
– connaître le séparateur de colonnes : virgules, points-virgules, tabulations, espaces, autres
– préciser la ligne contenant les entêtes de colonnes
– conserver les lignes vides, ou pas

Lancer l'importation
– nommer le projet, en évitant les espaces vides dans le nom,
– cliquer sur Créer un projet

Création du projet

Découvrir les liens et boutons sur la première ligne
– Permalien est un lien vers le projet, si vous utilisez l'application en ligne, dans votre intranet
– ouvrir, un autre projet
– exporter le projet en cours

Découvrir l'interface de traitement
– onglet Facette / Filtre : pour les filtres
– onglet Défaire / Refaire : pour l'historique
– voir en : lignes ou entrées
– afficher : 5, 10, 25, 50 lignes
– première précédente x -x suivante ou dernière (ligne)

Historique des traitements

Lire les noms des colonnes de vos données
– lire le nombre total de lignes de votre importation
– Toutes pour la première colonne, celle-ci permet de marquer d'une étoile ou d'un drapeau, toutes les lignes que vous souhaitez pour le bon déroulement du traitement. Cette colonne comprend également une numérotation automatique de vos lignes.
– vos noms de colonnes, sont-ils bien normalisés ? Semblables ?

Connaître les principes
– vous avez toutes vos données dans une seule feuille
– toutes les lignes n'apparaissent pas forcément, ici 10 par défaut,
– une action peut être locale ou bien appliquée sur toute sa colonne
– une action peut être lancée par le bouton édit depuis une cellule ou bien par le sélecteur en forme de flèche vers le bas, en tête de colonne.

Découvrir les menus de traitements
– Facette ->
– Filtrer le texte
– Éditer les cellules ->
– Éditer la colonne ->
– Transposer ->
– Trier...
– Aperçu ->
– Réconcilier ->

Menus des colonnes

Ils sont tous identiques, pour toutes les colonnes, excepté pour la première colonne Toutes :
– Transformer
– Facette ->
– Éditer les lignes ->
– Éditer les colonnes ->
– Aperçu ->

Menu de la première colonne

Le menu de la première colonne permettant des actions plus génériques sur l'ensemble des lignes ou colonnes.

LimeSurvey : utiliser une échelle de Likert pour une évaluation

JMi — 2018-04-12T12:30:00Z

Une échelle de Likert est un outil psychométrique permettant de mesurer une attitude chez des individus. Elle tire son nom du psychologue américain Rensis Likert qui l'a développée. Elle consiste en une ou plusieurs affirmations (énoncés, items ou modalités) pour lesquelles la personne interrogée exprime son degré d'accord ou de désaccord [1], de satisfaction ou d'insatisfaction.

Statistiquement parlant, nous avons affaire à une variable ordinale, le codage tiendra compte de ce caractère et devra permettre un traitement quantitatif automatiquement calculé. LimeSurvey retiendra une valeur, l'analyste pourra en faire des mesures statistiques.

Vous pouvez composer les modalités d'une échelles de Likert de plusieurs façons :
– en 4 modalités pour imposer un choix, mais attention aux explications qui l'accompagne ci-dessous
– en 5 modalités avec l'idée sous-entendue que l'enquêté n'y a pas réfléchi
– en 5 modalités avec l'idée que l'enquêté peut y avoir réfléchi sans avoir pris de décision
– en 5 modalités avec l'idée sous-entendue que l'enquêté peut avoir des arguments des deux côtés
– en 7 modalités pour affiner le choix
– en 7 modalités pour affiner le choix avec un neutre ouvert

LimeSurvey : échelle de Likert pour évaluer un niveau d'accord ou de désaccord.

Attention, il est prouvé, psychométriquement, que l'absence d'un point neutre, diminue la fiabilité du test et augmente les choix aléatoires. Ceci se vérifie dans les questionnaires qui comportent des questions inversées ou des répétitions du test pour contrôle.

En cinq modalités avec l'idée sous-entendue que l'enquêté n'y a pas réfléchi :
– Tout à fait d'accord
– D'accord
– Sans opinion
– Pas d'accord
– Pas du tout d'accord

En cinq modalités avec l'idée que l'enquêté peut y avoir réfléchi sans avoir pris de décision :
– Tout à fait d'accord
– D'accord
– Indifférent
– Pas d'accord
– Pas du tout d'accord

En cinq modalités avec l'idée sous-entendue que l'enquêté peut avoir des arguments des deux côtés :
– Tout à fait d'accord
– D'accord
– Ni en désaccord ni d'accord
– Pas d'accord
– Pas du tout d'accord

En sept modalités pour affiner le choix :
– Tout à fait d'accord
– D'accord
– Plutôt d'accord
– Ni en désaccord ni d'accord
– Plutôt pas d'accord
– Pas d'accord
– Pas du tout d'accord

En sept modalités pour affiner le choix avec un neutre ouvert :
– Tout à fait d'accord
– D'accord
– Plutôt d'accord
– Ni en désaccord ni d'accord ou indifférent
– Plutôt pas d'accord
– Pas d'accord
– Pas du tout d'accord

LimeSurvey : échelle de Likert pour évaluer un niveau de satisfaction ou d'insatisfaction.

En cinq modalités avec l'idée sous-entendue que la personne n'y a pas réfléchi :
– Très satisfait
– Satisfait
– Sans opinion
– Insatisfait
– Totalement insatisfait

En cinq modalités avec l'idée que la personne peut y avoir réfléchi mais s'en fiche :)
– Très satisfait
– Satisfait
– Indifférent
– Insatisfait
– Totalement insatisfait

En cinq modalités avec l'idée sous-entendue que la personne peut avoir des arguments des deux côtés :
– Très satisfait
– Satisfait
– Ni satisfait ni insatisfait
– Insatisfait
– Totalement insatisfait

En sept modalités pour affiner un choix :

[1] Source Wikipédia

Flasher un Samsung Galaxy S6 G920F sous GNU Linux Debian ou Ubuntu

JMi — 2018-02-24T19:25:00Z

Voici comment flasher un Samsung Galaxy S6 G920F par une ROM LineageOS.

Les concepts de base

Vous avez deux systèmes dans un téléphone mobile :
– une Rom de démarrage propre au constructeur
– une Rom système, de fonctionnement, d'usages, le système Androïd, basé sur un GNU/Linux

Ces deux ROM peuvent être remplacées :
– la Rom usine de démarrage par TWRP ou ClockWorkMod [1]
– la Rom système, par des versions d'Androïd modifiées, par exemple, la ROM officielle LineageOS

Dans ce tutoriel, nous allons installer la version officielle de LineageOS sur un Samsung S6 après avoir modifié la Rom de démarrage par TWRP.

Les outils nécéssaires
– ADB
– HEIMDALL
– TWRP
– ROM LineageOS

Lire ci-dessous.

Les outils nécéssaires : ADB

Il faut installer le logiciel ADB avec FastBoot
– https://wiki.lineageos.org/adb_fastboot_guide.html
– https://developer.android.com/studio/command-line/adb.html

Les outils nécéssaires : HEIMDALL

Heimdall est le pendant UNIX de ODIN pour Windows, il vous permet de :
– https://glassechidna.com.au/heimdall/#downloads
– https://doc.ubuntu-fr.org/heimdall

Les outils nécéssaires : TWRP

ABSOLUEMENT utiliser le TWRP !
– TWRP est votre ROM custom RECOVERY.img
– lire https://en.wikipedia.org/wiki/TWRP
– TWRP est développé et distribué sous la licence libre GNU GPL v3
– télécharger, pour le S6, ici : https://dl.twrp.me/zeroflte/

Les outils nécéssaires : LineageOS

Attention, notre choix est de toujours choisir une Rom officielle, comme on utilise des logiciels de _sources_ sûres !
– la rom _officielle_ est la zerofltexx de LineageOS, le projet de libération, continuité de CynanogenMod,
– télécharger la dernière ROM ici : https://download.lineageos.org/zerofltexx
– aujourd'hui le 2018-02-24 : lineage-14.1-20180224-nightly-zerofltexx-signed.zip
– vérifier l'intégrité de votre fichier téléchargé avec celui sur le serveur : https://mirrorbits.lineageos.org/full/zerofltexx/20180224/lineage-14.1-20180224-nightly-zerofltexx-signed.zip?sha256 —> 9bc974462c258f7552cdf64239f67044a82cb7e2e33c62813468fa96d9a62c86
– depuis le répertoire contenant votre ROM zippée, utiliser la commande "sha256sum", VotreShellUnix$ sha256sum lineage-14.1-20180224-nightly-zerofltexx-signed.zip
9bc974462c258f7552cdf64239f67044a82cb7e2e33c62813468fa96d9a62c86 lineage-14.1-20180224-nightly-zerofltexx-signed.zip
– le retour doit donner une clef identique.

Ensuite, tout est expliqué à partir de cette page :
– https://wiki.lineageos.org/devices/zerofltexx
– https://wiki.lineageos.org/devices/zerofltexx/install

Action : distinguer deux démarrages différents

Il existe deux manières de démarrer un téléphone mobile, ici pour le S6 :
– démarrage en mode download pour le flash de la Rom-Custom : volume down + power + home, en continu et attendre,
– démarrage en mode Rom-Custom : volume up + power + home, en continu et attendre.

Action : installer ADB sous GNU/Linux

Si vous êtes sous Debian ou Ubuntu, depuis vos outils préférés, Shell, Synaptic, ou autres :
– trouver le paquet android-tools-adbd : Android Debug Bridge Phone Daemon
– #apt-get install android-tools-adbd

Action : installer HEIMDALL sous GNU/Linux

Installer Heimdall :
– taper dans votre terminal # apt-get install heimdall-flash
– taper ensuite #heimdall version (si le retour est bon, tout va bien)

Action : depuis votre téléphone

Depuis votre téléphone, il est nécessaire d'activer les fonctionnalités "développeurs".
– ouvrir les paramètres du téléphone
– ouvrir à propos de l'appareil
– ouvrir infos logiciel
– trouver Numéro de version
– doigter 7 fois la fonctionnalité ! Une annonce doit alors vous confirmer le passage en mode développeur
– revenir à la première page des paramètres et descendre dans le bas, vous devez voir Options de développement
– trouver Débogage et activer Débogage USB, valider les demandes,
– connecter le téléphone à votre GNU/Linux avec un câble USB qui va bien (pas un simple câble de charge, un câble qui permet de connecter deux appareils ensemble),
– ouvrir un terminal et depuis le shell, la commande #adb devices doit vous retourner la référence de votre connexion etablie

– aussi le numéro de référence du mobile

Depuis votre téléphone, faire un Hard Reset pour Download du Recovery :
– éteindre votre mobile
– redémarrer en appuyant _en_même_temps_ sur le bouton droit power, le bouton le plus bas sur la gauche volume_down et le bouton du bas de l'écran home key
– brancher le câble USB
– confirmer en choisissant le volume_up, votre mobile attend alors des informations de votre GNU/Linux
– lancer la commande #Heimdall fash —RECOVERY recovery.img —no-reboot qui pousse la ROM Custom de boot sur votre mobile

– débrancher le câble USB (ou pas)
– éteindre votre mobile

La ROM Custom installée, faire un Hard Reset sur la nouvelle ROM Custom :
– redémarrer en appuyant _en_même_temps_ sur le bouton droit power, le bouton le plus haut sur la gauche volume_up et le bouton du bas de l'écran home key,
– découvrir TWRP ! absolument génial.
– faire un formatage de votre système Androïd usine, qui vous demande toujours trop de votre vie, et oubliez-le :-) avec la commande Wipe Data reset
– aller dans les options avancées
– choisir une action ADB
– connecter le câble USB

– lancer la commande #ADB dans votre Shell GNU/Linux !

et prendre un café.
– demander à TWRP de redémarrer en mode système Androïd

Vous avez terminé.
Vous venez de flasher votre téléphone en 1 heure, après 5 heures de lectures !

[1] Différences entre TWRP et CWM

LimeSurvey 2.73 et 3.13 : les mises à jour majeures peuvent commencer

JMi — 2018-02-10T15:33:00Z

LimeSurvey 2.73 et 3.13 : les mises à jour majeures peuvent commencer

euh, non !

Nous ne conseillons pas de mettre en production, une version 3.X, cet été 2018. Pour l'heure, préférez la version 2.73.1

et nous pouvons vous dire pourquoi par courriel

LimeSurvey 3.X : exporter la structure d'un questionnaire

JMi — 2018-02-02T12:54:00Z

LimeSurvey 3.X : exporter la structure d'un questionnaire

Dans LimeSurvey 2.0.x

Depuis l'interface du résumé du questionnaire,

– passez votre souris sur le menu Affichage / Exportation,

Capture d\'écran de 2018-07-02 13-42-06

– glissez votre souris puis cliquez sur Exporter la structure du questionnaire (.lss)

Capture d\'écran de 2018-07-02 13-51-32

– renommez plus explicitement votre fichier, au nom du questionnaire (vous pouvez garder le numéro à 5 chiffres du questionnaire),
– enregistrez le fichier dans votre répertoire de sauvegardes de vos questionnaires (par exemple).