Archives de catégorie : code

Fouille de texte avec Calc et Excel: 1001 PJs dans la Tombe des Horreurs

Quelques calculs simples pour faire de la fouille de texte et des statistiques avec LibreOffice Calc et Microsoft Excel. Appliqués à 1001 PJs qui se sont aventurés dans l’infâme Tombe des Horreurs.

  • Si une valeur dans une colonne correspond à un ensemble de valeurs dans une autre colonnes alors écrire quelque chose.
  • Combien de valeurs d’une variable spécifique ?
  • Combien de valeurs pour une combinaison de plusieurs variables ?

Télécharger les exemples pour Calc ou Excel.

Attention: Les mauvaises utilisations d’Excel dans la recherche académique sont monnaie courante. Excel est facile d’utilisation mais il ne peut remplacer un vrai outil statistique pour de gros projets.

Illustration: extrait du module Tomb of Horrors, 2ème éd., peint par Erol Otus, 1981.
« Merci de ne pas glisser vos données dans la bouche du diable vert, ni dans l’arche brumeuse, svp. »

Analyser des milliers de PDFs et extraire leurs (méta)données vers un fichier tabulé

Via le site Car Library, j’ai trouvé ExifTool: un logiciel libre de Phil Harvey qui permet d’analyser des milliers de PDFs, d’en extraire des informations (générales et métadonnées) et ensuite de générer un fichier tabulé facilement traitable dans un tableur comme LibreOffice Calc ou MS Excel.

  1. Télécharger le logiciel
  2. Installer le logiciel (méthode en français ici)
    • Extraire le fichier exiftool(-k).exe du fichier zip
    • Renommer le fichier en exiftool.exe
    • Copier ce fichier dans c:/windows/
  3. Démarrer > Exécuter > taper cmd puis Entrée
  4. Copier-coller le code suivant:
    exiftool -csv -r -Encrypt -Info -Root -Linearized  -All -ext pdf -m -t c:\collection > rapport.csv

    • c:\collection contient les PDFs
    • rapport.csv est créé à la racine de votre user
    • Informations extraites : nom du fichier, nom du dossier, taille du fichier, nombre de pages, métadonnées
    • Je cherche toujours à savoir: native PDF ou scanned PDF; if scanned: OCR or not; if scanned: quality of scan; PDF/A (yes/no). Il existe le logiciel propriétaire PDF-Analyzer Pro 5.0 de Ingo Schmoekel qui permettrait d’extraire ces éléments mais je ne l’ai pas acheté.

Il est possible de faire cela pour d’autres types de fichiers (images,…).

Méthode envoyée à Harry. Il a appliqué ce programme à sa collection de 294 Go, analysé 18420 fichiers dans 2212 dossiers. Le processus a pris 3 heures et généré un fichier csv de 52 Mo.

Créer un graphe sur OD&D

2016-05-27 16-12-45

Voici quelques conseils pour créer votre propre graphe dont la mise en forme se fait automatiquement. Avec des logiciels libres. C’est l’équivalent de LaTeX pour les diagrammes en quelque sorte. Il suffit de modifier le codage en langage dot (très simple) et c’est le logiciel Graphviz qui s’occupe de positionner le tout au mieux.

L’exemple de codage a été fait autour de la création de OD&D.

  1. Installer:
    1. Graphviz (!site souvent très lent).
    2. Notepad++ (logiciel très pratique pour écrire du code)
  2. Paramétrer Windows pour Graphviz (modifier la variable d’environnement « path »)
    1. Démarrer > Panneau de configuration > Système et Sécurité (clic titre) > Système > Paramètres système avancés > Variables d’environnement.
    2. Sélectionner la variable/ligne « path » dans la liste des variables système. Cliquer Modifier. Ajouter à la fin de la ligne  ;C:\Program Files (x86)\Graphviz2-34\bin
      (NB: ne pas oublier le point-virgule du début)
  3. Paramétrer Notepad++
    1. Paramétrer le lancement de Graphviz depuis Notepad++
      1. Notepad++: Plugins (ou Compléments) > Plugins Manager > Show Plugin Manager : Search and install NppExec plugin
      2. Configurer le NppExex: Plugins > NppExex > Execute > saisir ce script dans la fenêtre (une seule ligne) :
        dot "$(FULL_CURRENT_PATH)" -Tpng -o "$(CURRENT_DIRECTORY)\$(NAME_PART).png"
        cela va lancer le programme dot et créer un PNG.
      3. On peut remplacer par Tpdf pour faire un PDF mais c’est moins robuste pour les graphes immenses.
      4. On peut utiliser l’option gdi+ pour faire le rendering car cairo (défaut) n’est pas robuste pour les graphes immenses:
        dot "$(FULL_CURRENT_PATH)"  -Tpng:gdiplus:gdiplus -o -v "$(CURRENT_DIRECTORY)\$(NAME_PART).png"
      5. Sauvegarder le script.
    2. Paramétrer le coloriage syntaxique dans Notepad++
      1. Télécharger le fichier graphviz-notepad-udl.xml.
      2. Notepad++: Language > Create User Define Language > Import : sélectionner le fichier xml précédent. Relancez Notepad++.
  4. Pratiquer la création de graphes :
    1. Télécharger le fichier exemple.gv
    2. Ouvrir le fichier exemple.gv avec Notepad++
    3. [Modifier le contenu]
    4. Plugins > NppExec > OK … un fichier PNG est créé. Voir le fichier exemple.png.

Sources: Steinweb, Grevian, TBallantyne. Lien pratique pour les couleurs.

Noms de revues et auteurs

Pour lister automatiquement tous les noms de revues et les noms des auteurs de votre bibliothèque Zotero. Les items sont répétés s’ils apparaissent plusieurs fois (bon pour repérer les auteurs influents ou les revues souvent citées). On créé des bibliographies à l’aide de 2 fichiers de styles CSL spécialement conçus pour cela :

 

  1. Installer les styles dans Zotero.
  2. Sélectionner toutes les références à traiter (seulement les articles pour le premier).
  3. Clic-droit : Créer une bibliographie à partir des documents.
  4. Sélectionner un des deux styles. Sélectionner Copier dans le presse-papier.
  5. Coller dans un éditeur de texte comme Notepad++.
    1. NB: pour les noms des auteurs, faire un multi-remplacement :
    2. Recherche : — Remplacer par : n (cocher Mode étendu). Remplacer tout.
    3. puis Ctrl+A (sélectionner tout) et Édition > Lignes > Trier les lignes dans l’ordre lexicographique croissant.

Méthode alternative pour avoir la liste des auteurs : installer le plugin Zutilo, sélectionner toutes les références, clic droit > Zutilo, Copier les créateurs dans le presse-papier. Coller.
NB: avec cette méthode, on ne peut voir combien de fois un auteur est mentionné. Car il n’apparaît qu’une fois, quelque soit le nombre de fois où il présent dans la bibliothèque Zotero.

Méthode alternative pour avoir la liste des revues : exporter votre bibliothèque au format *.csv, puis ouvrir ce fichier *.csv dans Calc ou Excel (assistant d’importation: délimité; séparateur: virgule; indicateur de texte: « ) puis supprimer toutes les colonnes sauf Publication Title. Trier la colonne Publication Title. Et voilà!