Mercredi 15/04/2020

Activités réalisées :

• Amélioration du programme de test : testPerceval.py
• Création du premier tutoriel pour reproduire testPerceval.py
• Renseignements sur Arthur et GrimoireELK

Approfondissement Activités :

Amélioration du programme de test :

• Création de la classe percevalAnalyze qui contient toutes les méthodes du module
• Création d'une interface de choix dans le terminal de commande
• Fonctionnalités automatique du programme :
  1. Télécharger l'archive de mails de la mailing list [email protected]
  2. Création du "repository" via Perceval qui interprète les données du .mbox
• Fonctionnalités possibles pour l'utilisateur :
  1. Afficher l'ensemble des messages de l'archive
  2. Compter le nombre de mails fait par une personne (en tapant son nom/prenom/adresse)
  3. Afficher les 5 premièrs messages de l'archive (pour prendre connaissance de l'architecture du fichier)
  4. Afficher tout les messages dont le contenu contient un mot clé (par exemple : new tool)

Création du premier tutoriel pour reproduire testPerceval.py

• Création du document en anglais
• Présentation du programme
• Explication des entrées et sorties du programme
• Explication de l'utilisation du programme

Renseignements sur Arthur et GrimoireELK

Arthur est un module à associer avec Perceval qui permet de spécifier quand et comment lancer Perceval, notamment comment ne pas le lancer à chaque instance de script dû à plusieurs raisons : soit à cause de la lenteur du processus ou la fragilité de la structure qui nous fournit ces données.

GrimoireELK est un module à associer avec Arthur ou directement avec Perceval, son rôle est de récuperer toutes les données récoltées et de les stockers dans une base de données local (ElasticSearch), au début de son implémentation les indexes sont à nu et ne sont pas bien ordonnés, c'est au fur-à-mesure de mon travail sur celui-ci que les index se retrouveront plus précis et organisés.

Quand à ElasticSearch, c'est un utilitaire qui nous permet d'avoir une base de données hébergée localement, c'est une base de données non-SQL, et pour l'installer il faut aussi avoir installé Java sur Linux.

Objectifs

Je liste ici des idées d'objectif à atteindre pour les jours à venir, ce sont des objectifs temporaires auxquels j'ai pensé utiles à préciser ici.

Objectifs :

• Installer ElasticSearch et se documenter encore plus sur le sujet
• Installer GrimoireELK
• Installer Arthur
• Ecrire un module python permettant à Perceval de collecter des données et à GrimoireELK de les stocker avec ElasticSearch