Mardi 21/04/2020

Activités réalisées :

• Ajout de l'attribut references dans l'index elasticSearch (et étude de celui-ci)
• Ajout de la fonctionnalité d'executer une requête elasticSearch sous format Json
• Ajout de la fonctionnalité de choisir si l'utilisateur souhait afficher le résultat, le sauvegarder, ou les deux

Approfondissement Activités :

Ajout de l'attribut references

Dans le fichier .mbox, les mails faisant partie d'un Thread contiennent un attribut references qui contient l'id de tout les mails auxquels il répond (ces mails correspondent au > texte sur les threads de l'ivoa)

J'ai donc ajouté cet attribut dans l'index d'elasticsearch pour pouvoir par la suite, récuperer et construire les threads de mails.

Il est notamment possible, et que j'ai pu tester, de récuperer tout les mails présents dans les références pour reconstuire un thread, la fonctionnalité n'est pas encore implémentée mais est en cours.

Executer une requête ElasticSearch Json

L'utilisateur a maintenant la possiblité de pouvoir executer une requête sur ElasticSearch via les requêtes par défaut présentes dans le dossier data/queries

Le jeu de requêtes est faible est pour l'instant, mais devrait s'agrandir dans les jours suivants, il est néanmoins impossible pour l'instant d'utiliser une requête sort car elastic search les bloquent.

Afficher, sauvegarder ou les deux

L'utilisateur a le choix lors de l'execution d'une requête d'afficher le résultat dans la console, le sauvegarder dans un json ou les deux.

Si il choisit de le sauvegarder au format Json, celui ci sera crée dans data/json et sera nommé d'après la date où il a été créé.

Commentaires Personnels sur cette journée

J'ai du revoir mon ajout d'items dans l'index notamment parce que certains mails avaient des formats de date encore différents de ce que j'avais vu hier. Le problème est corrigé mais a été très chronophage.

J'ai du mal à comprendre précisement le principe de thread, car il ne semble pas qu'un mail contenant des références constitue un thread sur le site de l'ivoa, un message 'threadé' doit être encore différent au niveau des attributs, où j'ai pu voir 'Thread-Topic' et 'Thread-Index'

Objectifs pour la suite

• Reprendre la mise à jour incrémentale
• Créer d'autres requêtes par défaut
• Continuer la création de threads