Compte Rendu 08 02 2018 - AmigoCap/SparkSenti GitHub Wiki

Voici l'état actuel du projet :

• Nous savons récupérer des tweets sous format JSON
• Nous avons des scripts qui nous permettent de lancer l'exécution de l'analyse des tweets sur le datacenter directement depuis nos ordinateurs (cf. GitHub SparkSenti : submit "nom_du_fichier_des_tweets").
• Dans l'analyse, nous utilisons la librairie CoreNLP pour classifier chaque mot d'une phrase dans une des catégories adverbe, verbe, adjectif et nom. Cela nous permet ensuite d'utiliser le dictionnaire SentiWordNet pour récupérer toutes les occurrences où le mot intervient en fonction de son type et d'en sortir une moyenne. La moyenne pondérée sur tous les mots nous permet de donner un sentiment.
• Nous avons réussi à utiliser la fonction d'analyse de sentiment fournie dans CoreNLP, qui atteint une moyenne de 80% sur l'analyse de sentiment

Suite à cela, nous avons discuté entre nous pour savoir quelle direction prendre : faut-il essayer d'améliorer notre algorithme pour dépasser celui de CoreNLP ou essayer d'améliorer notre chaîne de production ? Voici ce qu'il en ressort : il est plus intéressant pour nous d'essayer d'améliorer la chaîne de production et mettre en place une interface utilisateur. L'amélioration de l'algorithme pour dépasser l'analyse de CoreNLP demande des connaissances très poussées en machine learning et sémantique que nous ne pourrons acquérir en moins de deux mois. Nous préférerions bâtir la suite de notre projet autour de l'analyse de sentiments fournit par CoreNLP et nous concentrer sur les axes suivants :

• Echantillonage pour scoring : inclure dans l'algorithme une entrée utilisateur pour confronter l'analyse des algorithmes (SentiWordNet et CoreNLP à un humain).
• Récupération des tweets en temps réel : à partir d'un ou plusieurs mots clés, collecter et stocker des tweets pour en permettre l'analyse.
• Stockage : pouvoir stocker les tweets collectés et l'analyse fournit par l'algorithme pour en permettre une interaction avec l'utilisateur.
• Visualisation : pouvoir afficher les résultats sur une page html pour piloter l'analyse et en visualiser les résultats.
• API pour joindre le stockage et la visualisation : permettre à la page de visualisation de récupérer des données.