Data Analysis - ArwaAlrazooq/Arabic-twitter-analysis GitHub Wiki
عملية تحليل البيانات تختلف باختلاف طبيعه البحث. ماسنذكره هنا هو باستخدام علم تعلم الآلة "Machine Learning" و التحليل بالاعتماد على القاموس "Lexicon Based Approach" و نظام الهجين "Hybrid Approach"
"عبارة عن حزمة برمجية مفتوحة المصدر تحتوي على مجموعة من الخوارزميات التي تساعد على تحليل واستخراج البيانات (Data mining) [1]" .
برنامج ويكا يتطلب ان تكون الملفا بصيغا محدده ليتمكن من فهمها واحدها هي صيغه arff. المقاله الموجوده في [1] تشرح بالتفصيل كيفيه بناء ملف Arff
ان كان لديك ملف بصيغه CSV فانه بامكانك تحويله الى صيغه Arff. الموقع التالي يوفر خدمه التحويل
بعد تجهيز الملف، قم بتشغيل ويكا والضغط على Preprocess -> Open file
في هذا القسم سنتعرف على بعض اجزاء البرنامج المهمه مثل Filter / Classification
المقاله الموجوده في [2] تشرح وتوضح ماهي فائده الفلاتر
1. يوفر ويكا العديد من الخوارزميات، من هنا يتم اختيار المصنف المناسب
2. يوجد 4 اختيارات مختلفه بالنسبه ل Test Option للتعرف على جميعها اتجه الى المقالة [3]
3. لبدء عمليه التحليل
4. هنا سيتم عرض نتائج المصنف، يوجد العديد من المصطلحات والاختصارات لفهمها اتجه الى المقاله [4]
3. لبدء عمليه التحليل
يمكن القيام بعمليه التنبؤ عندما يكون لديك بيانات لا تعلم ماهي نتيجتها وتود من الاله اكتشافها. على سبيل المثال ادخال عباره وتود اكتشاف اذا ماهي ايجابيه او سلبيه.
لبناء الموديل والذي سيتم من خلاله عمليه التنبؤ ، اتبع الروابط لتعلم الطريقه [5] [6]
يتم استخدامه في تحليل البيانات الـ sentiment analysis
القاموس هو عبارة عن مجموعة من الكلمات الايجابية والسلبية المفردة أو العبارات الثنائية "phrases" مع إعطائها درجات لتوضيح درجة القطبية فيها.
في هذا الاتجاه يكون تحديد إيجابية أو سلبية التغريدة أو العبارة بالاعتماد على تمريرها على هذا القاموس وعمل tokenization للتغريدة بحيث يتم مقارنة كل كلمة في التغريدة بالكلمات في القاموس وحساب عدد الكلمات الإيجابية والسلبية في كل تغريدة ودرجة القطبية فيها ليتم تقييم التصنيف لها بناء على درجة القطبية فيها. يمكنك الاطلاع على Arabic sentiment lexicon للاستزادة
هذا التجاه يعتمد على دمج الاتجاهين السابقة للحصول على دقة تحليل ونتائج أعلى
للاطلاع على معلومات اكثر عن الطرق الثلاثه التي تم ذكرها، يمكن الاستزاده من الورقه العلميه في [7]
[1] ARFF File Simplified in Arabic: https://units.imamu.edu.sa/rcentres/en/asa/Pages/arff-file.aspx
[2] WEKA Filters: https://ethraarab.wordpress.com/2015/05/04/weka-filters/
[3] WEKA Test Options: https://ethraarab.wordpress.com/2015/05/06/evaluating/
[4] WEKA Result: https://ethraarab.wordpress.com/2015/05/06/classifier-accuracy/
[5] https://www.youtube.com/watch?v=jSZ9jQy1sfE&t=432s
[6] https://www.youtube.com/watch?v=zlVJ2_N_Olo
[7] Thakkar, Harsh, and Dhiren Patel. "Approaches for sentiment analysis on twitter: A state-of-art study." arXiv preprint arXiv:1512.01043 (2015).