Фильтрация новостей по заголовкам - PetrovaDaria/software-glitches GitHub Wiki
Все ранее использовавшиеся способы фильтрации давали очень много новостей совсем не об IT, и не о сбоях. Еще один способ - искать только специфичные словосочетания в заголовке. Упустим новости, у которых в заголовке нет фраз, часто использующихся в таких случаях. Но зато лишних новостей будет по минимуму.
В заголовках искались словосочетания из декартова произведение первого множества на второе:
Первое (прилагательные, описывающие сбой): 'technical', 'software', 'hardware', 'system', 'computer', 'tech'.
Второе (существительные, означающие сбой): 'breakdown', 'failure', 'damage', 'tech', 'problem', 'mistake', 'lapse', 'issue', 'bug', 'difficult', 'blow', 'error', 'malfunction', 'outage', 'defect'.
А также такие слова как: 'glitch', 'is down', 'was down', 'went down'
В итоге из 344,240 новостей таким способом было выделено 6,668.
Количество упоминаний слов/словосочетаний в заголовках:
{'glitch': 4141,
'technical issue': 412,
'is down': 344,
'system failure': 234,
'computer outage': 220,
'system outage': 218,
'technical problem': 174,
'software bug': 107,
'went down': 86,
'technical error': 64,
'computer failure': 60,
'computer problem': 60,
'system issue': 55,
'computer issue': 55,
'was down': 52,
'technical difficult': 50,
'software problem': 48,
'computer error': 43,
'system error': 39,
'tech problem': 39,
'technical failure': 37,
'software issue': 35,
'system problem': 35,
'software error': 34,
'tech issue': 33,
'computer bug': 27,
'technical outage': 19,
'hardware problem': 18,
'software outage': 17,
'hardware issue': 15,
'hardware failure': 14,
'system breakdown': 14,
'tech failure': 14,
'software defect': 13,
'technical mistake': 11,
'system malfunction': 11,
'computer tech': 8,
'tech error': 8,
'tech tech': 6,
'hardware defect': 4,
'technical malfunction': 3,
'technical defect': 3,
'system bug': 3,
'computer blow': 3,
'tech outage': 3,
'software failure': 2,
'software tech': 2,
'software malfunction': 2,
'hardware bug': 2,
'system damage': 2,
'computer malfunction': 2,
'tech malfunction': 2,
'hardware tech': 1,
'hardware malfunction': 1,
'system mistake': 1,
'system difficult': 1,
'computer breakdown': 1,
'system defect': 1,
'tech blow': 1,
'technical breakdown': 0,
'technical damage': 0,
'technical tech': 0,
'technical lapse': 0,
'technical bug': 0,
'technical blow': 0,
'software breakdown': 0,
'software damage': 0,
'software mistake': 0,
'software lapse': 0,
'software difficult': 0,
'software blow': 0,
'hardware breakdown': 0,
'hardware damage': 0,
'hardware mistake': 0,
'hardware lapse': 0,
'hardware difficult': 0,
'hardware blow': 0,
'hardware error': 0,
'hardware outage': 0,
'system tech': 0,
'system lapse': 0,
'system blow': 0,
'computer damage': 0,
'computer mistake': 0,
'computer lapse': 0,
'computer difficult': 0,
'computer defect': 0,
'tech breakdown': 0,
'tech damage': 0,
'tech mistake': 0,
'tech lapse': 0,
'tech bug': 0,
'tech difficult': 0,
'tech defect': 0
}