Crawler specification - GeekBrainsCommunityofAlumni/Statistics GitHub Wiki
Краулер будет заниматься обходом сайта, и собирать статистику по каждой скачанной HTML-странице.
Для простоты, Краулер будет обходить только те ссылки, которые находятся в Sitemap-е сайта. Как правило, новостные сайты содержат очень хороший и полный sitemap.
Ссылку на Sitemap нужно найти в robos.txt для данного сайта.
1. Найти новые сайты для обхода.
Инициализировать начало обхода:
• Просмотреть таблицу Sites. Найти строки в таблице Sites, которым не соответствует НИ ОДНОЙ строки в таблице Pages.
• Для этого сайта добавить в таблицу Pages строку с URL равным http://<имя_сайта>/robots.txt и LastScanDate равным null.
2. Обход ссылок, которых по которым раньше не производился обход.
• Найти в таблице Pages ссылку, у которой LastScanDate равен null.
• Скачать HTML по данной ссылке.
• В зависимости от того, что это была за ссылка, выполняем следующие действия:
- Если ссылка ведет на robots.txt, находим в HTML-е ссылку на sitemap, и добавляем ее в таблицу Pages.
- Если ссылка ведет на страницу сайта, найти количество вхождений ключевых слов для каждой личности, и сохранить результаты в таблице PersonPageRank.
3. Повторных обход по ссылкам, которые ранее обходил Краулер.
• Если в таблице Pages нет ссылок, у которых LastScanDate равен null, Краулер делает повторных обход по тем ссылка, для которых LastScanDate имеет наименьшее значение.
• Повторный обход осуществляем только по тем ссылкам, которые ведут на sitemap.
• Повторный обход по ссылкам целесообразно делать не чаще, чем раз в день.