# Краулер

## Версия 1.0

Реализован полный цикл работы краулера без повтороного обхода ссылок. Обходим только те ссылки, которые найдены в Sitemap-е.

## Версия 2.0

Краулер делает повторный обход ссылок. Не чаще чем раз в сутки.

## Версия 3.0.

Краулер поддерживает обход не только ссылок из Sitemap-а, но и все остальные ссылки сайта, удовлетворяющие robots.txt

## Версия 4.0

Краулер поддерживает параллельное скачивание

## Версия 5.0

Можно одновременно запускать несколько экземпляров краулера