Установка - ESGuardian/LittleBeat GitHub Wiki
История версий
Текущая стабильная версия 6.1.001 она является результатом переноса на ELK 6.1.3 версии LittleBeat 5.5.001. Поскольку в новой версии ёлки произошли очень большие изменения, простого способа апгрейда с версии 5.5 нет. Кроме того многое изменилось в дизайне системы. Например я сделал msi файлы для установки агентов winlogbeat. Это позволяет разворачивать их групповыми политиками.
Требования к системе
Виртуальная или физическая машина Ubuntu Server 16.04 LTS.
Минимально необходимо 4 процессорных ядра, 8 GB RAM, 100 GB HDD. Если вы хотите хранить логи долго, дисковый массив должен быть больше. Смотрите ниже. В качестве процессора годится даже Intel Atom. То есть, китайский barebone вполне подойдет для малых сетей (до 100 хостов). Для сетей побольше, лучше иметь настоящий сервер. Физическая машина, как понятно, предпочтительнее виртуальной в производительности. Для больших сетей, рекомендуется больше оперативной памяти на сервере. Вплоть до 16 GB.
Рекомендуется минимальная установка системы с дистрибутива, с выбором только сервера SSH и стандартных системных утилит, в качестве дополнительных опций.
Рекомендуется статическая настройка IP или фиксация адреса на сервере DHCP.
Обязательно иметь в сети сервер DNS. Эту функцию может выполнять домашний WiFi Router.
В DNS обязательно должна быть внесена запись с адресом хоста littlebeat (так и должен называться).
Рекомендуется иметь в DNS настроенные записи PTR для хостов, но это не обязательно.
Во время установки необходим доступ в Интернет. Как к репозиториям Ubuntu и Elastic, так и к GitHub.
Коммуникации между агентами и сервером закрываются посредством SSL. Используется самоподписанный сертификат сервера, который создается в процессе установки и конфигурации аплаенса.
Рекомендации по размещению стандартных директорий
LittleBeat настраивается на хранение индексов в директории /var/lib/elasticsearch, директория /opt/littlebeat/backups используется в качестве места для репозитория резервных копий (снимков) индексов Elasticsearch.
Для маленькой системы размещение этих директорий значения не имеет, но LittleBeat годится не только для маленьких. Если вы ожидаете большие объемы индексов, 5-6 миллионов событий в сутки, и собираетесь хранить их целый год, будет лучше, если эти директории будут смонтированы на отдельный диск. Место занимаемое индексами зависит от их структуры, но для простоты можно считать 1ГБ = 1,5 млн событий. Если ничего странного не происходит, то один хост Windows - это 10 тысяч событий в сутки. Вот и считайте, сколько у вас хостов, а потом умножайте это число на два, если у вас есть еще и котроллеры домена.
Если вы не хотите хранить индексы долго и вам достаточно оперативного хранения в течение месяца, возможно, вы предпочтете монтировать директорию var на SSD (правильнее говорить "ssd в директорию var") для повышения производительности системы. А директорию opt тогда лучше монтировать на диск подешевле и побольше. Туда можно будет скидывать старые индексы, на всякий случай, при необходимости залезть в историю, вы сможете восстановить конкретные индексы на конкретные даты, не останавливая рабочую систему. Такой подход не столько ускоряет поиск по индексам, сколько сокращает время перезапуска системы. При рестарте Elasticsearch запускает процедуру аллокации шардов с индексами (shard - это неделимый кусок индекса), то есть поиск их места на диске и проверку целостности, из-за операций ввода/вывода это очень тяжелая процедура и очень долгая. Скорость аллокации составляет примерно 1000 шардов в минуту. Если шарды находятся на SSD время аллокации сокращается в десятки раз. LittleBeat настроен на создание минимально возможного количества шардов. Если у вас более 8ГБ оперативной памяти, то шаблоны индексов будут настроены на создание одного шарда на индекс, если памяти меньше, то 2 шарда на индекс. Таким образом. использование SSD совершенно не обязательно, но не вредно.
Лучше определиться с разметкой дисков на разделы и размещением директорий var и opt при установке Ubuntu Server.
Установка
Во время установки на вашем сервере будет создан пользователь little (пароль вы зададите сами). Этому пользователю будут заданы uid=0 и gid=0, то есть он станет рутом
Предпочтительно использовать PuTTy в качестве SSH консоли. Поскольку все скрипты используют утилиту dialog и псевдографику, чтобы она не выглядела смещно, необходимо в PuTTy для сессии с littlebeat вписать значение "linux" для параметра "Terminal-type-string", как показано на картинке:
Подключитесь к консоли вашего сервера и заделайтесь рутом (sudo su). Введите команды:
sudo su
cd /tmp
wget https://raw.githubusercontent.com/ESGuardian/LittleBeat/v-6.1.001/run.sh
bash run.sh
Далее следуйте инструкциям на экране.
После выполнения маленького скрипта машина перезагрузится. Повторно подключитесь к серверу указав имя пользователя "little' и пароль, который придумали и задали на предыдущем этапе. Увидите меню установки и настройки системы.
Установка не полностью автоматическая. В двух местах необходимо вводить пароли создаваемых пользователей. В разных местах надо нажимать кнопочку "Ок". Больше ничего особенного делать не надо.
Ах, да. После установки всей системы рекомендуется настроить и запустить обзор локальной сети утилитой nmap. Это делается в меню, которое появится в конце установки.
В дальнейшем при подключении к консоли аплаенса от имени пользователя "little" вы всегда будете видеть это меню.
В браузере на своей рабочей машине заходите на https://littlebeat/.
ВАЖНО. Процесс установки занимает много времени, это зависит как от скорости соединения с Интернет, так и от производительности машины. За это время многое может случиться, что может вызвать неожиданный сбой в установке, например, отвалится SSH-соединение с консолью сервера. Это не проблема. Весь процесс разбит на этапы и на каждом этапе ставится специальная метка о его прохождении и, если надо, записывается в файл важная информация необходимая на следующих этапах установки и конфигурации системы. Можете просто заново подключиться к консоли и установка продолжится с того места, где сломалась. Информация об установке записывается в /opt/littlebeat/install. Не удаляйте файлы из этого каталога и не модифицируйте их.