Что такое Logstash

1️⃣ Как кратко ответить

Logstash — это инструмент для сбора, обработки и передачи логов и событий в реальном времени. Он является частью стека ELK (Elasticsearch, Logstash, Kibana) и позволяет агрегировать данные из различных источников, обрабатывать их с помощью фильтров и отправлять в хранилище, такое как Elasticsearch, для дальнейшего анализа и визуализации.

2️⃣ Подробное объяснение темы

Logstash — это мощный инструмент, который используется для обработки и передачи данных в реальном времени. Он является частью стека ELK, который также включает Elasticsearch и Kibana. Основная задача Logstash — это сбор, обработка и маршрутизация логов и событий из различных источников в централизованное хранилище.

Зачем нужен Logstash

В современных системах приложения и сервисы генерируют огромное количество логов и событий. Эти данные могут поступать из различных источников, таких как серверы приложений, базы данных, сетевые устройства и другие системы. Logstash позволяет централизовать сбор этих данных, обрабатывать их и отправлять в хранилище для дальнейшего анализа и визуализации. Это упрощает мониторинг, отладку и анализ работы систем.

Как работает Logstash

Logstash состоит из трех основных компонентов: входы (inputs), фильтры (filters) и выходы (outputs).

• Входы (Inputs): Этот компонент отвечает за сбор данных из различных источников. Logstash поддерживает множество плагинов для входов, таких как файловые системы, базы данных, сетевые протоколы и другие. Например, можно настроить Logstash для чтения логов из файловой системы или получения данных по протоколу syslog.

• Фильтры (Filters): После того как данные собраны, они проходят через фильтры. Фильтры позволяют обрабатывать и преобразовывать данные. Например, можно использовать фильтры для парсинга строк, извлечения полей, преобразования форматов данных и выполнения других операций. Это позволяет структурировать и нормализовать данные перед их отправкой в хранилище.

• Выходы (Outputs): После обработки данные отправляются в указанные выходы. Logstash поддерживает множество плагинов для выходов, таких как Elasticsearch, базы данных, файловые системы и другие. Наиболее распространенный сценарий — отправка данных в Elasticsearch для дальнейшего анализа и визуализации с помощью Kibana.

Пример конфигурации Logstash

Ниже приведен пример конфигурационного файла Logstash, который читает логи из файла, парсит их и отправляет в Elasticsearch:

input {
  file {
    path => "/var/log/myapp.log"  # Путь к файлу логов, который будет читаться
    start_position => "beginning"  # Начинать чтение с начала файла
  }
}
​
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }  # Парсинг логов с использованием шаблона Apache
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]  # Преобразование строки даты в объект даты
  }
}
​
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]  # Адрес Elasticsearch, куда будут отправляться данные
    index => "myapp-logs-%{+YYYY.MM.dd}"  # Имя индекса в Elasticsearch
  }
}

• input { file {...} }: Этот блок конфигурации определяет, что Logstash будет читать данные из файла /var/log/myapp.log. Параметр start_position => "beginning" указывает на то, что чтение начнется с начала файла.

• filter { grok {...} }: Используется для парсинга логов с помощью шаблона COMBINEDAPACHELOG, который соответствует формату логов Apache.

• filter { date {...} }: Преобразует строку даты в объект даты, что позволяет корректно обрабатывать временные метки.

• output { elasticsearch {...} }: Определяет, что обработанные данные будут отправлены в Elasticsearch, работающий на http://localhost:9200. Данные будут сохранены в индекс с именем myapp-logs-YYYY.MM.dd, где YYYY.MM.dd — это текущая дата.

Logstash — это гибкий и мощный инструмент, который позволяет эффективно управлять потоками данных в реальном времени, обеспечивая их централизованное хранение и анализ.