Как происходит доставка сообщения в Kafka

1️⃣ Как кратко ответить

В Apache Kafka доставка сообщения происходит через продюсеров, которые отправляют сообщения в топики, состоящие из партиций. Сообщения записываются в партиции последовательно и идентифицируются смещением. Консьюмеры читают сообщения из партиций, используя смещения для отслеживания прочитанных сообщений. Доставка может быть гарантирована как "at least once", "at most once" или "exactly once" в зависимости от конфигурации.

2️⃣ Подробное объяснение темы

Apache Kafka — это распределенная платформа потоковой передачи данных, которая позволяет публиковать и подписываться на потоки записей, аналогично системе обмена сообщениями. Основные компоненты Kafka включают продюсеров, брокеров, топики, партиции и консьюмеров.

Компоненты Kafka

• Продюсеры (Producers): Это приложения или процессы, которые отправляют данные в Kafka. Продюсеры публикуют сообщения в определенные топики.

• Брокеры (Brokers): Это серверы, которые принимают данные от продюсеров, сохраняют их и предоставляют консьюмерам. Kafka кластер состоит из одного или нескольких брокеров.

• Топики (Topics): Это категории или каналы, в которые продюсеры отправляют сообщения. Каждый топик может иметь несколько партиций.

• Партиции (Partitions): Это логические подразделения топиков. Каждое сообщение в партиции имеет уникальный идентификатор, называемый смещением (offset).

• Консьюмеры (Consumers): Это приложения или процессы, которые читают данные из топиков.

Процесс доставки сообщения

1. Отправка сообщения продюсером: Продюсер отправляет сообщение в определенный топик. При этом он может выбрать, в какую партицию отправить сообщение, либо полагаться на алгоритм распределения по умолчанию, который может использовать ключи для определения партиции.

2. Запись сообщения в партицию: Сообщение записывается в конец выбранной партиции. Каждое сообщение получает уникальное смещение, которое указывает его позицию в партиции.

3. Хранение сообщения: Сообщения хранятся в партициях в течение определенного времени, который задается конфигурацией ретенции. Это позволяет консьюмерам читать сообщения в любое время в пределах этого периода.

4. Чтение сообщения консьюмером: Консьюмеры читают сообщения из партиций, используя смещения для отслеживания, какие сообщения уже были прочитаны. Консьюмеры могут быть объединены в группы, и каждая группа может обрабатывать сообщения из партиций параллельно.

5. Гарантии доставки: Kafka поддерживает три модели доставки:

   • At most once: Сообщение может быть доставлено не более одного раза, но возможно, что оно не будет доставлено вовсе.
   • At least once: Сообщение будет доставлено как минимум один раз, но возможно, что оно будет доставлено несколько раз.
   • Exactly once: Сообщение будет доставлено ровно один раз, что требует дополнительной конфигурации и накладных расходов.

Пример кода

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import java.util.Properties;
​
public class SimpleProducer {
    public static void main(String[] args) {
        // Конфигурация свойств продюсера
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092"); // Адрес брокера Kafka
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // Сериализатор ключа
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // Сериализатор значения
​
        // Создание экземпляра продюсера
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);
​
        // Создание сообщения для отправки
        ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
​
        try {
            // Отправка сообщения и получение метаданных
            RecordMetadata metadata = producer.send(record).get();
            System.out.printf("Sent message to topic %s partition %d with offset %d%n",
                    metadata.topic(), metadata.partition(), metadata.offset());
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // Закрытие продюсера
            producer.close();
        }
    }
}

• Конфигурация свойств продюсера: Устанавливаются параметры подключения к брокеру и сериализации данных.
• Создание экземпляра продюсера: Инициализируется объект KafkaProducer с заданными свойствами.
• Создание сообщения: Создается объект ProducerRecord, который содержит топик, ключ и значение сообщения.
• Отправка сообщения: Сообщение отправляется в Kafka, и возвращаются метаданные, такие как топик, партиция и смещение.
• Закрытие продюсера: Освобождаются ресурсы, связанные с продюсером.

Таким образом, Kafka обеспечивает надежную и масштабируемую доставку сообщений, что делает его идеальным выбором для систем, требующих обработки больших объемов данных в реальном времени.