Что такое topic в Kafka

1️⃣ Как кратко ответить

Topic в Apache Kafka — это логическая категория или канал, в который публикуются сообщения и из которого они потребляются. Он служит для организации и управления потоками данных, позволяя различным приложениям обмениваться сообщениями через централизованную систему.

2️⃣ Подробное объяснение темы

Apache Kafka — это распределенная платформа потоковой передачи данных, которая позволяет приложениям публиковать, хранить и обрабатывать потоки записей в реальном времени. В основе работы Kafka лежит концепция "topic".

Что такое topic?

Topic в Kafka — это логическая категория или канал, в который публикуются сообщения. Он служит для организации данных, позволяя различным приложениям обмениваться сообщениями через централизованную систему. Каждый topic может иметь множество подписчиков, которые потребляют данные из него.

Как это работает?

1. Публикация сообщений: Приложения, называемые "producers" (производители), отправляют сообщения в определенные topics. Например, если у вас есть система мониторинга, она может публиковать данные о состоянии серверов в topic "server-status".

2. Хранение сообщений: Kafka хранит все опубликованные сообщения в виде логов. Каждый topic разбивается на несколько "partitions" (разделов), что позволяет распределять нагрузку и обеспечивать параллельную обработку данных. Каждый раздел хранит сообщения в порядке их поступления и присваивает им уникальные смещения (offsets).

3. Потребление сообщений: Приложения, называемые "consumers" (потребители), читают сообщения из topics. Потребители могут быть объединены в группы, что позволяет распределять нагрузку между несколькими экземплярами приложения. Каждый потребитель в группе обрабатывает уникальный набор разделов, что обеспечивает горизонтальное масштабирование.

Пример использования:

Представьте, что у вас есть система электронной коммерции. Вы можете создать несколько topics для различных типов данных:

• orders: для хранения информации о заказах.
• inventory: для отслеживания состояния запасов.
• user-activity: для анализа поведения пользователей.

Каждый из этих topics будет содержать сообщения, относящиеся к своей категории, и различные приложения смогут подписываться на них для обработки данных.

Пример кода:

// Создание producer для отправки сообщений в topic
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
​
KafkaProducer<String, String> producer = new KafkaProducer<>(props);
​
// Отправка сообщения в topic "orders"
ProducerRecord<String, String> record = new ProducerRecord<>("orders", "order123", "Order details");
producer.send(record);
producer.close();

• Properties props = new Properties();: Создание объекта свойств для конфигурации producer.
• props.put("bootstrap.servers", "localhost:9092");: Указание адреса Kafka-брокера.
• props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");: Указание сериализатора для ключей сообщений.
• props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");: Указание сериализатора для значений сообщений.
• KafkaProducer<String, String> producer = new KafkaProducer<>(props);: Создание экземпляра producer с заданными свойствами.
• ProducerRecord<String, String> record = new ProducerRecord<>("orders", "order123", "Order details");: Создание записи для отправки в topic "orders".
• producer.send(record);: Отправка сообщения в Kafka.
• producer.close();: Закрытие producer после отправки.

Topic в Kafka — это ключевой элемент, который позволяет организовать и управлять потоками данных, обеспечивая эффективное взаимодействие между различными компонентами системы.