04. Start Kafka Server. Zookeeper vs KRaft (Kafka - полный курс) — Transcript & Summary

Урок по запуску Kafka сервера с использованием нового режима KRaft вместо Zookeeper, включая скачивание, настройку и запуск.

Key Takeaways

KRaft — новый протокол управления метаданными в Kafka, пришедший на смену Zookeeper.
Для запуска Kafka в режиме KRaft необходимо сгенерировать уникальный ID и отформатировать директорию логов.
Файл server.properties позволяет запустить сервер, совмещающий функции брокера и контроллера.
Запуск Kafka на Windows осуществляется через bat-скрипты, аналогичные для других ОС.
Переход на KRaft упрощает архитектуру Kafka и повышает её независимость от внешних сервисов.

What the video covers

Скачивание и распаковка Apache Kafka версии 3.6.1 с рекомендованной Scala 2.13.
Объяснение двух режимов запуска Kafka: через Zookeeper и через KRaft, с акцентом на отказ от Zookeeper.
Описание ролей конфигурационных файлов broker.properties, controller.properties и server.properties.
Инструкция по генерации уникального идентификатора кластера с помощью kafka-storage и форматированию директории логов.
Запуск Kafka сервера с использованием файла server.properties, который совмещает роли брокера и контроллера.
Использование bat-скриптов для запуска сервера на Windows, с упоминанием аналогов для Mac и Linux.
Пояснение о структуре директорий Kafka и их назначении.
Подробности о логах и необходимости их форматирования для корректной работы в режиме KRaft.
Подготовка к запуску нескольких серверов в кластере, упомянутая в конце урока.
Общее понимание перехода Kafka на новый протокол управления метаданными без Zookeeper.

Chapters

Что такое режим KRaft в Kafka и зачем он нужен?

KRaft — это новый протокол управления метаданными в Kafka, который пришёл на смену Zookeeper. Он позволяет отказаться от внешнего сервиса Zookeeper, упрощая архитектуру и повышая надёжность кластера.

Как сгенерировать уникальный идентификатор кластера для Kafka в режиме KRaft?

Для генерации уникального ID используется скрипт kafka-storage с параметром format. Этот ID необходим для форматирования директории логов и корректной работы сервера в режиме KRaft.

Какие конфигурационные файлы используются для запуска Kafka и как они отличаются?

broker.properties настраивает сервер как брокер, controller.properties — как контроллер, управляющий метаданными, а server.properties совмещает обе роли, позволяя запустить сервер и как брокер, и как контроллер.