Wprowadzenie do narzędzi Kafka
Kafka Tools to zbiór różnych narzędzi, za pomocą których możemy zarządzać naszym Klastrem Kafka. Narzędzia są w większości oparte na wierszu poleceń, ale dostępne są również narzędzia oparte na interfejsie użytkownika, które można pobrać i zainstalować.
Możemy używać narzędzi Kafka do wykonywania różnych operacji, takich jak:
- Wymień dostępne Klastry Kafka oraz ich brokerów, tematy i konsumentów.
- Może wydrukować wiadomości z różnych tematów na standardowym wyjściu. Narzędzia oparte na interfejsie użytkownika mogą zdecydowanie zapewnić lepszą czytelność.
- Dodawaj i upuszczaj tematy od brokerów.
- Dodaj nowe wiadomości do partycji.
- Zobacz wszystkie przesunięcia naszych konsumentów.
- Utwórz partycje naszych tematów.
- Wyświetl listę wszystkich grup konsumentów, opisz grupy konsumentów, usuń informacje o grupie konsumentów i zresetuj przesunięcia grup konsumentów.
Jeśli chcemy skorzystać z narzędzia opartego na interfejsie użytkownika, możemy użyć narzędzia Kafka, które można pobrać z następującej strony internetowej:
http://www.kafkatool.com/download.html
Ta aplikacja jest dostępna bezpłatnie do użytku osobistego, ale musimy wykupić licencję do użytku komercyjnego. Zaletą tego jest jego dostępność dla systemów Mac, Windows i Linux.
Top 3 rodzaje narzędzi Kafka
Narzędzia Kafka są podzielone na Narzędzia systemowe i Narzędzia aplikacji.
1. Narzędzia systemowe
Narzędzia systemowe można uruchomić za pomocą następującej składni.
Składnia:
bin/kafka-run-class.sh package.class - - options
Niektóre z narzędzi systemowych są następujące:
- Narzędzie migracji Kafka: To narzędzie służy do migracji Brokera Kafka z jednej wersji do drugiej.
- Sprawdzanie offsetu konsumenta: To narzędzie może wyświetlać grupę odbiorców, temat, partycje, przesunięcie, logSize, właściciela dla określonego zestawu tematów i grupy konsumentów.
- Mirror Maker: To narzędzie służy do tworzenia kopii lustrzanych jednego klastra Kafka do drugiego.
2. Narzędzia do replikacji
Są to zasadniczo narzędzia projektowe wysokiego poziomu zapewniające trwałość i dostępność.
Niektóre z narzędzi replikacji to:
- Narzędzie Utwórz temat: to narzędzie służy do tworzenia tematów z domyślną liczbą partycji i współczynnikiem replikacji.
- Narzędzie listy tematów: służy do wyświetlania informacji o danej liście tematów. Wspaniałą rzeczą w tym narzędziu jest to, że jeśli żaden temat nie jest już dostępny w wierszu poleceń, zapyta Zookeepera, aby najpierw pobrać listę tematów, a następnie wydrukować informacje o nich. Zawiera listę różnych pól, takich jak Nazwa tematu, Partycje, Lider, Repliki itp.
- Dodaj narzędzie do partycji: to narzędzie służy do dodawania partycji do tematu wymaganego do obsługi wzrostu ilości danych w temacie. Pamiętaj jednak, że musimy określić partycje podczas tworzenia tematu. To narzędzie pozwala nam dodawać ręczne repliki dodanych partycji.
3. Różne narzędzia
Omówmy teraz kilka różnych narzędzi:
za. Narzędzie Kafka-Topics
To narzędzie służy do tworzenia, wyświetlania, modyfikowania i opisywania tematów.
Przykład: Tworzenie tematu: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Kafka-Konsola-narzędzie konsumenckie
Tego narzędzia można użyć do odczytu danych z tematów Kafki i zapisania ich na standardowe wyjście
Przykład: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
do. Narzędzie producenta konsoli Kafka
Tego narzędzia można użyć do zapisywania danych w temacie Kafka ze standardowego wyjścia.
Przykład: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
re. Narzędzie grup konsumentów Kafka
Za pomocą tego narzędzia można wyświetlić wszystkie grupy konsumentów, opisać grupę konsumentów, usunąć informacje o grupie konsumentów lub zresetować przesunięcia grup konsumentów. To narzędzie służy głównie do opisywania grup konsumentów i debugowania wszelkich problemów związanych z przesunięciem konsumenta.
Przykład: wyświetlanie przesunięć w niezabezpieczonym klastrze: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Architektura Kafka
Różne elementy narzędzi Kafka
Główne składniki Kafki są następujące:
1. Broker
Każdy węzeł w klastrze Kafka jest brokerem przechowującym dane. Zazwyczaj istnieje wielu brokerów, aby właściwie zrównoważyć obciążenie. Broker przechowuje wiadomości w formie tematów, które są dostępne dla producentów (do pisania) i konsumentów (do czytania). Tematy są tworzone w celu oddzielenia danych jednej aplikacji od danych innej aplikacji. Ponieważ brokerzy są bezpaństwowcami, potrzebują pomocy Zookeepera, aby utrzymać stan klastrów. Jeden broker może obsługiwać TB wiadomości bez wpływu na wydajność. Wyboru lidera brokera Kafki dokonuje Zookeeper.
2. Producent
Jest to jednostka, która wypycha wiadomości do brokerów. Może istnieć wielu producentów generujących dane z bardzo dużą prędkością i niezależnie od siebie. Producenci nie otrzymują potwierdzenia od brokerów i wysyłają dane z szybkością, którą brokerzy mogą obsłużyć. Są w stanie wyszukiwać brokerów i rozpocząć wysyłanie wiadomości, gdy tylko brokerzy zaczną. Producent jest odpowiedzialny za wybór komunikatu, który ma zostać przypisany do której partycji w temacie. Można to zrobić w sposób okrężny, aby zrównoważyć obciążenie lub można to zrobić zgodnie z funkcją podziału semantycznego (powiedzmy, że w oparciu o jakiś klucz w komunikacie).
3. Zookeeper
Jest to jednostka zarządzająca i koordynująca brokerów. Zookeeper powiadamia producenta lub konsumenta w przypadku dodania lub niepowodzenia brokera. Każdy broker wysyła żądania bicia serca do dozorcy w regularnych odstępach czasu, dopóki żyje. Zookeeper przechowuje również informacje o tematach i przesunięciach konsumenckich.
4. Konsument
Jest to jednostka, która odczytuje wiadomości z tematów. Konsument może subskrybować i czytać z więcej niż jednego tematu. Konsument może pracować równolegle z innymi konsumentami (w tym przypadku każda partycja będzie odczytywana tylko przez jednego konsumenta), tworząc grupę konsumentów. Nie działa w synchronizacji z producentami. Konsument musi zachować liczbę odczytanych wiadomości za pomocą przesunięcia partycji. Jeśli konsument zaakceptuje określone przesunięcie partycji, oznacza to, że wykorzystał już wcześniejsze komunikaty w partycji.
Wniosek
W tym artykule dowiedzieliśmy się, jak możemy używać różnych narzędzi Kafka do skutecznego zarządzania naszym klastrem Kafka. Dowiedzieliśmy się również o różnych składnikach ekosystemu Kafka i ich wzajemnym oddziaływaniu.
Polecane artykuły
To jest przewodnik po narzędziach Kafka. Tutaj omawiamy rodzaje narzędzi Kafka, różne elementy Kafka wraz z architekturą Kafka. Możesz także spojrzeć na następujący artykuł, aby dowiedzieć się więcej -
- Najlepsze aplikacje Kafka
- Wyjaśnienie architektury Big Data
- Najlepsze narzędzia do nauki danych
- Różnice między Kafka a Spark