Jeśli posiadasz istniejący klaster Kafka i chcesz dostarczać rekordy danych z tematów Kafka do urządzeń takich jak przeglądarki internetowe i telefony komórkowe w czasie rzeczywistym, PubNub Kafka Sink Connector jest odpowiednim rozwiązaniem. Ten przewodnik przeprowadzi Cię przez proces konfiguracji PubNub Kafka Sink Connector.

Konfiguracja lokalnego testowego klastra Kafka (opcjonalnie)

PubNub Kafka Sink Connector wykorzystuje Kafka Connect, framework opracowany specjalnie do dostarczania danych z tematów Kafka do systemów wtórnych, takich jak Hadoop, Elastic i PubNub. W celach demonstracyjnych zawarliśmy cały klaster Kafka w jednym skomponowanym pliku Docker. Zawiera on wszystko, czego potrzebujesz do skonfigurowania Dockera, skomponowane pliki YAML, brokera Kafka i sam klaster. Dodatkowo do celów testowych dołączyliśmy producenta, który automatycznie generuje dane do tematu w lokalnie uruchomionym klastrze Kafka.

Sklonuj repozytorium https://github.com/pubnub/pubnub-kafka-sink-connector i uruchom polecenie docker compose up, aby uruchomić te obrazy w systemie lokalnym. Może to trochę potrwać, ponieważ sama Kafka jest bardzo rozbudowana.

Docker Compose zbuduje również pakiet PubNub Kafka Sink Connector. Dla uproszczenia dołączyliśmy obraz, który zbuduje dla nas pakiet Maven. Dzięki temu można go szybko i łatwo zaimportować do Kafka Connect przy użyciu frameworka Kafka Connect. Gdy obraz konstruktora zakończy tworzenie pakietu konektora, jest on gotowy do wdrożenia. Będziesz wiedział, że jest gotowy, gdy komunikaty powiadomień konsumenta będą pojawiać się w regularnych odstępach czasu, pokazując: consumer | {"timestamp":1705690559} w serii rekordów. Oznacza to, że nasz kontener danych testowych działa pomyślnie i jesteśmy gotowi do zainstalowania Sink Connector.

Wdrażanie PubNub Sink Connector

Sink Connector jest mostem działającym na platformie Kafka Connect między tematami Kafka a rekordami w tych tematach na urządzeniach. Wszystko, czego potrzebujesz, to informacje o pakiecie konektora, które znajdują się w pliku JSON PubNub Sink Connector. Prześlij ten plik do Kafka Connect, gdzie Kafka Connect jest uruchomiony, a rozpocznie kopiowanie danych ze skonfigurowanych tematów bezpośrednio na końcowe urządzenia docelowe.

Musisz skonfigurować plik JSON examples/pubnub-sink-connector.json z informacjami o kluczu API PubNub. Klucze API można znaleźć na stronie https://admin.pubnub.com/. To właśnie zostanie wykorzystane do dostarczenia wyników końcowych do urządzeń docelowych. Możesz ustawić swoje tematy i wzorce, a następnie uruchomić polecenie, aby wdrożyć Sink Connector.

Uruchom następujące polecenie, aby wdrożyć Sink Connector:

curl -X POST \
    -d @examples/pubnub-sink-connector.json \
    -H "Content-Type:application/json" \
    http://localhost:8083/connectors

Konektor jest teraz uruchomiony, a wszystkie dane wysłane do skonfigurowanego tematu Kafka zostaną natychmiast skopiowane do dowolnego urządzenia zasubskrybowanego za pomocą PubNub SDK.

Sprawdzanie poprawności Sink Connector

Możesz zweryfikować, czy konektor działa, sprawdzając wiadomości dostarczane do przeglądarki internetowej. Gdy tylko wiadomości zostaną umieszczone w temacie Kafka, są one natychmiast kopiowane do infrastruktury PubNub, która jest odpowiedzialna za niezawodne dostarczanie tych wiadomości do końcowych urządzeń docelowych. Poniższy zrzut ekranu pokazuje dane przesyłane strumieniowo do aplikacji przeglądarki internetowej natychmiast po otrzymaniu rekordu zdarzenia w temacie Kafka.

Tworzenie PubNub Kafka Sink Connector

Gdy będziesz gotowy do produkcji, możesz zbudować PubNub Kafka Sink Connect za pomocą polecenia kompilacji Maven. Upewnij się, że masz zainstalowane wszystkie zależności, takie jak Java 11 lub nowsza i nowa wersja Maven. Uruchom pakiet mvn clean, aby uruchomić wszystkie testy związane z pakietem i skompilować kilka pakietów, w tym plik jar i plik zip. Jest to pakiet, który będzie używany w Kafka Connect Framework.

Wideo instruktażowe dotyczące instalacji PubNub Kafka Sink Connector

W filmie zademonstrowano instalację PubNub Kafka Sink Connector z przewodnikiem.

Kliknij tutaj, aby obejrzeć film

Konfiguracja PubNub Kafka Sink Connector jest prosta i ważne jest, aby postępować zgodnie z instrukcjami. Jeśli po drodze napotkasz trudności, skontaktuj się z nami pod adresem support.pubnub.com, a chętnie pomożemy.

Więcej szczegółów można znaleźć w oficjalnej dokumentacji PubNub.

Jak PubNub może ci pomóc?

Ten artykuł został pierwotnie opublikowany na PubNub .com

Nasza platforma pomaga programistom tworzyć, dostarczać i zarządzać interaktywnością w czasie rzeczywistym dla aplikacji internetowych, aplikacji mobilnych i urządzeń IoT.

Fundamentem naszej platformy jest największa w branży i najbardziej skalowalna sieć przesyłania wiadomości w czasie rzeczywistym. Dzięki ponad 15 punktom obecności na całym świecie obsługującym 800 milionów aktywnych użytkowników miesięcznie i niezawodności na poziomie 99,999%, nigdy nie będziesz musiał martwić się o przestoje, limity współbieżności lub jakiekolwiek opóźnienia spowodowane skokami ruchu.

Poznaj PubNub

Sprawdź Live Tour, aby zrozumieć podstawowe koncepcje każdej aplikacji opartej na PubNub w mniej niż 5 minut.

Rozpocznij konfigurację

Załóż konto PubNub, aby uzyskać natychmiastowy i bezpłatny dostęp do kluczy PubNub.

Rozpocznij

Dokumenty PubNub pozwolą Ci rozpocząć pracę, niezależnie od przypadku użycia lub zestawu SDK.