Opstel van Kafka: 4 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:25

Inleiding:

Apache Kafka is 'n open-source skaalbare en hoë deursettingsboodskapstelsel wat ontwikkel is deur die Apache Software Foundation wat in Scala geskryf is. Apache Kafka is spesiaal ontwerp om 'n enkele groep te laat dien as die sentrale gegewensgraad vir 'n groot omgewing. Dit het 'n baie hoër deurset in vergelyking met ander boodskapmakelaarsisteme soos ActiveMQ en RabbitMQ. Dit is in staat om groot hoeveelhede intydse data doeltreffend te hanteer. U kan Kafka implementeer op 'n enkele Apache -bediener of in 'n verspreide groeperingsomgewing.

Kenmerke:

Die algemene kenmerke van Kafka is soos volg:

Bly 'n boodskap op die skyf wat konstante tydverrigting bied.

Hoë deurset met skyfstrukture wat honderde duisende boodskappe per sekonde ondersteun.

Verspreide stelsel skaal maklik sonder stilstand.

Ondersteun multi-intekenare en balanseer outomaties die verbruikers tydens mislukking.

Hierdie handleiding wys hoe u Apache Kafka op 'n Ubuntu 16.04 -bediener kan installeer en instel.

Vereistes

'N Ubuntu 16.04 -bediener.

Nie-wortel gebruikersrekening met 'n supergebruikerreg op u bediener.

Stap 1: Begin en installeer Java

1) Laat ons seker maak dat u Ubuntu 16.04 -bediener volledig op datum is

U kan u bediener opdateer deur die volgende opdragte uit te voer:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java installeer

Kontroleer of u masjien java het wat reeds geïnstalleer is of 'n standaard weergawe van java het deur die volgende opdrag:-

java -weergawe

Selfs as u java maar 'n laer weergawe het, moet u dit opgradeer.

U kan Java installeer deur:-

sudo apt-get install default-jdk

OF

U kan Oracle JDK 8 installeer met behulp van die Webupd8 -span PPA -bewaarplek.

Voer die volgende opdrag uit om die bewaarplek by te voeg:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Stap 2: Installeer Zookeeper

Wat is Zookeeper?

Zookeeper is 'n gesentraliseerde diens vir die instandhouding van konfigurasie -inligting, naamgewing, verspreiding van sinchronisasie en die verskaffing van groepsdienste. Al hierdie dienste word in een of ander vorm deur verspreide toepassings gebruik. Elke keer dat dit geïmplementeer word, is daar baie werk om die foute en wedloopstoestande wat onvermydelik is, op te los. Vanweë die moeilikheid om hierdie soort dienste te implementeer, bespaar programme aanvanklik gewoonlik nie, wat hulle broos maak in die teenwoordigheid van verandering en moeilik is om te bestuur. Selfs as dit korrek gedoen word, lei verskillende implementerings van hierdie dienste tot bestuurskompleksiteit wanneer die toepassings ontplooi word.

Voordat u Apache Kafka installeer, moet u 'n dieretuinhouer beskikbaar hê. ZooKeeper is 'n open source diens vir die instandhouding van konfigurasie -inligting, verspreiding van sinchronisasie, naamgewing en die verskaffing van groepsdienste.

1) Standaard is Zookeeper -pakket beskikbaar in Ubuntu se standaardbewaarplek

U kan dit installeer deur die volgende opdrag uit te voer:-

sudo apt-get install zookeeperd

Sodra die installasie voltooi is, word dit outomaties as 'n daemon begin. Zookeeper werk standaard op poort 2181.

U kan dit toets deur die volgende opdrag uit te voer:

netstat -ant | grep: 2181

Die uiteensetting moet u wys dat daar na die poort 2181 geluister word.

Stap 3: Installeer en begin Kafka Server

Noudat Java en ZooKeeper geïnstalleer is, is dit tyd om Kafka af te laai en te onttrek van die Apache -webwerf.

1) U kan krul of wget gebruik om Kafka af te laai: (Kafka weergawe 0.10.1.1)

Voer die volgende opdrag uit om die kafka-opstelling af te laai:-

krul -O

OF

wget

2) Skep 'n gids vir Kafka

Skep vervolgens 'n gids vir Kafka -installasie:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Pak die afgelaaide vouer uit

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Verander gebruikersnaam volgens u gebruikersnaam

4) Begin die kafka -bediener

Die volgende stap is om die Kafka-bediener te begin; u kan dit begin deur die kafka-server-start.sh-script uit te voer by /opt/kafka/kafka_2.11-0.10.1.1/bin/ directory deur die volgende opdrag te gebruik:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kyk of die Kafka Server goed werk

U het nou 'n Kafka -bediener wat op poort 9092 loop en luister.

Nou kan ons luisterpoortjies nagaan:

- Dieretuinhouer: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Stap 4: Toets u Kafka -bediener

Dit is nou tyd om te verifieer dat die Kafka -bediener korrek werk.

1) Skep 'n nuwe onderwerp

Om Kafka te toets, skep 'n voorbeeldonderwerp met die naam 'toets' in Apache Kafka met die volgende opdrag:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181-partitions 1-replication-factor 1

2) Kyk of u onderwerp suksesvol geskep is

Vra nou Zookeeper om die beskikbare onderwerpe op Apache Kafka te lys deur die volgende opdrag uit te voer:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publiseer 'n boodskap met behulp van die onderwerp wat u geskep het

eggo "hallo wêreld" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-makelaarslys localhost: 9092-onderwerp toetsing

4) Ontvang die boodskap oor die onderwerp wat geskep is

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-bediener localhost: 9092 --topic testing –van-begin

5) Om 'n lêer met behulp van kafka oor 'n onderwerp te stuur

kafka-console-producer.sh-makelaarslys localhost: 9092 –topic testing