Kafka'yı Kurma: 4 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:19

Tanıtım:

Apache Kafka, Scala'da yazılmış Apache Software Foundation tarafından geliştirilen, açık kaynaklı, ölçeklenebilir ve yüksek verimli bir mesajlaşma sistemidir. Apache Kafka, tek bir kümenin büyük bir ortam için merkezi veri omurgası olarak hizmet vermesine izin verecek şekilde özel olarak tasarlanmıştır. ActiveMQ ve RabbitMQ gibi diğer mesaj aracı sistemlerine kıyasla çok daha yüksek bir verime sahiptir. Büyük hacimli gerçek zamanlı verileri verimli bir şekilde işleme yeteneğine sahiptir. Kafka'yı tek bir Apache sunucusunda veya dağıtılmış bir kümelenmiş ortamda dağıtabilirsiniz.

Özellikleri:

Kafka'nın genel özellikleri şunlardır:

Sabit zaman performansı sağlayan diskte kalıcı mesaj.

Saniyede yüz binlerce mesajı destekleyen disk yapıları ile yüksek verim.

Dağıtılmış sistem, kesinti olmadan kolayca ölçeklenir.

Çoklu aboneleri destekler ve arıza anında tüketicileri otomatik olarak dengeler.

Bu öğretici, bir Ubuntu 16.04 sunucusunda Apache Kafka'nın nasıl kurulacağını ve yapılandırılacağını gösterir.

Gereksinimler

Bir Ubuntu 16.04 sunucusu.

Sunucunuzda süper kullanıcı ayrıcalığına sahip root olmayan kullanıcı hesabı.

1. Adım: Başlamak ve Java'yı Yüklemek

1) Ubuntu 16.04 sunucunuzun tamamen güncel olduğundan emin olmaya başlayalım

Aşağıdaki komutları çalıştırarak sunucunuzu güncelleyebilirsiniz: -

sudo apt-get güncellemesi -y

sudo apt-get yükseltme -y

2) Java'yı Yüklemek

Aşağıdaki komutla, makinenizde önceden yüklenmiş bir Java veya varsayılan bir Java sürümü olup olmadığını kontrol edin: -

java sürümü

Java'nız varsa ancak daha düşük bir sürümünüz olsa bile, onu yükseltmeniz gerekecek.

Java'yı şu şekilde yükleyebilirsiniz: -

sudo apt-get install default-jdk

VEYA

Oracle JDK 8'i Webupd8 ekip PPA deposunu kullanarak kurabilirsiniz.

Depoyu eklemek için aşağıdaki komutu çalıştırın: -

sudo add-apt-deposu -y ppa:webupd8team/java

sudo apt-get kurulumu oracle-java8-installer -y

2. Adım: Zookeeper'ı kurun

Zookeeper nedir?

Zookeeper, yapılandırma bilgilerini korumak, adlandırmak, dağıtılmış senkronizasyon sağlamak ve grup hizmetleri sağlamak için merkezi bir hizmettir. Bu tür hizmetlerin tümü, dağıtılmış uygulamalar tarafından şu veya bu şekilde kullanılır. Her uygulandıklarında, kaçınılmaz olan hataları ve yarış koşullarını düzeltmek için çok fazla çalışma yapılır. Bu tür hizmetleri uygulamanın zorluğu nedeniyle, uygulamalar başlangıçta genellikle bunları eksik yapar, bu da onları değişim karşısında kırılgan ve yönetilmesi zor hale getirir. Doğru yapıldığında bile, bu hizmetlerin farklı uygulamaları, uygulamalar dağıtıldığında yönetim karmaşıklığına yol açar.

Apache Kafka'yı kurmadan önce, zookeeper'ın hazır ve çalışır durumda olması gerekir. ZooKeeper, yapılandırma bilgilerini korumak, dağıtılmış senkronizasyon sağlamak, grup hizmetlerini adlandırmak ve sağlamak için açık kaynaklı bir hizmettir.

1) Varsayılan olarak Zookeeper paketi, Ubuntu'nun varsayılan deposunda bulunur

Aşağıdaki komutu çalıştırarak yükleyebilirsiniz: -

sudo apt-get install zookeeperd

Kurulum tamamlandığında, otomatik olarak bir arka plan programı olarak başlatılacaktır. Varsayılan olarak Zookeeper, 2181 numaralı bağlantı noktasında çalışacaktır.

Aşağıdaki komutu çalıştırarak test edebilirsiniz:

netstat -karınca | grep:2181

Çıkış, size 2181 numaralı bağlantı noktasının dinlendiğini göstermelidir.

Adım 3: Kafka Sunucusunu Kurun ve Başlatın

Java ve ZooKeeper yüklendiğine göre, Kafka'yı Apache web sitesinden indirip çıkarmanın zamanı geldi.

1)Kafka'yı indirmek için curl veya wget kullanabilirsiniz:(Kafka sürüm 0.10.1.1)

Kafka kurulumunu indirmek için aşağıdaki komutu çalıştırın: -

curl -O

VEYA

wget

2) Kafka için bir dizin oluşturun

Ardından, Kafka kurulumu için bir dizin oluşturun:

sudo mkdir /opt/kafka

cd /opt/kafka

3) İndirilen klasörü açın

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

* Kullanıcı adınıza göre kullanıcı adını değiştirin

4) kafka sunucusunu başlatın

Bir sonraki adım Kafka sunucusunu başlatmaktır, /opt/kafka/kafka_2.11-0.10.1.1/bin/ dizininde bulunan kafka-server-start.sh betiğini aşağıdaki komutu kullanarak çalıştırarak başlatabilirsiniz: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kafka Sunucusunun iyi çalışıp çalışmadığını kontrol edin

Artık 9092 numaralı bağlantı noktasında çalışan ve dinleyen bir Kafka sunucunuz var.

Şimdi dinleme portlarını kontrol edebiliriz:

- Hayvan Bekçisi: 2181

- Kafka: 9092

netstat -karınca | grep -E ':2181|:9092'

4. Adım: Kafka Sunucunuzu Test Edin

Şimdi, Kafka sunucusunun doğru çalıştığını doğrulamanın zamanı geldi.

1) Yeni bir konu oluşturun

Kafka'yı test etmek için, aşağıdaki komutu kullanarak Apache Kafka'da "testing" adında bir örnek konu oluşturun:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2)Konunuzun başarıyla oluşturulup oluşturulmadığını kontrol edin

Şimdi, Zookeeper'dan aşağıdaki komutu çalıştırarak Apache Kafka'daki mevcut konuları listelemesini isteyin:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost:2181

3) Oluşturduğunuz konuyu kullanarak bir mesaj yayınlayın

yankı "merhaba dünya" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --konu testi

4) Oluşturulan konuyla ilgili mesajı alın

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --konu testi –başlangıçtan itibaren

5)Bir konu üzerinden kafka kullanarak dosya göndermek

kafka-console-producer.sh --broker-list localhost:9092 –konu testi