Bazele lui Kafka - curs 42.000 rub. de la Centrul de Formare IBS, antrenament 24 de ore, Data: 4 decembrie 2023.
Miscelaneu / / November 29, 2023
Subiecte acoperite:
1. Revizuire (teorie – 1 oră)
Ce este Kafka.
Exemple de utilizare cu succes și nereușită a lui Kafka.
Kafka și baza de date: asemănări și diferențe.
Kafka și coada de mesaje: asemănări și diferențe.
Arhitectura de stocare Kafka: Brokeri, Subiecte, Partiții, Segmente, Replica.
Arhitectura cluster Kafka: Zookeeper, partiționare, noduri de replicare master și slave, ISR.
Clienți și API-uri.
2. Crearea unui Cluster (practică – 1 oră)
Practica 2.1: Rularea unui cluster Kafka folosind Docker.
Instalarea Zookeeper.
Instalarea brokerilor Kafka.
3. Dezvoltare de aplicații în Java (teorie – 2,5 ore, practică – 2,5 ore)
Kafka Producer API: Noțiuni de bază.
Practica 3.1: Trimiterea unui mesaj.
Practica 3.2: Trimiterea mai multor mesaje.
Practica 3.3: Trimiterea mai multor mesaje cu partiţionare explicită.
Practica 3.4: Trimiterea mesajelor fără chei.
Kafka Consumer API: elemente de bază, grupuri de consumatori.
Practica 3.5: Un destinatar.
Practica 3.6: Mai mulți destinatari într-un grup.
Caracteristici suplimentare: Pachete, Repetiții, Idempotenta, Tranzacții, Reechilibrarea Grupurilor de Consumatori.
Practica 3.7: Expeditor fără pachete și repetări.
Practica 3.8: Emițător idempotent.
Practica 3.9: Expeditorul tranzacțional.
Practica 3.10: Trimiterea și primirea într-o tranzacție.
Practica 3.11: Primire-procesare-trimitere într-o tranzacție.
4. Acces extern la clusterul Kafka (teorie – 2 ore, practică – 2 ore)
Securitate: SSL, SASL, Kerberos.
REST Proxy: trimiterea și primirea mesajelor în formate JSON, binar și Avro.
Practica 4.1: Acces prin proxy REST.
Registrul de schemă: registrul de schemă.
Practica 4.2: Utilizarea REST Proxy cu Schema Registry.
5. Întreținere și monitorizare (teorie – 1 oră, practică – 1 oră)
Configurarea unui cluster pentru diferite scopuri.
Zookeeper: configurație, modul autonom și cvorum, CLI.
Practica 5.1: Monitorizarea unui cluster Kafka cu Prometheus.
6. Mai multe grupuri (teorie – 1 oră, practică – 1 oră)
De ce ați avea nevoie de mai multe clustere în Kafka?
MirrorMakerAccess.
Practica 6.1: Utilizarea MirrorMaker pentru sincronizarea clusterelor.
Replicator de confluență.
7. Kafka Connect (teorie – 2 ore, practică – 2 ore)
Arhitectura Kafka Connect.
Chiuvete de date Kafka Connect.
Practica 7.1: FileStream File Receiver.
Practica 7.2: Receptor JDBC.
Surse de date Kafka Connect.
Practica 7.3: Sursa FileStream.
Practica 7.4: Sursa JDBC.
8. Fundamentele fluxurilor Kafka (teorie – 2 ore, practică – 2 ore)
Kafka Streams: DSL, API, StreamBuilder, crearea și implementarea topologiei.
Demo 8.1: Implementarea topologiei Streams.
Demo 8.2: Construirea unei aplicații Streams folosind StreamBuilder.
Dispozitiv Kafka Streams: multi-threading, mai multe instanțe și sarcini.
Scheme de date în Kafka: serializare la scheme JSON, scheme Avro, registru de scheme, evoluție a schemei.
Demo 8.3: Utilizarea schemelor JSON.
Procesare cu stare: Magazin de stat, Toleranță la erori pentru magazinele de stat.
KTable: fluxuri de actualizare a datelor, stocare în cache, viteza de recuperare, agregare.
Ferestre în fluxuri: marcaje de timp, plutire, sărituri, sesiune.
Conexiune: flux la flux, KTable la KTable, flux la KTable.