APACHE KAFKA – Architetture e Coding
1.1 Obiettivi
L’obiettivo del corso è offrire una introduzione alle architetture di streaming scalabili tramite l’uso di Kafka, e di mostrare esempi di coding in Java. Mostra l’uso di Connect e Stream, e varie soluzioni per il monitoring e le operation di un cluster Kafka.
1.2 Durata 3 gg
Sillabo
Introduzione a Kafka: Topic, Broker, Partizioni, Replication, Consumer Group, Cluster, Cluster Multipli. Delivery Semantics. Reslience. In sync replicas. Log Compaction.
Installazione di Kafka. Esercizi con CLI. Utilizzo di Docker.
Kafka Producer: invio di messaggi; serializzatori. Kafka Consumers: sottoscrizione a topic, commit e offset, deserializzatori.
Meccanismi interni di Kafka: elaborazione delle richieste, storage, configurazioni per alta affidabilità.
Esempio di architetture; Utilizzo di Connect, uso di connettori.
Kafka Streams ed elaborazioni in real time. Esempio di codice.
Integrazione di Messaggi Kafka in architetture Java e Java EE (Payara Connector).
Using Kafka in Microservices Architectures with Spring Boot, Spring Cloud and Spring Streams: esempio pratico di architettura a microservizi con kafka servicebus.
Monitoring e Operations di sistemi Kafka. Installazione di Prometheus, Grafana, Kafka Monitor, Kafka Utils.
Laboratori
Tutti i laboratori dei corsi, uno per ogni partecipante, saranno creati nei datacenter CEGEKA.
Tutti i partecipanti accederanno da remoto, ognuno alla propria area di lavoro, avendo a disposizione un desktop virtuale per ogni singolo corso.
Nel caso di corsi svolti presso la sede del Cliente sarà necessario disporre di una connettività Internet, verso i datacenter CEGEKA; alla formalizzazione della collaborazione, verranno inoltrate le istruzioni per una verifica preventiva delle modalità di connessione ai laboratori stessi. Qualora la sede del cliente non potesse connettersi per policy ai laboratori CEGEKA, verrà predisposta una macchina virtuale con le caratteristiche a seguire e consegnata ad ogni partecipante ad inizio corso.
Caratteristiche virtual machine
- Virtual machine VirtualBox
- S.O Ubuntu
- SW Installato Kafka, Zookeeper, Java 8, KSQL, Payara
Caratteristiche host (pc partecipante)
- minimo 8 GB 64bit, preferito 16 GB
- almeno 10 GB di spazio libero su disco.