Inhoudsopgave:
Definitie - Wat betekent Apache Kafka?
Apache Kafka is een open-source publish-subscribe berichtensysteem dat is ontworpen voor een snelle, schaalbare en fouttolerante afhandeling van realtime datafeeds. In tegenstelling tot traditionele zakelijke berichtensoftware, is Kafka in staat om alle gegevens die door een bedrijf stromen te verwerken en dit bijna in realtime te doen.
Kafka is geschreven in Scala en is oorspronkelijk ontwikkeld door LinkedIn. Sinds die tijd hebben een aantal bedrijven het gebruikt om realtime platforms te bouwen.
Techopedia legt Apache Kafka uit
Kafka heeft veel overeenkomsten met transactielogboeken en onderhoudt feeds van berichten over onderwerpen. Producenten schrijven gegevens naar onderwerpen en consumenten lezen van die onderwerpen, die worden gepartitioneerd en gerepliceerd over meerdere knooppunten in een gedistribueerd systeemformaat. Kafka is uniek omdat het elke onderwerppartitie als een logboek behandelt en aan elk bericht in een partitie een unieke offset wordt toegewezen. Het bewaart alle berichten voor een bepaalde tijd en consumenten zijn verantwoordelijk voor het volgen van hun locatie in elk logboek. Dit verschilt van eerdere systemen, waar makelaars verantwoordelijk waren voor deze tracking, waardoor het schaalvermogen van het systeem ernstig werd beperkt naarmate het aantal consumenten toenam. Dankzij deze structuur kan Kafka veel consumenten ondersteunen en grote hoeveelheden gegevens bewaren met zeer lage overheadkosten.
Kafka kan worden gebruikt:
- Als een traditionele berichtenmakelaar
- Voor het volgen van website-activiteiten
- Voor logboekaggregatie
- Voor verwerking van grote gegevensstromen
Kafka kan worden gebruikt naast Apache Storm, Apache HBase en Apache Spark voor realtime analyse en weergave van streaming gegevens.
