Kafka je open-source streamovací platforma, vyvinutá společností LinkedIn a následně otevřená pro veřejnost jako součást projektu Apache Software Foundation. Je navržena k vytváření a správě streamů událostí nebo zpráv v reálném čase.
Kafka je distribuovaný systém, což znamená, že může být nasazen na více serverech a umožňuje zpracování velkého množství dat. Hlavními koncepty v Kafka jsou "producenti", kteří publikují zprávy do "topiců" a "konzumenti", kteří zprávy zpracovávají. Kafka také poskytuje možnost ukládání zpráv v určitém časovém horizontu, což umožňuje pozdější zpracování nebo opětovné čtení událostí.
Kafka je často využívána pro různé účely, včetně sběru a analýzy dat, přenosu zpráv mezi mikroslužbami, zpracování událostí v reálném čase a mnoho dalšího. Je to mocný nástroj pro budování moderních, škálovatelných a odolných výpočetních systémů.
Apache Pulsar je další distribuovaná streamovací a messaging platforma, která je podobná Kafka. Nabízí vysoký výkon, škálovatelnost a spolehlivost pro zpracování streamů dat a umožňuje publikování a odběr zpráv v reálném čase.
RabbitMQ je open-source message broker, který podporuje různé protokoly a vzory komunikace, včetně publish/subscribe, point-to-point a další. Může být použit pro zpracování streamů dat, i když se zaměřuje spíše na asynchronní komunikaci mezi aplikacemi.
Amazon Kinesis je služba od Amazon Web Services (AWS), která umožňuje snadné zpracování a analýzu streamů dat v reálném čase. Poskytuje možnosti pro sběr, analýzu a ukládání streamů dat a integruje se s dalšími službami AWS pro škálování a správu.
Apache Flink je open-source streamovací procesní framework, který umožňuje distribuované zpracování streamů dat. Je navržen pro nízkou latenci a vysoký výkon a nabízí širokou škálu funkcí pro zpracování, analýzu a transformaci dat v reálném čase.