44 Big Data auf K8s mit Stackable

Techtiefen

Diese Folge bietet von allem etwas: Einen Rückblick auf die frühen Hadoop-Zeiten, einen Einblick in moderne verteilte Datenverarbeitung, Kubernetes, Rust und einen Blick auf zukünftige Herausforderungen des Cyber Resilience Acts. Alles wird vorgestellt von Lars Francke, einem Committer bei Apache-Projekten wie etwa Hive und HBase, sowie CEO von Stackable. Sein Startup bündelt Big-Data-Tools des Apache-Ökosystems in einer lauffähigen Distribution auf Basis von Kubernetes. Im Gespräch werfen wir einen Blick auf die Herausforderungen bei der Verarbeitung großer Datenmengen, die uns heute in der öffentlichen Cloud weitgehend abgenommen werden. Lars erzählt davon, wie die Lizenzänderungen der bestehenden Hadoop-Distributoren zur Initiative führten, die letztlich zur Gründung von Stackable führte. Er berichtet von den Herausforderungen bei der Erstellung zahlreicher Kubernetes Operators und warum sie sehr glücklich damit sind, diese in Rust entwickelt zu haben. Darüber hinaus sprechen wir über Open Source, die Zuverlässigkeit von Software und vieles mehr.