Xebia & Snowflake: Wie aus verlässlichen Daten Echtzeit-Erkenntnisse und KI-fähige Erkenntnisse werden

Xebia ist seit 2022 Partner von Snowflake. Seitdem geht unsere Arbeit weit über reine Machbarkeitsstudien hinaus. Wir haben Echtzeit-Streaming-Plattformen für Unternehmen entwickelt, die es sich nicht leisten können, auf veralteten Daten zu basieren, regulierte Unternehmen migriert, bei denen Fehler in der Governance nicht in Kauf genommen werden dürfen, und Data-Lakehouse-Architekturen entworfen, die der tatsächlichen Produktionslast standhalten. Auf dieser Grundlage bauen wir nun weiter auf, um Geschäftsanwendern die Interaktion mit regulierten Daten in natürlicher Sprache zu ermöglichen, Datenplattformen für KI-Agenten vorzubereiten und unser eigenes technisches Know-how durch KI zu erweitern, um diese Lösungen schneller und effektiver bereitzustellen. Diese Grundlage macht regulierte KI und agentengesteuerte Anwendungsfälle erst möglich (mehr über die Partnerschaft zwischen Xebia und Snowflake).

In diesem Beitrag gehen wir darauf ein, welche Erkenntnisse wir aus dieser Projektumsetzung gewonnen haben, und stellen die drei Bereiche vor, in denen Xebia auf Snowflake einen besonderen Mehrwert schafft: Echtzeit-Streaming, Zugriff auf Daten mittels natürlicher Sprache und eine offene Data-Lakehouse-Architektur.

Diese Fähigkeiten konzentrieren sich zunehmend auf dieselbe Herausforderung: den Aufbau vertrauenswürdiger, geregelter Datengrundlagen, die nicht nur für Menschen und Analysen, sondern auch für KI-Agenten geeignet sind. Wir werden außerdem untersuchen, wie Axis das technische Know-how von Xebia mit KI-gestützter Umsetzung, bewährten Mustern und Beschleunigern kombiniert, um Unternehmen dabei zu unterstützen, diese agententauglichen Grundlagen schneller aufzubauen.

Echtzeit-Streaming auf Snowflake: Von den Daten von gestern zu Entscheidungen im Hier und Jetzt

Die meisten Datenplattformen basieren nach wie vor auf Daten von gestern. Erkenntnisse lassen erst nach dem nächtlichen Batch-Lauf zu, und bis ein Dashboard aktualisiert wird, ist der richtige Zeitpunkt zum Handeln oft bereits verpasst. Für viele Unternehmen ist dies ein akzeptabler Kompromiss. Für den Zahlungsverkehr, die Energiemärkte und die Logistik gilt dies jedoch nicht. In diesen Branchen ist der Unterschied zwischen „jetzt“ und „heute Morgen“ der Unterschied zwischen einer guten Entscheidung und einer verpassten Chance.

Echtzeit-Streaming ist eine der herausragendsten Stärken von Xebia bei Snowflake. Für ein weltweit führendes Energieunternehmen, das auf Echtzeit-Strommärkten in mehreren Ländern tätig ist, haben wir Datenpipelines von BigQuery auf Snowflake und dbt migriert und gleichzeitig eine ereignisgesteuerte Architektur mit Kafka und Snowpipe Streaming eingeführt, die 15-minütige Energiepreisfenster unterstützt. Bei Abacai, einem britischen Kfz-Versicherer, der 15 Geschäftsbereiche auf einer einzigen Snowflake-Plattform betreibt, haben wir neben Batch-Ladungen auch die Streaming-Erfassung über Kafka und Snowpipe hinzugefügt, sodass Schaden- und Zeichnungsdaten nahezu in Echtzeit plattformweit übertragen werden können. (Lesen Sie die Abacai-Kundenreferenz)

Echtzeit muss nicht zwangsläufig bedeuten, dass ein separater Streaming-Stack an das Data Warehouse angehängt wird. Durch den Einsatz von Snowflake-eigenen Streaming-Funktionen in Verbindung mit Technologien wie Kafka können wir Echtzeitdaten auf derselben regulierten Plattform wie Batch- und Analyse-Workloads verwalten. Dadurch wird der Bedarf an separater Infrastruktur und der damit verbundene Betriebsaufwand reduziert.

Sprechen Sie mit Ihren Daten: Analyse natürlicher Sprache auf Snowflake

Die nächste Herausforderung besteht nicht darin, mehr Daten zu beschaffen, sondern die Daten, über die Unternehmen bereits verfügen, benutzerfreundlicher zu gestalten. Bei Dashboards und SQL sind viele geschäftliche Fragen nach wie vor von Analysten und technischen Teams abhängig. Geschäftsanwender möchten hingegen Fragen in einfacher Sprache stellen, fundierte Antworten erhalten und die Diskussion fortsetzen, sobald neue Fragen aufkommen – ohne einen weiteren Bericht anfordern oder auf ein neues Dashboard warten zu müssen.

Auf Snowflake lässt sich diese Lösung direkt auf der Unternehmensdatenplattform aufbauen. Mit Cortex Analyst können Geschäftsanwender strukturierte Daten in natürlicher Sprache abfragen; die Lösung unterstützt mehrstufige Konversationen, bei denen der Kontext früherer Fragen erhalten bleibt. Cortex Search erweitert den Zugriff in natürlicher Sprache auf unstrukturierte Inhalte, und Snowflake Intelligence bietet eine dialogorientierte Schnittstelle für die Arbeit mit Daten und KI-Agenten.

Was diese Funktionen in einem Unternehmensumfeld so wertvoll macht, ist das, was ihnen zugrunde liegt: eine geregelte semantische Ebene, die der KI den geschäftlichen Kontext liefert, den sie benötigt, um Daten zuverlässiger zu interpretieren. Wir haben dies bereits bei Abacai in einem Pilotprojekt getestet, bei dem ein frühes Proof-of-Concept mit Snowflake Agents es Geschäftsanwendern ermöglichte, Schadens- und Risikoprüfungsdaten über semantische Ansichten abzufragen, anstatt SQL-Abfragen zu schreiben oder auf einen Analysten warten zu müssen. Wir haben diesen Ansatz der Konversationsanalyse auch in der Investmentbranche angewendet und damit seine Relevanz für verschiedene Arten von Unternehmensdaten und geschäftlichen Fragestellungen unter Beweis gestellt. Das Ergebnis ist ein direkterer Weg von einer geschäftlichen Frage zu einer verlässlichen Antwort – in den eigenen Worten des Nutzers und ohne, dass eine weitere Anfrage in die Warteschlange eines Analysten aufgenommen werden muss.

Open Data Lakehouse: Offenheit und Governance unter einem Dach

Der dritte Bereich betrifft die Frage, wie Unternehmen Offenheit gestalten können, ohne dabei die Governance zu beeinträchtigen. Bislang mussten Unternehmen stets einen Ausgleich zwischen der Flexibilität und Offenheit eines Data Lake einerseits und der Leistungsfähigkeit sowie der Governance eines Data Warehouse andererseits finden. Ein offenes Data Lakehouse auf Snowflake bringt diese Fähigkeiten näher zusammen und bietet eine geregelte Grundlage für strukturierte, semistrukturierte und unstrukturierte Daten, während gleichzeitig offene und interoperable Architekturen unterstützt werden.

In einem unserer Projekte haben wir eine einheitliche Snowflake-Plattform aufgebaut, die 15 Geschäftsbereiche über den gesamten Versicherungslebenszyklus hinweg abdeckt. Dabei kamen „Infrastructure as Code“ mit Terraform, mehr als 50 RBAC-Rollen sowie die Datenerfassung per Streaming neben Batch-Ladungen zum Einsatz. In einem weiteren Projekt in der Energie- und Versorgungsbranche haben wir die offene Seite dieses Musters anhand eines Proof-of-Concept mit Snowflake- und Apache-Iceberg-Tabellen untersucht. Im Rahmen des Projekts wurde untersucht, wie Unternehmen offenen, portablen Speicher mit den Governance- und Leistungsfunktionen von Snowflake kombinieren können. Unabhängig davon, ob der Schwerpunkt auf Governance in großem Maßstab oder auf der Offenheit und Interoperabilität der Daten liegt, ist das Ziel dasselbe: die Entstehung weiterer Silos zu vermeiden und gleichzeitig die Flexibilität zu bewahren, um zukünftige Plattformen, Tools und KI-Anwendungsfälle zu unterstützen.

Entdecken Sie den „Open Data Lakehouse“-Ansatz von Xebia.

Xebia Axis: Entwicklung agentenfähiger Datenfundamente

Streaming, die „Kommunikation“ mit Ihren Daten und das offene Data Lakehouse weisen alle auf dieselbe nächste Herausforderung hin: Die meisten Dateninfrastrukturen wurden für Menschen und nicht für KI-Agenten entwickelt. Wenn ein KI-Agent auf schlecht dokumentierte Daten, inkonsistente Definitionen oder fehlenden geschäftlichen Kontext stößt, verfügt er über kaum verlässliche Anhaltspunkte für seine Schlussfolgerungen, was die Qualität und Zuverlässigkeit seiner Antworten einschränkt.

Xebia Axis vereint diese Fähigkeiten durch den Ansatz von Xebia zum Aufbau agentenfähiger Datenfundamente. Dabei werden geregelte Daten, einheitliche Geschäftsdefinitionen und semantische Ebenen mit den technischen Kompetenzen, bewährten Mustern und Beschleunigungswerkzeugen kombiniert, die für deren Umsetzung erforderlich sind. Gleichzeitig nutzt Xebia Axis künstliche Intelligenz, um die Arbeit unserer Dateningenieure zu unterstützen und ihnen dabei zu helfen, Datenplattformen effizienter zu bewerten, aufzubauen und zu migrieren.

Anstatt ein Einheitsprodukt anzubieten, wird Xebia Axis an die Datenumgebung jedes einzelnen Unternehmens angepasst und baut dabei auf den Leistungen auf, die wir bereits heute in den Bereichen Migration, Plattformentwicklung und Governance erbringen.

Erfahren Sie, wie Xebia Axis den Weg zu agentenfähigen Datengrundlagen beschleunigt.

Warum sich die Partnerschaft zwischen Xebia und Snowflake von anderen unterscheidet

Xebia legt bei der Partnerschaft mit Snowflake einen klaren Schwerpunkt: die Bewältigung jener Herausforderungen, bei denen fundiertes technisches Fachwissen den größten Unterschied macht. Dies sind Situationen, in denen Daten in Echtzeit übertragen werden müssen, in denen Geschäftsanwender direkt mit ihnen interagieren müssen und in denen die zugrunde liegende Architektur geregelt, KI-fähig und skalierbar sein muss.

Unsere Fachkompetenz beruht nicht nur auf der Implementierung von Snowflake für Kunden, sondern auch auf unseren Beiträgen zum gesamten technischen Ökosystem von Snowflake. Xebia pflegt eine weit verbreitete Suite von Open-Source-Terraform-Modulen für Snowflake, die bereits zehntausende Male heruntergeladen wurde, und hat zum offiziellen Snowflake-Terraform-Provider beigetragen.

Wir können nachweisbare Kundenerfolge vorweisen, darunter eine Produktionsdatenplattform, die wir innerhalb von vier Monaten für Volt.io, ein weltweit tätiges Unternehmen im Bereich Echtzeit-Zahlungsverkehr, aufgebaut haben. Lesen Sie die Kundenreferenz zu Volt.io. Darüber hinaus verfügen wir über Erfahrung aus Projekten in den Bereichen E-Commerce, Finanzdienstleistungen, Energie, Versicherungen und weiteren Branchen.

In Verbindung mit den Plattformfunktionen von Snowflake hilft diese Erfahrung in den Bereichen Umsetzung und Entwicklung Unternehmen dabei, ihre Visionen in sichere, produktionsreife Lösungen und messbare Geschäftsergebnisse umzusetzen.

Wie es weitergeht

Echtzeit-Streaming, die Kommunikation mit Ihren Daten, das offene Data Lakehouse und Xebia Axis sind zunehmend miteinander vernetzt. Aktuelle Daten gewinnen an Bedeutung, wenn Geschäftsanwender und KI-Agenten direkt darauf reagieren können. Der Zugriff über natürliche Sprache gewinnt an Wert, wenn er auf kontrollierten Daten und einem klaren geschäftlichen Kontext basiert. Und eine offene Architektur bietet Unternehmen die Flexibilität, sich kontinuierlich weiterzuentwickeln, sobald neue KI-Anwendungsfälle entstehen.

Für Xebia und Snowflake besteht der nächste Schritt darin, diese Funktionen für mehr Kunden zusammenzuführen und die Erkenntnisse, die wir aus der praktischen Umsetzung gewinnen, weiterhin in reproduzierbare Ansätze umzusetzen.

Wenn Sie Daten in Snowflake verarbeiten und vor einer dieser Herausforderungen stehen – ganz gleich, ob Sie aktuellere Daten, einen einfacheren Zugriff auf Erkenntnisse oder eine offenere und KI-fähige Grundlage benötigen –, würden wir uns freuen, mit Ihnen über die nächsten Schritte zu sprechen. Wenden Sie sich an unsere Snowflake-Experten.