Blog
Apache NiFi - warum lieben und hassen Dateningenieure es gleichzeitig? Einführung in die Blog-Serie
Neue Technologien zu erlernen ist wie sich zu verlieben. Am Anfang genießen Sie es in vollen Zügen und es ist, als würden Sie eine rosarote Brille tragen, die Sie daran hindert, etwas zu sehen, das Ihnen nicht gefällt. In der Softwareentwicklung nennen wir diese Phase Proof of Concept. Dann wird aus einem schmissigen Proof of Concept ein lässiges Projekt mit Eckfällen, die Sie nicht ausblenden können und die Sie lösen müssen. Irgendwann überwältigt Sie eine Anzahl von Eckfällen, die vielleicht sogar größer sind als die Vorteile, die die brandneue Technologie mit sich bringt. Das kann zu langen Wochen führen, in denen Sie es wirklich hassen, obwohl Sie es gerade noch geliebt haben. Wenn Sie Glück haben, werden Ihre Probleme schnell gelöst und Sie können sie in der Produktion einsetzen. An diesem Punkt können Sie sich zurücklehnen, Kaviar essen, Champagner trinken und alles zusammenfassen - alle Erkenntnisse und Probleme, die Sie während des Projekts gelöst haben und auf die Sie gestoßen sind. 
Bei GetInData sind wir an diesem Punkt angelangt und in dieser Beitragsserie teilen wir unsere praktischen Erfahrungen mit Apache NiFi. Wir zeigen unsere Erkenntnisse und Meinungen, aber wir werden keine Fragen beantworten wie: ist NiFi gut genug, empfehlen wir es, usw... Wir glauben, dass es darauf keine allgemeinen Antworten gibt und konzentrieren uns darauf, zu beschreiben, welche Probleme beim Einsatz von Datenströmen in NiFi auftreten können. Alle Beispiele stammen aus realen Projektszenarien.
Unsere Blogserie wird in die folgenden Beiträge unterteilt sein:
- Teil I - Schnelle Entwicklung, mühsame Pflege - Wir erkunden die Vorteile der Pipeline-Entwicklung und die großartigen Funktionen, die in Web Canvas verfügbar sind. Wir stellen einige kleinere Nachteile fest. Das sind die Dinge, die wir aus mehreren Programmiersprachen kennen und als Softwareentwickler gewohnt sind, die aber in NiFi nicht verfügbar sind.
- Teil II - Wir haben bereitgestellt, aber zu welchem Preis... - CI/CD von NiFi flow - Von einem erfolgreichen Projekt bis zu einer erfolgreichen Projektfreigabe ist es ein langer Weg. Bei NiFi kann dieser Weg sogar länger sein als bei den meisten anderen gängigen Technologien. Wir beschreiben, wie die Anforderungen (wie z.B. die Trennung der Umgebung) die Welt schwer machen können, und stellen unsere Lösung dafür vor.
- Teil III - Keine Kodierung, einfach ziehen und ablegen, was Sie brauchen, aber wenn es nicht da ist... - benutzerdefinierte Prozessoren, Skripte, externe Dienste - Die Implementierung des optimistischen Pfads ist nur ein Bruchteil eines Bruchteils eines Kuchens. Die meiste Zeit wird auf Eckfälle und Funktionen verwendet, die sich nicht ohne weiteres mit fertigen NiFi-Prozessoren lösen lassen. Benutzerdefinierte Prozessoren und Groovy-Skripte können eine Lösung dafür sein. Ab einem gewissen Punkt kann die Verwaltung von Dutzenden kopierten Groovy-Inline-Skripten und anderen problematisch werden.
- Teil IV - Ein Universum aus Flow-Dateien - NiFi-Architektur Hohe Verfügbarkeit ist ein Muss für moderne Anwendungen. Um sie zu erreichen, sollte man die Interna des Systems, das verwendet werden soll, genau verstehen. In diesem Teil gehen wir darauf ein. Wenn Sie sich der möglichen Einschränkungen bewusst sind, können Sie diese abmildern.
- Teil V - Es geht schnell und einfach, was kann schon schief gehen - ein Jahr Geschichte eines bestimmten NiFi-Flows - Dateneingabeprojekte haben mehrere Dinge gemeinsam. Zu Beginn handelt es sich um einfache Pipelines, und dann nimmt die Komplexität mit zusätzlicher Geschäftslogik zu, die implementiert werden muss. Die Anforderungen beeinflussen die Architektur des Datenflusses und wie NiFi eingesetzt wird.
- Ich habe nur eine Regel, und die lautet ... - Empfehlungen für die Verwendung von Apache NiFi - In den übrigen Beiträgen haben wir eine Menge interessanter Erkenntnisse geliefert, und die meisten davon sind ziemlich detailliertes Wissen. In diesem Beitrag fassen wir alles zusammen und geben Ihnen einige allgemeine Empfehlungen zur Datenaufnahme mit Apache NiFi.
Das ist es, was wir zu tun gedenken. Bitte bleiben Sie bei uns, um weitere Beiträge zu lesen, ganz gleich, ob Sie sich für alle Themen oder nur für einige davon interessieren.
Bis bald ;-)
Verfasst von
Tomasz Nazarewicz
Contact