Datenerfassung - Warum ist sie wichtig?

In vielen Fällen können Daten der Treibstoff sein, der Ihre Geschäfte in die Höhe treibt. Um dieses Szenario möglich zu machen, benötigen Sie jedoch die wichtigste Zutat - gute Daten. Um Ihnen dabei zu helfen, erklären wir Ihnen die Details hinter den verschiedenen Möglichkeiten der Datenerfassung.

Was ist Datenerfassung?

Unter Datenerfassung versteht man die Sammlung von Daten und deren Einspeisung in ein System zur weiteren Verwendung (was zunächst die Verarbeitung ist).

O'Reilly unterteilt die Datenerfassung in zwei Schritte - das Sammeln von Daten und die Aufnahme von Daten. Wenn Sie diese Schritte verstehen, können Sie sich ein klares Bild davon machen, woher die Daten kommen und wie sie zu einer Grundlage Ihrer datengesteuerten Abläufe werden können.

Daten ernten

Wie O'Reilly sagt, bezieht sich Data Harvest auf den Prozess, durch den eine Quelle Daten generiert. Praktisch gesprochen geht es darum, welche Daten erworben werden.

Normalerweise fließen Daten aus zwei Arten von Quellen - sie können von Ihren eigenen Diensten (von Websites, APIs usw.) erfasst werden oder in Form von Streams und Batches eintreffen.

Datenströme fließen kontinuierlich ein. Diese Art von Daten kann aus allen Arten von Quellen, in unterschiedlichen Formaten und Mengen eintreffen. Mit der Stream Processing-Technologie können Datenströme sofort verarbeitet, gespeichert, analysiert und bearbeitet werden, da sie in Echtzeit generiert werden.

Andererseits werden Batch-Daten periodisch, in einem bestimmten Zeitintervall und mit einer Begrenzung produziert.

Wenn Sie diese beiden Verfahren miteinander vergleichen, klingt Streaming in der Tat interessanter und - Sie haben es erraten - viel teurer. Wenn Sie also keine sofortige Ausgabe aus Ihrer Datenpipeline benötigen, ist Streaming nicht notwendig, und die Stapelverarbeitung reicht aus.

Dateneingabe

Wie der Name schon sagt, konzentriert sich die Datenaufnahme darauf, die erzeugten Daten in ein bestimmtes System zu bringen.

O'Reilly unterteilt die Datenübernahme in drei Vorgänge - entdecken, verbinden und synchronisieren. Das Ziel dieser drei Stufen ist es, zugängliche Datenquellen in der Umgebung eines Unternehmens zu identifizieren, diese Datenquellen zu verbinden, damit sie direkt zugänglich sind, und schließlich die Daten in ein kontrollierbares System zu kopieren.

Am Ende der Phasen der Datenerfassung und -aufnahme sollte Ihr Unternehmen also über wertvolle Daten verfügen, die zum Nutzen des Unternehmens verwendet werden können.

Methoden zur Datenerfassung - Wie erhalten Sie wertvolle Daten?

Aber nachdem wir gesagt haben, was Datenerfassung ist, ist es auch wichtig zu erklären, wie der Prozess funktioniert.

Sie können Daten aus vielen verschiedenen Quellen beziehen. Schließlich kann fast alles eine Datenquelle sein. Von Websites und Apps bis hin zu IoT-Protokollen oder sogar physischen Notizen - die Liste ist schier endlos - und es kommen buchstäblich jeden Tag neue Datenquellen hinzu.

Der von der US-Regierung betriebene USGS nennt vier Methoden der Datenerfassung:

1. Sammeln Sie neue Daten.
2. Konvertierung und/oder Umwandlung von Altdaten.
3. Gemeinsame Nutzung oder Austausch von Daten.
4. Daten zum Einkaufen.

Zu diesen Methoden gehören auch die automatische Erfassung, die manuelle Aufzeichnung empirischer Beobachtungen und die Beschaffung vorhandener Daten aus anderen Quellen.

Datenerfassung - Was ist zu beachten?

Bevor Sie sich für eine dieser vier Methoden zur Datenerfassung entscheiden, empfiehlt USGS, bestimmte Geschäftsziele und Datenmerkmale zu berücksichtigen.

Zum Beispiel sollten Sie zunächst über das Geschäftsziel nachdenken (warum werden diese Daten benötigt und was bringen sie?). Als nächstes sollten Sie auch die Kosten, die zeitlichen Beschränkungen und das Format berücksichtigen. Und wenn Sie in einer bestimmten, stark regulierten Branche wie dem Bankensektor tätig sind oder eine staatlich kontrollierte Einrichtung sind, können zusätzliche Einschränkungen gelten - z. B. Schwellenwerte für Datenstandards oder Einschränkungen durch Geschäftsregeln.

Darüber hinaus bringt jede Methode der Datenerfassung zusätzliche Herausforderungen und Merkmale mit sich, die Sie berücksichtigen müssen. Wenn es zum Beispiel um die Umwandlung von Altdaten geht, sollten Sie zunächst die Qualität der Altdaten bewerten. Und wenn Sie Daten kaufen, ist es ratsam, alle Lizenzierungsfragen zu analysieren.

Das folgende Diagramm fasst alle relevanten Herausforderungen zusammen:

Quelle: usgs.gov (Public domain.)

Datenerfassung - Zusammenfassung

In der heutigen Geschäftswelt ist die datengestützte Entscheidungsfindung (Data-Driven Decision Making, DDDM) zu einer der wichtigsten Voraussetzungen für optimale Geschäftsentscheidungen geworden. Doch wie der Name schon sagt, ist dies ohne die richtigen Daten nicht möglich.

Zum Glück gibt es überall wertvolle Informationen. Die Herausforderung besteht jedoch darin, die richtigen zu finden und sie zu nutzen. Ich hoffe, dieser Artikel hat Ihnen geholfen, sich einen Überblick darüber zu verschaffen, wo Sie anfangen können.

Viel Glück!