Teil IV Data Engineering
In diesem Abschnitt werden die Methoden für die Entwicklung Ihrer Daten in AI Data Platform Workbench erläutert.
Data Engineers konzentrieren sich auf die Erstellung und Wartung der Systeme, mit denen Datenanalysten auf Daten zugreifen und diese bearbeiten. Sie verwenden Big-Data-Technologien wie Apache Spark und Programmiersprachen wie Python und SQL, um Daten in Objektspeicher, Datenbanken und Data Warehouses zu verarbeiten und zu verwalten. Sie sind für die Anfangsphasen des Datenanalyse- und Data-Science-Workflows verantwortlich, wie das Erfassen, Speichern und Transformieren von Daten. Ihre Arbeit stellt sicher, dass die Daten zugänglich sind und von hoher Qualität sind, damit andere Data Scientists und Analysten sie für ihre Arbeit verwenden können. Data Engineers verwenden CI/CD-Prinzipien auch für Datenpipelines und Code, um die Versionskontrolle zu verwalten und die Zusammenarbeit mit Data Scientists, Analysten und anderen Stakeholdern zu fördern.