파트 IV 데이터 엔지니어링
이 섹션에서는 AI 데이터 플랫폼 워크벤치에서 데이터를 개발하는 방법에 대해 설명합니다.
데이터 엔지니어는 데이터 분석가가 데이터 액세스 및 조작에 사용하는 시스템을 구축하고 유지 관리하는 데 중점을 둡니다. Apache Spark와 같은 빅데이터 기술과 Python 및 SQL을 포함한 프로그래밍 언어를 사용하여 오브젝트 스토리지, 데이터베이스 및 데이터 웨어하우스에 있는 데이터를 처리하고 관리합니다. 이들은 데이터 수집, 저장 및 변환과 같은 데이터 분석 및 데이터 과학 워크플로우의 초기 단계를 담당합니다. 이러한 작업을 통해 데이터에 액세스할 수 있고 품질이 높아져 다른 데이터 과학자와 분석가가 작업에 사용할 수 있습니다. 또한 데이터 엔지니어는 데이터 파이프라인 및 코드에 CI/CD 원칙을 사용하여 버전 제어를 관리하고 데이터 과학자, 분석가 및 기타 이해 관계자와의 협업을 촉진합니다.