메타데이터 계층 구현 옵션메타데이터를 어떻게 구현하는지 알아보자메타데이터 계층으로 도입할 표준 오픈 소스나, 제품은 없다고 함가장 간단한 구조, 조금 복잡한 구조, 아주 복잡한 구조 차례대로 메타 계층 구조를 알아보자 설정 파일의 모음인 메타데이터 계층메타데이터는 파이프라인 설정을 위한 데이터와, 파이프라인에서 실행되는 처리 내역 정보를 수집하는 처리 내역도 포함함설정 파일 방식을 활용해서 메타데이터를 구현하는 것이 가장 간단한 방법임즉, 네임스페이스, 파이프라인, 데이터 소스, 목적지, 데이터 품질 검사 정보를 별도의 설정 파일로 관리하도록 함 (스키마 레지스트리는 뒤에서 구현 방법을 배움)이런 구현은 json, yaml을 사용하거나, 각 기업에 맞는 포맷을 사용하면 됨 설정 파일을 클라우드 로그 집..
