파일 포맷 변환, 데이터 중복 제거, 데이터 품질 검사에 대해 알아볼거임데이터의 포맷은 JSON, CSV, XML, 사용자 정의 바이너리 포맷 등..으로 다양함 데이터 레이크의 핵심은 데잍터를 다양한 포맷으로 저장하고 액세스할 수 있기에,전통적인 데이터 레이크는 스토리 계층에 포맷 변경 없이 데이터를 그대로 저장함하지만, 이런 방식은 데이터 변환 작업이나, 처리를 수행하는 파이프라인의 업무를 증가시킴 그렇기에 현대 데이터 플랫폼 설계는 더 조직적이고, 구조화된 방식을 제안하고 있음데이터를 원본 포맷으로 유지하고, 아카이브 영역에 저장하는 것은 같지만,수신 데이터에 수행하는 첫 번째 변환 중 하나로 데이터를 단일 통합 파일 포맷으로 변환함여기에서는 두 가지 다른 파일 포맷을 사용함1. 스테이징 영역에서는 ..
