2025/10 2

클라우드 스토리지 구성(1)

클라우드 스토리지의 데이터를 구성할때는 명확하고 일관된 원칙을 갖고 진행해야함즉, 데이터를 읽을 위치, 데이터를 저장할 위치 등 동일한 설계 원칙에 따라 구축함 (표준화가 필요하다는 말..)1. 수집 계층에서 나온 데이터는 Landing 영역에 저장됨Landing 영역은 raw데이터가 처리될 때까지 저장되어 있는 곳수집 계층만이 Landing영역에 기록을 할 수 있음2. raw data는 일련의 공통 변환 과정을 거쳐 Staging 영역에 저장됨3. raw data는 landing 영역에서 archive 영역으로도 복제됨archive 목적은 재처리가 필요할 경우, 파이프라인 디버깅을 해야 될 경우, 신규 파이프라인 코드를 테스트를 위해 대비함4. 데이터 변환 작업은 staging 영역에서 데이터를 일고,..

데이터 플랫폼 아키텍쳐

기본 데이터 플랫폼 4계층 아키텍처위에 플랫폼 계층 아키텍처를 확장해볼거임수집 계층에서는 batch와 streaming 수집 두가지가 있음저장 계층에서는 저속 스토리지, 고속 스토리지 개념을 도입함처리 계층에서는 고속 스토리지, 저속 스토리지의 활용과 배치 방식 처리, 스트리밍 데이터 처리 방식을 논의함이 처리 계층 개선을 위해 메타데이터 계층을 추가했음오버레이 게층은 ETL이나 오케스트레이션 작업을 위해 추가함수집 계층데이터 변환을 크게 거치지 않고도 소스 시스템에서 데이터 플랫폼으로 데이터를 전송할 수 있어야 함데이터 레이크에서 raw 데이터를 보존할 수 있어야 함나중에 데이터를 재처리할 경우, 소스 시스템에 다시 연결하지 않아도, 재처리가 가능할 수 있도록 구축해야 함메타데이터 저장소에 수집 통계와..