mini_cloud

  • 홈
  • 태그
  • 방명록

2025/10/30 1

클라우드 스토리지 구성(1)

클라우드 스토리지의 데이터를 구성할때는 명확하고 일관된 원칙을 갖고 진행해야함즉, 데이터를 읽을 위치, 데이터를 저장할 위치 등 동일한 설계 원칙에 따라 구축함 (표준화가 필요하다는 말..)1. 수집 계층에서 나온 데이터는 Landing 영역에 저장됨Landing 영역은 raw데이터가 처리될 때까지 저장되어 있는 곳수집 계층만이 Landing영역에 기록을 할 수 있음2. raw data는 일련의 공통 변환 과정을 거쳐 Staging 영역에 저장됨3. raw data는 landing 영역에서 archive 영역으로도 복제됨archive 목적은 재처리가 필요할 경우, 파이프라인 디버깅을 해야 될 경우, 신규 파이프라인 코드를 테스트를 위해 대비함4. 데이터 변환 작업은 staging 영역에서 데이터를 일고,..

데이터/아키텍처 2025.10.30
이전
1
다음
더보기
프로필사진

mini_cloud

  • 분류 전체보기 (39)
    • 데이터 (16)
      • 아키텍처 (7)
      • RDBMS (0)
      • Airflow (5)
      • 복기 (4)
    • 클라우드 (20)
      • AWS (1)
      • OpenStack (13)
      • Docker & Kubernetes (6)
    • Distributed System (2)
    • 기타 백엔드 공부 (0)
    • Git (0)
    • 자료구조,알고리즘 (0)
      • leetcode (0)
      • 백준 알고리즘 (0)
      • 자료구조 정리 (0)
    • 기타 공부 (1)
      • 자바 (0)
      • 파이썬 (1)

Tag

e,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/10   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바