mini_cloud

  • 홈
  • 태그
  • 방명록

2025/10/28 1

데이터 플랫폼 아키텍쳐

기본 데이터 플랫폼 4계층 아키텍처위에 플랫폼 계층 아키텍처를 확장해볼거임수집 계층에서는 batch와 streaming 수집 두가지가 있음저장 계층에서는 저속 스토리지, 고속 스토리지 개념을 도입함처리 계층에서는 고속 스토리지, 저속 스토리지의 활용과 배치 방식 처리, 스트리밍 데이터 처리 방식을 논의함이 처리 계층 개선을 위해 메타데이터 계층을 추가했음오버레이 게층은 ETL이나 오케스트레이션 작업을 위해 추가함수집 계층데이터 변환을 크게 거치지 않고도 소스 시스템에서 데이터 플랫폼으로 데이터를 전송할 수 있어야 함데이터 레이크에서 raw 데이터를 보존할 수 있어야 함나중에 데이터를 재처리할 경우, 소스 시스템에 다시 연결하지 않아도, 재처리가 가능할 수 있도록 구축해야 함메타데이터 저장소에 수집 통계와..

데이터/아키텍처 2025.10.28
이전
1
다음
더보기
프로필사진

mini_cloud

  • 분류 전체보기 (39)
    • 데이터 (16)
      • 아키텍처 (7)
      • RDBMS (0)
      • Airflow (5)
      • 복기 (4)
    • 클라우드 (20)
      • AWS (1)
      • OpenStack (13)
      • Docker & Kubernetes (6)
    • Distributed System (2)
    • 기타 백엔드 공부 (0)
    • Git (0)
    • 자료구조,알고리즘 (0)
      • leetcode (0)
      • 백준 알고리즘 (0)
      • 자료구조 정리 (0)
    • 기타 공부 (1)
      • 자바 (0)
      • 파이썬 (1)

Tag

e,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/10   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바