mini_cloud

fast-cloud의 object storage인 Swift에서 replication에 대해 mount부분을 수정 하던 중 아래와 같은 문제가 발생함can't read superblock on /dev/loop0. dmesg(1) may have more information after failed mount system call. mount 명령어가 디스크(loop0)를 읽을려 했는데, format을 초기화 하지 않아서, 파일 시스템(ext4, xfs 등 ..)이 깔려있지 않는 상태를 나타내고 있었음 VFS (Virtual File System)리눅스는 ext4, xfs 등.. 수많은 파일 시스템을 지원함사용자 프로그램(python 등..)은 파일이 어떤 format인지 신경 쓰지 않고 open(), ..

배경FoodDonor의 구축을 어느 정도 완료했고, 푸드뱅크 담당자의 인터뷰 내용을 확인하던 중,FoodDonor 관계자 같이 책임자들이 매칭 시 발생하는 로그를 종합적으로 확인하면 좋겠다는 의견을 듣게 되었음또한 매칭 수행 후 기록들을 남겨서 가지고 있으면 좋겠다고 하셨음 현재 화면을 보면 관리자들이 한번에 시각화해서 확인할 수 있는 화면은 찾기 어려웠음여기서 관리자란 매칭을 전반적으로 관리할 수 있는 푸드뱅크의 담당자들과 서비스를 관리할 수 있는 사람들을 말함 물론 관리자 전용 화면을 추가 구축하면 될거 같다고 했지만, 성공 및 실패(오류를 확인하기 위한...)로그를 확인할 수 있는 페이지와 매칭 로그만 정상적으로 확인을 하는 관리자들이 구분될 필요는 있다고 생각을 했음 또한 서비스를 운영하는 관리자..

먼저 전체적인 파이프라인은 아래와 같음클라우드 수업 취지에 맞게 최대한 클라우드 솔루션을 활용해 아키텍처 설계를 진행해보고 다양한 솔루션을 사용해보는 것에 의의를 두었음내가 맡은 부분은 아래와 같이 데이터 아키텍처 부분임 왜 데이터 파이프라인이 필요한가?서울시 공공데이터포털의 일반 음식점 인허가 정보 데이터를 주기적으로 수집하여(배치), 서비스(FoodDonor)내에서 DB로 활용하고자 하였음비즈니스적 관점데이터 최신화가 필요하기 때문임즉, 공공데이터는 실시간으로 업데이트가 되는 정보가 아니기에, 이미 폐업을 하거나 장사를 하지 않는 오래된 정보가 존재함즉, 실제 기부가 가능한 유효한 데이터의 필터링이 필요함 데이터의 신뢰성를 보장할 수 있음필터링된 데이터로 인해 오류가 발생했을 때, 원본 데이터와의 대..

아래 AWS 아키텍처를 보다가 생각이 든게 왜 S3랑 DynamoDB는 VPC외부에 위치에서 쓸까라는 생각이 들었음...찾아보니 설계 철학이 그 이유를 설명해주었음1. 무한한 확장성VPC내부에 서비스를 만들어서 사용한다는 것은 나의 사설 IP주소를 할당해서 쓴다는 것임S3(object storage)의 경우 엄청난 파일 등..을 저장하는 역할을 수행하는데,만약 S3가 VPC안에 위치해 있다면 객체(파일, 버킷..)마다 IP를 할당해야하는 번거로움이 발생함즉, VPC내부의 IP주소가 고갈될 수도 있는 문제가 발생할 수 있는 거임그렇기에 AWS가 관리하는 거대한 공용 영역에 위치하게 된 것임2. 내구성과 가용성VPC의 subnet은 기본적으로 하나의 AZ(가용 영역)에 묶여 있음만약 S3가 특정 서브넷에 묶..