먼저 전체적인 파이프라인은 아래와 같음클라우드 수업 취지에 맞게 최대한 클라우드 솔루션을 활용해 아키텍처 설계를 진행해보고 다양한 솔루션을 사용해보는 것에 의의를 두었음내가 맡은 부분은 아래와 같이 데이터 아키텍처 부분임 왜 데이터 파이프라인이 필요한가?서울시 공공데이터포털의 일반 음식점 인허가 정보 데이터를 주기적으로 수집하여(배치), 서비스(FoodDonor)내에서 DB로 활용하고자 하였음비즈니스적 관점데이터 최신화가 필요하기 때문임즉, 공공데이터는 실시간으로 업데이트가 되는 정보가 아니기에, 이미 폐업을 하거나 장사를 하지 않는 오래된 정보가 존재함즉, 실제 기부가 가능한 유효한 데이터의 필터링이 필요함 데이터의 신뢰성를 보장할 수 있음필터링된 데이터로 인해 오류가 발생했을 때, 원본 데이터와의 대..