Phase 1: 소소하게 시작
•
Spark 사용중이라서 Spark 기반으로 스트리밍 시작…
•
테이블 참조를 하기 위해 Airflow 사용.
◦
앱 재시작으로 데이터 재적재
Phase 2: 새로운 시작
•
Flink 처음부터 실시간 처리 기반으로 개발
•
파이프라인이 늘어날수록 비용 증가!!
Phase 3: 한계를 넘어
End game? Endless game
•
유입되는 이벤트/데이터 유입을 검증하기 위해 Schema Registry 사용
•
Iceberg 포멧으로 저장
•
추천, ML,대시보드등에서 실시간 데이터 사용
◦
StarRocks
