소개 지난 1부에서는 ‘클라우드 환경에서의 비디오 인텔리전스 구현: TwelveLabs로 시작하는 AI 영상 분석 1부 – VoD환경에서의 비디오 분석 파이프라인 구축하기’라는 주제를 다루었습니다. 2부에서는 영상의 분석과 의사결정이 빠르게 요구되는 환경에서 준실시간으로 비디오 분석 파이프라인을 구축하는 방안에 대해 다루겠습니다. 영상 데이터는 초 단위로 쌓이지만, 그 안에서 의미 있는 이벤트를 찾아내는 일은 여전히 쉽지 않습니다. 기존의 감시/모니터링 시스템은 […] || 소개
지난 1부에서는 ‘클라우드 환경에서의 비디오 인텔리전스 구현: TwelveLabs로 시작하는 AI 영상 분석 1부 – VoD환경에서의 비디오 분석 파이프라인 구축하기’라는 주제를 다루었습니다. 2부에서는 영상의 분석과 의사결정이 빠르게 요구되는 환경에서 준실시간으로 비디오 분석 파이프라인을 구축하는 방안에 대해 다루겠습니다.
영상 데이터는 초 단위로 쌓이지만, 그 안에서 의미 있는 이벤트를 찾아내는 일은 여전히 쉽지 않습니다. 기존의 감시/모니터링 시스템은 사람의 눈에 의존하거나, 단순한 룰 기반(예: 특정 시간대 모션 발생 시 알람)에 머무르는 경우가 많습니다. 이 방식으로는 “출입이 제한된 구역에 사람이 진입했는지”, “주차장에 의심 차량이 일정 시간 이상 머무르는지”와 같은 복잡한 패턴을 빠르게 파악하기 어렵습니다.
TwelveLabs Pegasus는 비디오 이해 모델로, 영상에 대한 장면, 맥락을 함께 이해하고 빠르게 텍스트 형태로 분석 결과를 제공합니다. 또한, Agent를 활용할 경우, 단순한 룰 기반이 아니라 “카운터에 5명 이상이 줄 서 있는 상황”, “차량이 역주행하는 순간”과 같은 특정 이벤트를 자연어로 정의할 수 있으며, 이를 통해 해당 장면이 감지될 때마다 AI가 의미를 판단하여 준실시간으로 알림을 제공하는 형태로 파이프라인을 구축할 수 있습니다.
시나리오 1: AWS Elemental 서비스를 활용한 라이브 스트림 분석
AWS Elemental 서비스 스택은 방송급 품질의 라이브 비디오 처리를 위한 완전 관리형 솔루션입니다. 실시간 스트리밍 환경에서 AI 영상 분석을 적용할 때 가장 큰 기술적 도전 과제는 스트리밍 포맷을 분석 가능한 형태로 변환하는 것입니다. 일반적인 실시간 스트리밍은 HLS(HTTP Live Streaming)나 DASH 프로토콜을 사용하며, 2~10초 단위의 작은 세그먼트(.ts 또는 .m4s 파일)로 분할되어 전송됩니다. TwelveLabs의 Marengo나 Pegasus 모델은 분석을 위해 MP4, MOV와 같은 비디오 파일로 변환하는 것이 중요합니다.
서버리스 아키텍처 방식
서버리스 방식은 인프라 관리 부담 없이 AWS 관리형 서비스만으로 파이프라인을 구축할 수 있습니다.
[방법 A: MediaLive HLS Output을 S3에 직접 저장]
MediaLive의 Output Group 설정에서 HLS를 S3에 직접 저장하는 가장 단순한 방식입니다.
[상세 흐름]
입력 소스 인제스트: 입력 소스(RTMP, RTP, HLS, MP4 등)가 AWS Elemental MediaLive로 인제스트됩니다.
HLS Output Group 설정: MediaLive에서 Output Group을 HLS로 설정하고, Destination을 S3 버킷으로 지정합니다.
Segment Length: 10초
Destination: s3://bucket-name/live-stream/
세그먼트 자동 저장: MediaLive가 10초 단위로 .ts 세그먼트와 .m3u8 manifest를 S3에 저장합니다.
S3 Event 트리거: S3에 .ts 파일이 생성될 때마다 EventBridge를 통해 Lambda 함수를 트리거합니다.
Lambda 함수의 변환 및 분석: Lambda 함수는 다음 과정을 수행합니다:
FFmpeg으로 .ts를 MP4로 변환: ffmpeg -i input.ts -c copy -movflags +faststart output.mp4
생성된 MP4를 분석용 S3