모든 AWS 컴퓨팅 리소스를 Amazon Simple Storage Service(Amazon S3)와 원활하게 연결하는 새로운 파일 시스템인 Amazon S3 Files를 발표합니다! 10여 년 전, AWS 트레이너로 일하면서 객체 스토리지와 파일 시스템의 근본적인 차이를 설명하는 데 긴 시간을 할애했습니다. 제가 가장 좋아하는 비유는 S3 객체를 도서관의 책(페이지를 편집할 수 없고 책 전체를 바꿔야 함)과 비교하는 것이었습니다. 반면, 컴퓨터의 파일은 […] ||
모든 AWS 컴퓨팅 리소스를 Amazon Simple Storage Service(Amazon S3)와 원활하게 연결하는 새로운 파일 시스템인 Amazon S3 Files를 발표합니다!
10여 년 전, AWS 트레이너로 일하면서 객체 스토리지와 파일 시스템의 근본적인 차이를 설명하는 데 긴 시간을 할애했습니다. 제가 가장 좋아하는 비유는 S3 객체를 도서관의 책(페이지를 편집할 수 없고 책 전체를 바꿔야 함)과 비교하는 것이었습니다. 반면, 컴퓨터의 파일은 페이지별로 수정할 수 있습니다. 도표와 비유를 통해 고객들이 다양한 워크로드에 따라 서로 다른 스토리지 유형이 필요한 이유를 이해하도록 도왔습니다. 자, 오늘은 그 차이에 융통성이 조금 더해졌습니다.
S3 Files 덕분에 Amazon S3는 데이터에 대한 모든 기능과 고성능 파일 시스템 액세스를 제공하는 최초이자 유일한 클라우드 객체 스토어가 되었습니다. 버킷에 파일 시스템처럼 액세스할 수 있습니다. 파일 시스템의 데이터 변경 사항이 S3 버킷에 자동으로 반영되며 동기화에 대한 미세 제어가 가능하기 때문입니다. S3 Files는 여러 컴퓨팅 리소스에 연결이 가능하기 때문에 데이터 중복 없이 클러스터 간에 데이터를 공유할 수 있습니다.
지금까지는 Amazon S3 비용, 내구성, 포함된 데이터를 기본적으로 사용할 수 있는 서비스 또는 파일 시스템의 대화형 기능 중에서 하나를 선택해야 했습니다. S3 Files에서는 이러한 절충이 사라집니다. S3는 모든 조직 데이터의 중앙 허브가 됩니다. 프로덕션 애플리케이션을 실행하든, 기계 학습 모델을 훈련하든, 에이전틱 AI 시스템을 구축하든, 모든 AWS 컴퓨팅 인스턴스, 컨테이너 또는 함수에서 바로 액세스할 수 있습니다.
Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스, Amazon Elastic Container Service(Amazon ECS) 또는 Amazon Elastic Kubernetes Service(Amazon EKS)에서 실행되는 컨테이너, 또는 AWS Lambda 함수에서 기본 파일 시스템과 같은 범용 버킷에 액세스할 수 있습니다. 이 파일 시스템은 S3 객체를 파일과 디렉터리로 표시하며, 파일 생성, 읽기, 업데이트, 삭제 등 모든 네트워크 파일 시스템(NFS) v4.1 이상의 작업을 지원합니다.
파일 시스템을 통해 특정 파일과 디렉터리 작업을 할 때 관련 파일 메타데이터와 콘텐츠가 파일 시스템의 고성능 스토리지에 저장됩니다. 기본적으로 액세스 지연 시간이 짧으면 좋은 파일은 고성능 스토리지에 저장되고 제공됩니다. 대용량 순차 읽기가 필요한 파일처럼 고성능 스토리지에 저장되지 않은 파일의 경우, S3 Files는 처리량을 극대화하기 위해 Amazon S3에서 바로 파일을 제공합니다. 바이트 범위 읽기의 경우 요청된 바이트만 전송되므로 데이터 이동과 비용이 최소화됩니다.
또한 이 시스템은 사용자의 데이터 액세스 필요성을 예측하는 지능적인 사전 가져오기를 지원합니다. 또한 파일 시스템의 고성능 스토리지에 무엇을 저장할지 미세하게 제어할 수 있습니다. 파일 전체 데이터를 로드할지, 메타데이터만 로드할지 정할 수 있기 때문에 특정 액세스 패턴에 맞게 최적화할 수 있습니다.
내부적으로 S3 Files는 Amazon Elastic File System(Amazon EFS)을 사용하며 활성 데이터에 대해 1ms 이하의 지연 시간을 제공합니다. 이 파일 시스템에서는 NFS close-to-open 일