AWS Core Services - AWS Storage

2023. 12. 14. 16:07ㆍ클라우드/AWS

12월 AWS Enablement (12/14)

 

  1. AWS Cloud Introduction
  2. AWS Computing
  3. AWS Networking & Security
  4. AWS Database
  5. AWS Storage

 

 

 

AWS Storage

Storage 관련 서비스 소개 및 S3, EFS 구성 실습

 

스토리지의 다양한 용도

Backup &
Retore		 Archive &
Compliance		 Home
Directories		 Data
Lakes		 Modern
Apps		 Business-
Critical Apps
데이터 백업
즉시 복구
호환성		 장기 보관
테이프 대체
금융/헬스/공공		 공유 파일
비용 절감		 다양한 분석 도구
AI/ML 기반
데이터 가시성		 컨테이너
서버리스		 완전 관리형 서비스
핵심 업무
쉬운 마이그레이션

 

 

스토리지 타입

블록 스토리지

  • 데이터를 일정 크기의 블록으로 나누어 저장
  • 호스트에서 파일 시스템을 생성
  • Storage Area Network (SAN)

 

파일 스토리지

  • 디렉토리 구조로 파일을 저장
  • 스토리지단에서 파일 시스템을 양성
  • Network Attached Storage (NAS)

 

오브젝트 스토리지

  • REST 기반의 API 호출을 통해 데이터에 접근
  • HTTP 프로토콜

 

 

AWS 스토리지 서비스 포트폴리오

오브젝트 Amazon S3, Amazon S3 Glacier
블록 Amazon EBS, EC2 instance Storage
파일 Amazon EFS,
Amazon FSx for NetApp ONTAP,
Amazon FSx for Windows File Server,
Amazon FSx For Lustre,
Amazon FSx for Open ZFS,
Amazon File Cache
데이터 전송 및 마이그레이션 AWS Storage Gateway, AWS DataSync,
AWS Transfer Family,
AWS Snowball, AWS Snowcone
백업 AWS Backup

 

 

AWS 블록 스토리지 포트폴리오

인스턴스 스토리지
  • 호스트 하드웨어에 연결된 임시 블록 수준 스토리지
  • 자주 변경되거나 여러 인스턴스에 복제되는 정보를 저장하는데 적합
Amazon EBS
  • 처리량 및 트랜잭션 집약적 워크로드
  • EC2와 함께 사용하도록 설계된 간편한 고성능 블록 스토리지 서비스
스냅샷
  • 증분, 포인트 인 타임 복제본
  • 사용할 수 있는 EBS 데이터 새 볼륨 복원, 볼륨 크기 확장 또는 가용 영역 간 볼륨 이동

 

 

Amazon Elastic Block Storage (EBS)

  • EBS는 EC2에서 사용하도록 설계된 영구 지속 블록 스토리지 서비스
  • EBS 볼륨을 활용하여 파일 시스템을 생성하거나 블록 디바이스 자체로 활용
  • 고성능 대규모 데이터 처리와 트랜잭션 집약적인 워크로드에 사용
  • 데이터베이스, 빅데이터 분석, 엔터프라이즈 애플리케이션과 같은 중요한 업무에 활용

 

 

Amazon EBS 볼륨 유형

General-purpose
SSD
(gp2/gp3)		 Provisioned IOPS
SSD
(io1/io2)		 Throughput-Optimized
HHD
(st1)		 Cold
HDD
(sc1)
NoSQL 데이터베이스 관계형 데이터베이스 빅데이터, 분석 파일, 미디어
트랜잭션 워크로드, 낮은 지연시간이 필요한 애플리케이션 I/O가 많은 데이터베이스 애플리케이션 대량의 데이터셋 자주 액세스 하지 않는 큰 사이즈의 데이터셋
Cassandra,
MongoDB, CouchDB		 MySQL, SQL Server,
PostgreSQL, SAP, Oracle		 Kafka, SSplunk, Hadoop,
Data warehousing		 Transcoding,
Encoding, Rendering

 

 

Amazon EBS 볼륨 - gp3

  • gp3는 General Perpose SSD 볼륨으로 기존 gp2에 비해 GB당 비용 20% 절감
  • EBS 용량에 관계없이 3,000 IOPS, 125MB/s의 성능을 제공
  • 볼륨  크기 : 1GB ~ 16TB
General Purpose SSD gp2 gp3
볼륨당 최대 250 MB/s
처리량		 볼륨당 최대 1,000 MB/s
처리량
3 IOPS/GB
용량에 따른 성능 증가		 3,000 IOPS (baseline)
기본 성능
$0.10/GB
스토리지 비용		 $0.08/GB
스토리지 비용

 

 

Amazon EBS 볼륨 - io2

  • io2는 Provisioned IOPS SSD 볼륨으로 io1 대비 내구성 100배, 성능 10배 향상
  • 성능 집약적인 미션 크리티컬 애플리케이션 및 대규모 데이터베이스 업무에 적합
  • 볼륨 크기 : 4GB ~ 64TB
Provisioned IOPS SSD io2 io2 Block Express
볼륨당 최대 1,000 MB/s
처리량		 볼륨당 최대 4,000 MB/s
처리량
볼륨당 최대 64,000
IOPS		 볼륨당 최대 256,000
IOPS
$0.125/GB
스토리지 비용		 $0.125/GB
스토리지 비용

 

 

Amazon EBS 기능

다중 연결 (Multi Attach)

  • 애플리케이션의 높은 고가용성을 위해 사용
  • io1/io2 볼륨을 동일 AZ의 여러 EC2 인스턴스에 연결 (볼륨 당 최대 16개)

 

탄력적 볼륨 (Elastic Volume)

  • EBS 볼륨 크기 증감 혹은 유형 변경으로 성능 조정
  • 운영 중단 없이 데이터 마이그레이션, 다운타임 없이 필요한 크기로 확장 (6세대 이상 및 일부 이전 인스턴스)

 

 

Amazon EBS 스냅샷

  • EBS 볼륨의 특정 시점 복제본 (Point-in-time copy)
  • 증분 복제 (incremental copy)로 스토리지 비용 절감
  • Amazon S3에 저장
  • Fast Snapshot Restore (FSR)
  • Snapshot Archive Tier
  • 삭제 복원을 위한 Recycle Bin
  • EBS 볼륨 백업
  • 재해 복구용 다른 리전 백업
  • RPO 및 RTO SLA 목표 충족
  • 테스트/개발을 위한 프로덕션 데이터 재배치

 

 

AWS 관리형 클라우드 파일 시스템

파일 기반 애플리케이션의 다양한 요구사항을 만족하는 AWS의 파일 스토리지

비즈니스 워크로드를 위한 파일 시스템 컴퓨팅 능력이 필요한
워크로드를 위한 파일 시스템
Amazon EFS Amazon FSx for
Windows		 Amazon FSx
for Lustre
리눅스 기반 어플리케이션을 위한
클라우드 최적화 관리형 파일 시스템		 윈도우 기반 어플리케이션을 위한
관리형 클라우드 파일 시스템		 고성능 요구사항을 만족하는
관리형 Lustre 파일 시스템
Linux-based Workloads Windows-based Workloads Compute-intensive Workloads

 

 

 

Amazon EFS - 서버리스, 공유 파일 스토리지

  • 고 내구성 [11 9s]
  • 고 가용성 [4 9s]
  • 최저 250μsec 지연 시간
  • 최대 10GB/s 처리량
  • 최대 250,000 IOPS (cached)
  • 55,000 IOPS (uncached)

 

 

Amazon EFS 활용

홈 디렉토리
DevOps
애플리케이션 개발 및 테스트		 엔터프라이즈 앱
데이터베이스 백업
웹 서비스 및 콘텐츠 관리		 데이터 분석
기계 학습
미디어 워크플로우
메타 데이터 집약적 작업
짧은 대기 시간 및 직렬 I/O		   확장 작업
높은 처리량 및 병렬 I/O

 

 

Amazon EFS - 성능 확장

성능 (Performance Modes) 처리량 (Throughput Modes)
General Purpose
최대 35,000 읽기 및 7,000 쓰기 IOPS

Max I/O
제한 없는 IOPS (at the file system)		 Bustring Throughput
스토리지 용량에 따라 자동 처리량 확장

Provisioned Throughput
파일 시스템 크기와 관계없이 구동 처리량
지정하며 추가 비용 발생

 

 

Amazon EFS - 성능 확장

Elastic Throughput

스파이크성의 예측하기 어려운 워크로드에 맞게 성능을 자동으로 확장하는 종량 과금제 처리량 옵션

Latency Throughput IOPS
2x
lower latencies

0.25ms reds
1.6ms writes

 3x
higher throughput

10GB/s reads
3GB/s writes

 3.6x
higher IOPS

250K read IOPS
50k write IOPS
(new)

 

 

Amazon EFS - 고가용성 아키텍처

EFS는 동일 리전의 여러 AZ에 걸쳐 데이터를 저장하여 높은 수준의 가용성과 내구성을 제공

 

 

Amazon EFS  - 스토리지 클래스

수명 주기 관리를 활성화하여 정책에 따라 파일을 IA 클래스로 자동 이동

$0.047/GB-Month*
스토리지 비용		 $0.088/GB-Month*
스토리지 비용
EFS One Zone
스토리지 : $0.176/GB-month*

EFS One Zone-IA
자주 사용되지 않는 파일에 대한 비용 절감
스토리지 : $0.0145/GB-month*
액세스 요청 : $0.011/GB*		 EFS Standard
스토리지 : $0.33/GB-month*

EFS Standard-IA
자주 사용되지 않는 파일에 대한 비용 절감
스토리지 : $0.0272/GB-month*
액세스 요청 : $0.011/GB*

EFS Archive (new)
1년에 몇 번 정도만 액세스하는 장기 보관 파일
스ㅗ리지 : $0.01/GB-month

* 데이터의 80%가 자주 액세스되지 않고 EFS ONE Zone-IA에 저장된다고 가정 (Seoul Region - 2023년 12월)

 

 

Amazon Simple Storage Service (S3)

 

  • 데이터 분석과 머신 러닝
  • 다양한 비용 절감 기능 및 정책
  • 손쉬운 데이터 접근과 관리
  • 강력한 보안, 규정 준수, 감사 기능
  • 업계 최고의 확장성과 데이터 가용성
  • 분석을 위한 쿼리 인 플레이스 서비스
  • 무제한에 가까운 스토리지 용량과 오브젝트
  • Amazon S3 기반의 데이터 레이크 구축
  • S3 Intelligent-Tiering를 통한 자동화된 비용 절감
  • S3 Glacier Deep Archive

 

 

Amazon S3 고가용성 및 내구성

데이터는 3곳 이상의 물리적으로 분리된 가용 영역에 저장

한 곳에 2 copy 저장 두 곳에 1 copy씩 저장 AWS Region
99.99%
durability		 99.999%
durability		 Designed for
99.999999999%
durability

 

 

Amazon S3 - 스토리지 클래스

 

 

Amazon S3 - 비용 효율화

액세스 패턴/빈도

저장 기간		 → S3 수명 주기 구성
  • 액세스 패턴을 알고 있는 경우
  • S3 클래스 전환 및 만료 작업 정의
S3 Intelligent-Tiering
  • 액세스 패턴을 모르는 경우
  • 3가지 계층에서 자동으로 비용 효율화
  • Frequent / Infrequent / Archive / Instant Access Tier (자동)
  • Archive / Depp Archive Tier (선택)

 

 

Amazon S3 - 대규모 수평 확장

초당 수조 개의 오브젝트 및
수백만 개의 요청		 오브젝트에 대한 간단한
GET/PUT 인터페이스		 여러 개의 엔드포인트로
구성되는 분산 서비스

 

 

Amazon S3 - 병렬화 접근

Multi-part Upload, Byte-range GET

 

 

Amazon S3 - Prefix간 병렬화

3,500
PUT/COPY/POST/DELETE

5,500
GET/HEAD
 /daily-uploads/20211006/CAR01/drive-data
/daily-uploads/20211006/CAR02/drive-data
/daily-uploads/20211006/CAR07/drive-data
/daily-uploads/20211006/CAR05/drive-data
/daily-uploads/20211006/CAR01/drive-data
/daily-uploads/20211006/CAR02/drive-data
/daily-uploads/20211006/CAR07/drive-data
/daily-uploads/20211006/CAR05/drive-data
/daily-uploads/20211006/CAR01/drive-data
daily-uploads/20211006/CAR02/drive-data
/daily-uploads/20211006/CAR07/drive-data
/daily-uploads/ac/20211006/CAR01/drive-data
/daily-uploads/1f/20211006/CAR02/drive-data
/daily-uploads/dd/20211006/CAR07/drive-data
/daily-uploads/ca/20211006/CAR05/drive-data
/daily-uploads/25/20211006/CAR01/drive-data
/daily-uploads/11/20211006/CAR02/drive-data
/daily-uploads/27/20211006/CAR07/drive-data
/daily-uploads/ef/20211006/CAR05/drive-data
/daily-uploads/fd/20211006/CAR01/drive-data
/daily-uploads/10/20211006/CAR02/drive-data
/daily-uploads/01/20211006/CAR07/drive-data
prefix당 제한 prefix 시작 지점에 Entropy 추가

 

 

Amazon S3 - Access Control

AWS Identity and Access Management (IAM) Amazon S3
Identity Bucket
IAM policy Bucket Policy

 

 

 

'클라우드 > AWS' 카테고리의 다른 글

Web Application - High Availability of Web Application  (0) 2023.12.22
Web Application - Build Web Application Hands-On  (0) 2023.12.22
AWS Core Services - AWS Database  (0) 2023.12.14
AWS Core Services - AWS Networking & Security  (0) 2023.12.14
AWS Core Services - AWS Computing  (0) 2023.12.14

관련글

댓글 0

티스토리툴바