AWS 스토리지: S3, EBS, EFS, FSx, Storage Gateway, Outposts
스토리지(Storage)란?
스토리지는 데이터를 저장하기 위한 공간이다.
파일, 객체, 블록 등 다양한 형태의 데이터를 보관할 수 있으며, 단순 저장에 집중한다.
주요 특징:
- 단순한 저장 공간: 데이터를 저장하고 필요할 때 읽거나 쓰는 용도로 사용된다.
- 데이터 구조화가 필요 없음: 파일, 블록, 객체 등의 형태로 저장되며, 구조화된 데이터 관리 기능이 없다.
- 다양한 형태 지원: 문서, 이미지, 비디오, 로그 파일, 백업 데이터 등 다양한 데이터 유형을 저장할 수 있다.
- 대규모 데이터: 저렴한 비용으로 수십 TB에서 PB(페타바이트)까지 대량의 데이터를 저장할 수 있다.
데이터베이스와 뭐가 다른가?
데이터베이스는 데이터를 구조화된 형태로 저장하고 관리하는 시스템으로,
SQL 쿼리나 API를 사용해 데이터를 빠르게 검색, 삽입, 수정, 삭제할 수 있다.
AWS의 데이터베이스 서비스
- Amazon RDS: 관계형 데이터베이스 서비스 (MySQL, PostgreSQL, Oracle 등)
- Amazon Aurora: 고성능 관계형 데이터베이스
- Amazon DynamoDB: NoSQL 키-값 데이터베이스
- Amazon Redshift: 데이터웨어하우스 (대규모 분석용)
- Amazon ElastiCache: 인메모리 캐시 데이터베이스
스토리지 vs 데이터베이스
| 스토리지(Storage) | 데이터베이스(Database) | |
|---|---|---|
| 주요 목적 | 데이터의 단순 저장 | 데이터를 구조화하고 효율적으로 관리 |
| 데이터 형식 | 파일, 블록, 객체 등의 비구조화 데이터 | 구조화된 데이터 (행, 열) 및 비구조화 데이터 (JSON 등) |
| 접근 방식 | 파일 시스템, API, 간단한 읽기/쓰기 | SQL 쿼리, API를 통해 검색, 수정, 삭제 가능 |
| 복잡도 | 낮음 | 상대적으로 높음 |
| 용도 | 백업, 로그 저장, 이미지/비디오 파일, 데이터 아카이빙 등 | 트랜잭션 처리, 실시간 분석, 관계형 데이터 관리 |
| 속도 | 파일 전송 속도에 의존 | 빠른 검색, 조회, 쿼리를 지원 |
| 트랜잭션 지원 | 불가 | 가능 (ACID 속성 제공) |
| 대표 AWS 서비스 | Amazon S3, Amazon EBS, Amazon Glacier 등 | Amazon RDS, DynamoDB, Redshift, ElastiCache 등 |
스토리지: "Amazon S3에 이미지와 영상을 저장한다. 파일을 가져와 웹사이트에 보여준다."
데이터베이스: "Amazon RDS에 고객 정보와 주문 데이터를 저장한다. SQL 쿼리를 통해 특정 고객의 주문 내역을 조회한다."
- 스토리지는 데이터를 단순하게 저장하고 필요할 때 불러오는 용도이다. 대량의 데이터를 저비용으로 저장할 수 있다.
- 데이터베이스는 데이터를 구조화하고 검색, 쿼리, 트랜잭션을 통해 복잡한 데이터 관리가 필요한 경우 사용된다.
AWS의 스토리지 서비스
AWS 스토리지 서비스는 파일 스토리지, 블록 스토리지, 오브젝트 스토리지, 백업 및 재해 복구, 데이터 전송 등 다양한 목적으로 분류된다.
| 목적 | 서비스 |
|---|---|
| 오브젝트 스토리지 | S3, Glacier, Glacier Deep Archive |
| 블록 스토리지 | EBS, Instance Store |
| 파일 스토리지 | EFS, FSx |
| 하이브리드 스토리지 | Storage Gateway, Snow Family, Outposts |
| 데이터 전송 | DataSync, Transfer Family, Snow Family |
| 백업 및 재해 복구 | AWS Backup, Elastic Disaster Recovery (AWS DRS) |
오브젝트 스토리지
S3
Amazon Simple Storage Service (S3)는 AWS에서 제공하는 확장 가능하고 고가용성을 갖춘 객체 스토리지 서비스이다.
S3는 데이터를 안전하고 비용 효율적으로 저장하며, 다양한 애플리케이션과 통합할 수 있다.
S3의 주요 개념
- 객체(Object)
S3에 저장되는 데이터의 기본 단위. 객체는 데이터, 메타데이터, 키(key)로 구성된다. - 버킷(Bucket)
데이터를 저장하는 컨테이너 역할 . 하나의 버킷 안에는 여러 객체를 저장할 수 있다. - 키(Key)
객체의 고유 식별자로, S3 버킷 내에서 객체를 구별하는 이름. - 스토리지 클래스
데이터의 접근 빈도와 보관 기간에 따라 최적화된 스토리지 클래스를 제공한다.- Standard: 자주 접근하는 데이터용.
- Standard-IA: 드물게 접근하지만 즉시 접근이 필요한 데이터용.
- Intelligent Tiering: 액세스 빈도에 따라 자동 최적화.
- One Zone-IA: 한 가용 영역에 저장, 비용 절감 가능.
- Glacier Instant Retrieval: 거의 액세스하지 않는 데이터에 대해 즉시 접근 가능. (몇 밀리초 접근)
- Glacier Flexible: 장기 데이터 보관을 위한 아카이브 스토리지 (수분 ~ 수 시간 접근)
- Glacier Deep Archive: 장기 데이터 보관용, 저렴하지만 복구 시간이 느림. (12~48시간 소요)
S3의 접근 제어
S3 리소스에 대한 접근 제어는 다음과 같은 방법으로 수행된다.
- IAM 정책 (Identity-Based Policies)
- ID 기반 정책으로 사용자, 그룹, 역할에 부착해 접근 권한을 제어한다.
- 사용 사례: S3 외 AWS 서비스에도 접근 권한을 설정해야 할 때.
- 버킷 정책 (Bucket Policies)
- 리소스 기반 정책으로 특정 S3 버킷에 부착된다.
- 사용 사례: 계정 간 접근 권한 설정을 단순화할 때.
- 액세스 제어 목록 (ACL)
- 버킷 또는 객체 수준에서 권한을 제어하는 레거시 메커니즘.
- 가능하면 IAM 정책이나 버킷 정책을 사용하는 것이 권장된다.
인증 및 권한 부여
인증 및 권한 부여 프로세스는 IAM 정책, 버킷 정책, ACL 세 가지를 모두 고려해서 최종적으로 적용되며, 평가 순서에 따라 허용 또는 거부 여부를 결정한다.
S3의 접근 제어에서 정책 및 ACL을 평가할 때의 흐름은 다음과 같다:
- 기본 거부:
- 모든 요청은 기본적으로 거부로 시작한다.
- 명시적 거부 (Explicit Deny):
- IAM 정책, 버킷 정책, ACL 중 하나라도 명시적으로 Deny를 설정하면 즉시 거부된다.
명시적 거부는 어떤 허용보다 우선한다. - 명시적 허용이 있어도 명시적 거부가 있으면 -> 거부
- IAM 정책, 버킷 정책, ACL 중 하나라도 명시적으로 Deny를 설정하면 즉시 거부된다.
- 명시적 허용 (Explicit Allow):
- 명시적으로 Allow가 설정되어 있는 경우 접근이 허용된다.
- IAM 정책, 버킷 정책, ACL에서 명시적으로 허용이 있어야 접근 가능하다.
- 최종 결정:
- 명시적 허용이 없으면 기본적으로 거부된다.
예시
EC2 인스턴스에 S3 버킷로의 접근을 허용하는 IAM 정책
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::example-bucket/*"
}
]
}
모든 대상(principal)으로부터 접근을 거부하는 S3의 버킷 정책
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Deny",
"Principal": "*",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::example-bucket/*"
}
]
}
결과 : 버킷 정책에서 Deny가 명시되어 있으므로, IAM 정책의 Allow가 있어도 최종적으로 EC2 -> S3로의 접근은 거부된다.
버전 관리 (Versioning)
버전 관리를 활성화하면 객체의 모든 버전을 저장하여 우발적 삭제나 변경으로부터 데이터를 보호할 수 있다.
- 사용 사례: 데이터 복구 및 변경 이력 관리.
복제 (Replication)
S3 버킷 간 데이터를 복제하여 데이터 중복성과 고가용성을 제공한다.
- 복제 유형
- 지역 간 복제 (Cross-Region Replication, CRR): 서로 다른 리전에 데이터를 복제한다.
- 동일 지역 복제 (Same-Region Replication, SRR): 같은 리전 내에서 데이터를 복제한다.
- 소스 버킷과 대상 버킷 모두 버전 관리 활성화 필수
- 계정 간 버킷 복제 가능 (소스 버킷과 대상 버킷이 다른 AWS 계정에 있을 수 있음)
수명 주기 규칙 (Lifecycle Rules)
수명 주기 규칙을 통해 데이터를 자동으로 다른 스토리지 클래스로 전환하거나 만료(삭제)시킬 수 있다.
- 사용 사례:
- Standard에서 Glacier로 데이터 전환. (비용 최적화)
- 일정 기간 후 불필요한 객체 삭제.
S3 Object Lock
데이터를 WORM(Write Once Read Many) 방식으로 저장하여 객체의 변경 및 삭제를 방지하는 기능
- Object Lock 모드
- 거버넌스 모드(Governance Mode): 관리자/특별 권한을 가진 사용자만이 객체를 삭제하거나 변경 가능
- 규칙 준수 모드(Compliance Mode): 관리자를 포함한 모든 사용자가 객체를 삭제하거나 수정할 수 없도록 완전히 보호
- 보존 기간(Retention Period)와 법적 보존(Legal Hold)
- 보존 기간(Retention Period): 객체에 설정된 특정 기간 동안 삭제 및 변경이 금지된다. 보존 기간은 객체를 업로드할 때 설정되며, 이후에는 변경할 수 없다.
- 법적 보존(Legal Hold): 법적 요구사항에 따라 데이터를 보호해야 할 때 사용된다. 보존 기간과 달리 종료 날짜가 없으며, 해제될 때까지 객체를 보호한다.
S3 암호화 옵션: 저장 중 데이터 암호화(Encryption at Rest)
S3는 저장된 데이터를 보호하기 위해 다양한 암호화 방법을 제공한다.
- SSE-S3: AWS에서 암호화 키를 관리하며 간단하게 사용할 수 있음.
- SSE-KMS: KMS와 통합되어 세분화된 키 접근 제어와 감사 기능 제공.
- SSE-C: 고객이 직접 키를 제공하며 AWS는 키를 저장하지 않음.
- 클라이언트 측 암호화: 암호화 및 키 관리를 완전히 고객이 제어하며 AWS에는 암호화된 데이터만 저장됨.
암호화 옵션 비교
| SSE-S3 | SSE-KMS | SSE-C | 클라이언트 측 암호화 | |
|---|---|---|---|---|
| 키 관리 주체 | AWS S3 | AWS KMS | 고객 | 고객 |
| 암호화 위치 | S3 서버 측 | S3 서버 측 | S3 서버 측 | 클라이언트 |
| 키 저장 | S3가 자동 관리 | KMS에서 관리 | 키는 제공 시점에만 사용 | 클라이언트가 직접 관리 |
| 세분화된 접근 제어 | 불가능 | 가능 (IAM + KMS 권한) | 불가능 | 가능 (고객이 제어) |
| 감사 로그 | 불가능 | 가능 (CloudTrail에서 기록) | 불가능 | 불가능 |
| 키 로테이션 | 불가능 | 가능 (자동 키 로테이션 지원) | 불가능 (수동 갱신 필요) | 불가능 (고객이 수동으로 관리) |
| 운영 오버헤드 | 매우 낮음 | 중간 | 높음 (키 관리 필요) | 매우 높음 (암호화 및 키 관리 필요) |
| 사용 사례 | 기본 암호화가 필요한 경우 | 규제 준수 및 세분화된 접근 제어 | 고객이 키를 직접 관리해야 하는 경우 | AWS 외부에서 키를 관리해야 할 경우 |
실제 비즈니스 시나리오
요구사항:
- 회사는 계약 문서를 5년 동안 보관해야 하며, 문서가 덮어쓰이거나 삭제되지 않아야 함.
- 문서는 저장 중에 암호화되어야 하며, 매년 암호화 키를 자동으로 순환해야 함.
- 문서 관리 및 보안을 설정할 때 최소한의 운영 부담이 요구됨.
솔루션:
- S3 객체 잠금을 거버넌스 모드로 설정:
- Amazon S3에 문서를 저장하고 거버넌스 모드에서 S3 객체 잠금을 활성화하면 문서가 지정된 기간(5년) 동안 삭제되거나 덮어쓰이지 않도록 방지할 수 있음.
- 거버넌스 모드는 규정 준수 모드에 비해 관리자가 적절한 권한을 통해 정책을 변경할 수 있으므로 유연성(운영 오버헤드 ↓)과 보안 요구 사항을 모두 충족.
- AWS KMS 키로 암호화 및 키 로테이션 구성:
- AWS Key Management Service(AWS KMS)를 사용해 AWS 관리형 키(AMK) 또는 고객 관리 키(CMK)를 생성하여 문서를 암호화한다.
- KMS를 사용하면 키 로테이션을 자동으로 설정할 수 있어 매년 암호화 키를 갱신하고 보안 요구 사항을 충족.
- S3와 KMS 통합을 통해 문서 암호화를 간단히 구현하며 운영 오버헤드를 줄일 수 있음.
기존 객체를 암호화하는 방법
S3 기본 암호화를 활성화하면 기존에 버킷에 저장된 객체는 영향을 받지 않고, 새로 업로드된 객체부터 암호화가 적용된다.
기존에 암호화되지 않은 객체를 암호화하려면 아래 방법을 사용해야 한다:
- S3 Batch Operations:
- 여러 객체를 한 번에 암호화하는 데 유용하다.
- 작업 정의에서 Copy Object 작업을 설정하고, 대상 객체를 동일한 버킷에 복사하면서 암호화를 활성화한다.
- Copy Object API:
- 특정 객체를 복사하면서 암호화를 적용한다.
- 새로 업로드하는 객체에 암호화 헤더를 설정하여 암호화된 상태로 다시 저장한다.
- CLI 명령어:
aws s3 cp명령어를 사용하여 암호화를 적용하면서 객체를 복사한다.aws s3 cp s3://source-bucket/object-key s3://source-bucket/object-key --sse AES256
실제 비즈니스 시나리오
요구사항:
- 기존 S3 객체와 새로 업로드되는 객체 모두 암호화가 적용되도록 설정.
- Amazon CloudFront 배포의 원점으로 사용되는 데이터를 보호하기 위한 암호화 구현.
솔루션:
- S3 버킷에 기본 암호화를 활성화하여 새로운 객체 자동 암호화.
- S3 인벤토리와 S3 Batch Operations를 사용해 기존 객체를 암호화.
S3 암호화 옵션: 전송 중 데이터 암호화(Encryption at Transit)
S3에서 전송 중 데이터를 암호화하려면 모든 요청에서 HTTPS를 사용해야 하는데,
S3 버킷 정책에서 aws:SecureTransport 조건을 사용하여 HTTPS 요청을 강제할 수 있다.
HTTPS 요청만 허용하는 S3 정책 예시
{
"Version": "2012-10-17",
"Id": "ForceSSLOnly",
"Statement": [
{
"Sid": "AllowSSLRequestsOnly",
"Effect": "Deny",
"Principal": "*",
"Action": "s3:*",
"Resource": [
"arn:aws:s3:::bucket-name",
"arn:aws:s3:::bucket-name/*"
],
"Condition": {
"Bool": {
"aws:SecureTransport": "false"
# aws:SecureTransport 조건을 사용하여 HTTPS(TLS)를 통한 암호화된 연결만 허용할 수 있다.
}
}
}
]
}
Multi-Factor Authentication (MFA)
: S3 버킷의 중요한 작업에 대한 보안을 강화하기 위해 추가 인증 수단을 요구하는 기능
S3에서 MFA를 적용할 수 있는 작업
- MFA Delete
- 버전 관리가 활성화된 버킷에서 개체 삭제 또는 버전 관리 상태 변경 시 추가 보안 요소를 요구할 수 있다.
- MFA-Protected API Access
- 버킷 정책에 MFA 조건을 설정해 특정 S3 작업(API 호출) 시, MFA를 요구할 수 있다.
MFA 인증 없이 S3 버킷의 객체를 수정하거나 삭제하는 요청을 거부하는 버킷 정책
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Deny",
"Principal": "*",
"Action": ["s3:DeleteObject", "s3:PutObject"],
"Resource": "arn:aws:s3:::example-bucket/*",
"Condition": {
"BoolIfExists": {
"aws:MultiFactorAuthPresent": "false"
}
}
}
]
}
S3 업로드 기능
멀티파트 업로드 (Multipart Upload)
- 대용량 파일을 여러 부분으로 나누어 병렬로 업로드하는 기능이다.
- 파일 크기가 100MB 이상일 때 권장되며, 5GB 이상일 경우 필수이다.
- 사용 사례: 대용량 파일 업로드
트랜스퍼 가속 (Transfer Acceleration)
- Amazon CloudFront 에지 네트워크를 통해 데이터 전송을 가속화하는 기능이다.
- 사용 사례: S3 버킷과 물리적으로 거리가 먼 위치에서 업로드 성능 개선.
S3 Object Lambda
S3 Object Lambda는 데이터를 요청할 때 람다 함수를 사용해 객체를 수정하거나 필터링한 뒤 반환하는 기능이다.
- 사용 사례: 민감 정보(PII) 필터링, 데이터 압축 해제, 사용자 맞춤 응답 제공.
블록 스토리지
블록 스토리지란?
: 데이터를 블록 단위로 나누어 저장하는 스토리지
- 각 블록은 독립적으로 주소를 가지고 있어 효율적이고 빠르게 읽고 쓸 수 있다.
- 블록 스토리지는 서버나 인스턴스에 직접 연결되어 사용되며, 파일 시스템을 구성하거나 애플리케이션의 데이터를 저장하는 데 사용된다.
AWS에서 EC2 인스턴스는 데이터를 저장하고 관리하기 위해 두 가지 주요 스토리지를 사용한다.
- EBS (Elastic Block Store): 영구적인 블록 스토리지.
- 인스턴스 스토어 (Instance Store): 비영구적이지만 고성능 로컬 스토리지.
EBS (Elastic Block Store)
EBS는 AWS에서 제공하는 블록 스토리지 서비스로, EC2 인스턴스와 네트워크를 통해 연결되어 사용된다.
EBS는 영구적인 저장소이며, 데이터를 가용성 존(AZ) 내에서 자동으로 복제하여 내구성을 보장한다.
이 덕분에 EC2 인스턴스의 생명주기와 독립적으로 데이터를 유지할 수 있다.

EBS의 주요 특징
- 가용성 존(AZ) 범위:
EBS 볼륨은 하나의 AZ 내에서만 사용할 수 있다.
다른 AZ로 이동하려면 스냅샷을 생성하고 새 AZ에서 복원해야 한다. - 독립적 유지:
EBS 볼륨은 EC2 인스턴스와 독립적으로 유지되므로 인스턴스가 종료되어도 데이터는 삭제되지 않는다(루트 볼륨은 예외). - 다중 연결 지원 (Multi-Attach):
Provisioned IOPS SSD (io1, io2) 볼륨은 Nitro 기반 EC2 인스턴스에서 최대 16개의 인스턴스에 동시에 연결할 수 있다.
다만 같은 AZ 내에서만 가능하다.
EBS 볼륨 타입
| 볼륨 타입 | 설명 | 사용 사례 |
|---|---|---|
| General Purpose SSD (gp2, gp3) | 범용 SSD 볼륨. gp3는 gp2보다 저렴하고 높은 성능 제공. | 웹 서버, 개발 환경, 일반적인 워크로드 |
| Provisioned IOPS SSD (io1, io2) | IOPS를 직접 프로비저닝 가능. 고성능 및 미션 크리티컬 워크로드에 적합. | 데이터베이스, 고성능 애플리케이션 |
| Throughput Optimized HDD (st1) | 처리량이 중요한 워크로드에 적합한 HDD 볼륨. | 로그 파일, 빅데이터 처리 |
| Cold HDD (sc1) | 비용 절감형 콜드 데이터 저장소. 낮은 IOPS와 높은 비용 효율성 제공. | 장기 보관 데이터, 아카이브 |
인스턴스 스토어 (Instance Store)
: EC2 인스턴스에 물리적으로 연결된 임시 저장소
이 스토리지는 인스턴스의 호스트 서버에 로컬로 존재하며, 네트워크를 거치지 않아 고성능을 제공하지만 데이터는 비영구적이다.
인스턴스 스토어의 주요 특징
- 비영구적 데이터
인스턴스가 종료되거나 재시작되면 인스턴스 스토어의 데이터는 모두 삭제된다.
인스턴스가 종료되거나 호스트 서버가 장애가 발생하면 데이터가 손실된다. - 고성능
로컬 스토리지이므로 네트워크 대기 시간이 없고 매우 높은 성능을 제공한다. - 루트 볼륨으로 사용 시 제한
인스턴스 스토어를 루트 볼륨으로 사용하면 인스턴스를 종료할 수 없고 재시작만 가능하다. - 이동 불가
인스턴스 스토어는 특정 EC2 인스턴스에 고정되며 다른 인스턴스로 이동하거나 연결할 수 없다.
사용 사례
- 캐시 및 버퍼: 임시 데이터 저장소로 사용.
- 일시적 데이터 처리: 빠른 처리가 필요하지만 데이터의 지속성이 필요 없는 경우.
- 데이터 복제 애플리케이션: 데이터가 여러 인스턴스에 복제되어 손실을 걱정하지 않는 워크로드.
EBS vs 인스턴스 스토어
| 특징 | EBS | 인스턴스 스토어 |
|---|---|---|
| 데이터 지속성 | 영구적 (인스턴스 종료 후에도 유지) | 비영구적 (인스턴스 종료 시 데이터 삭제) |
| 연결 방식 | 네트워크를 통해 연결 | 로컬 디스크에 물리적으로 연결 |
| 복제 및 내구성 | AZ 내에서 자동 복제하여 내구성 보장 | 복제되지 않음 |
| 성능 | 안정적이며 높은 IOPS 제공 | 매우 높은 성능 (네트워크 대기 시간 없음) |
| 이동성 | 다른 인스턴스 또는 AZ로 이동 가능 | 인스턴스에 고정, 다른 인스턴스로 이동 불가 |
| 비용 | 상대적으로 비쌈 | 저렴하지만 영구 데이터 저장 불가 |
| 사용 사례 | 데이터베이스, 웹 서버, 장기 데이터 저장소 | 캐시, 버퍼, 임시 데이터 처리 |
- EBS는 영구적 스토리지로, 데이터가 인스턴스와 독립적으로 유지되며 내구성과 이동성이 뛰어나다.
- 인스턴스 스토어는 비영구적이지만 로컬 스토리지이므로 고성능을 제공하며 비용 효율적이다.
파일 스토리지
파일 스토리지란?
: 데이터를 파일 단위로 저장하고 계층적 구조(디렉터리와 파일)를 통해 관리하는 스토리지 방식
파일 스토리지는 일반적으로 NAS(Network Attached Storage)나 NFS(Network File System)와 같은 네트워크 기반의 파일 시스템을 통해 제공된다.
EFS (Amazon Elastic File System)
: AWS에서 제공하는 완전 관리형 공유 파일 스토리지 서비스
EFS는 NFS(Network File System) 프로토콜을 기반으로 동작하며, 여러 EC2 인스턴스에서 동시에 파일 시스템에 접근할 수 있다.
EFS는 데이터를 여러 가용 영역(AZ)에 걸쳐 저장하기 때문에 높은 가용성과 내구성을 제공한다.
주요 특징
- 공유 파일 시스템: 다수의 EC2 인스턴스에서 동시에 접근 가능.
- 강력한 데이터 일관성:
- 다수의 EC2 인스턴스가 동시에 파일을 읽고 쓰더라도 최신 데이터를 즉시 확인할 수 있다.
- 파일 잠금 기능을 제공해 동시 작업 시 데이터 무결성을 유지한다.
- Linux 전용: NFS 기반으로 Linux 시스템만 지원.
- 고가용성: 데이터를 여러 AZ에 복제해 내구성을 보장.
- 확장성과 관리 용이성: 자동으로 확장되므로 파일 시스템의 용량을 수동으로 관리할 필요가 없다.
EFS의 배포 옵션
- 다중 가용 영역 배포 (Regional File System)
- 데이터를 여러 AZ에 중복 저장해 높은 내구성과 가용성을 제공한다.
- 각 가용 영역에 마운트 타겟(ENI, Elastic Network Interface)이 생성되며, 이를 통해 EC2 인스턴스와 연결된다.
- 고가용성이 중요한 워크로드에 적합하다.
- 단일 가용 영역 배포 (Single-AZ File System)
- 단일 AZ 내에서만 동작하며 비용이 더 저렴하다.
- 가용성과 내구성은 다중 AZ에 비해 낮지만, 특정 상황에서 유용하게 사용할 수 있다.
- 비용 효율이 중요한 워크로드에 적합하다.
EFS의 성능 옵션
EFS는 처리량 요구사항에 따라 두 가지 모드를 제공한다.
| 처리량 모드 | 설명 | 사용 사례 |
|---|---|---|
| 버스트 처리량 | 저장된 데이터의 양에 따라 처리량이 자동으로 조정된다. | 일시적으로 높은 처리량이 필요한 경우 |
| 프로비전 처리량 | 특정 처리량을 명시적으로 설정할 수 있다. | 일정하게 높은 처리량이 필요한 경우 |
연결 옵션
- EC2 인스턴스 연결
- EFS는 각 AZ에 생성된 마운트 타겟을 통해 EC2 인스턴스와 연결된다.
- 동일한 AZ 내의 인스턴스가 가장 낮은 대기 시간(Latency)을 제공한다.
- 온프레미스 연결
- 온프레미스 시스템에서도 VPN 또는 AWS Direct Connect를 사용해 EFS에 접근할 수 있다.
- 이를 통해 온프레미스와 클라우드 간 파일 시스템을 공유할 수 있다.
백업 및 복원
AWS Backup과 통합되어 데이터를 자동으로 백업하고 복원할 수 있다.
Amazon FSx
: AWS에서 제공하는 완전 관리형 파일 스토리지 서비스
다양한 파일 시스템을 제공하여 다양한 워크로드에 맞게 선택할 수 있다.
기존 온프레미스 파일 시스템과 호환되도록 설계되어 데이터 마이그레이션이나 확장에 유리하다.
Amazon FSx는 다음과 같은 파일 시스템을 제공한다:
- FSx for Windows File Server: Windows 기반 파일 스토리지.
- FSx for Lustre: 고성능 컴퓨팅(HPC) 및 빅데이터 워크로드용 파일 시스템.
- FSx for NetApp ONTAP: NetApp ONTAP 파일 시스템을 기반으로 한 다기능 스토리지.
1. Amazon FSx for Windows File Server
: Windows 기반 파일 시스템으로, SMB(Server Message Block) 프로토콜과 NTFS 파일 시스템을 제공한다.
Windows 워크로드와의 호환성이 뛰어나며, Active Directory(AD)와 통합되어 사용자 인증과 권한 관리를 지원한다.
주요 특징
- SMB 프로토콜 지원
- Windows 클라이언트와의 원활한 통합을 제공하며, 파일 공유에 최적화되어 있다.
- NTFS 파일 시스템
- Windows 애플리케이션이 요구하는 NTFS 기능을 제공한다.
- ACL(Access Control List), 사용자 할당량, 파일 잠금, Shadow Copy 등의 기능을 지원한다.
- Active Directory 통합
- Microsoft AD 또는 AWS Managed Microsoft AD와 통합되어 사용자를 인증하고 접근 권한을 관리한다.
- 고가용성
- 단일 AZ 또는 다중 AZ 배포 옵션을 제공한다.
- Multi-AZ 옵션은 활성 파일 시스템과 대기 파일 시스템을 통해 고가용성을 보장한다.
사용 사례
- Windows 파일 공유: 조직 내 파일 공유 및 협업을 위해 사용된다.
- Windows 애플리케이션: Windows 기반 애플리케이션에서 요구하는 NTFS 기능을 제공한다.
- 온프레미스 통합: VPN 또는 Direct Connect를 통해 온프레미스와 AWS 간 원활한 통합이 가능하다.
2. Amazon FSx for Lustre
: 고성능 파일 스토리지로, 대규모 데이터 처리와 고성능 컴퓨팅(HPC) 워크로드에 최적화되어 있다.
POSIX 호환 인터페이스를 제공하며, Amazon S3와 통합되어 S3 데이터를 파일 시스템처럼 사용할 수 있다.
주요 특징
- 고성능
- 매우 높은 처리량과 낮은 지연 시간을 제공한다.
- 데이터 집약적 워크로드에 적합하다.
- Amazon S3와 통합
- S3의 객체 데이터를 FSx for Lustre에 파일 형태로 마운트할 수 있다.
- FSx에서 처리한 결과 데이터를 다시 S3에 저장할 수 있다.
- POSIX 호환
- 표준 파일 시스템 인터페이스를 제공해 Linux 기반 워크로드에서 쉽게 사용할 수 있다.
사용 사례
- 고성능 컴퓨팅(HPC): 금융 모델링, 기후 연구, 유전체학 등 대규모 데이터 분석과 계산이 필요한 워크로드.
- 빅데이터 처리: 머신러닝(ML), 영상 처리, 로그 분석 등 데이터 집약적 작업에 적합하다.
- S3 데이터 가공: S3에 저장된 데이터를 FSx for Lustre에 마운트하여 가공한 후, 결과를 다시 S3에 저장한다.
실제 비즈니스 시나리오
한 회사가 재무 위험 모델링을 위해 AWS에서 고성능 컴퓨팅(HPC) 인프라를 활용하고 있다.
이 회사의 요구 사항은 다음과 같다:
- Linux 기반 HPC 워크로드에서 수백 개의 EC2 스팟 인스턴스를 활용중.
- 분석을 위해 수천 개의 출력 파일 생성 후 장기 보관해야 함.
- 고성능 파일 시스템과 영구 스토리지가 필요.
해결책:
- FSx for Lustre를 사용해 EC2와 통합하여 데이터 처리를 최적화한다.
- 결과 데이터를 Amazon S3에 저장해 안전하게 보관한다.
- 필요 시 S3 데이터를 Lustre로 다시 로드해 추가 작업 수행할 수 있다.
3. Amazon FSx for NetApp ONTAP
: NetApp ONTAP 파일 시스템을 AWS에서 제공하는 완전 관리형 서비스
NetApp ONTAP는 데이터 관리 기능과 하이브리드 클라우드 환경 지원이 뛰어나며, 기존 NetApp 워크로드를 AWS로 쉽게 마이그레이션할 수 있다.
주요 특징
- 다중 프로토콜 지원
- NFS, SMB, iSCSI 프로토콜을 동시에 지원한다.
- 여러 애플리케이션과 클라이언트에서 단일 파일 시스템을 공유할 수 있다.
- 스토리지 효율성
- 중복 제거, 압축, 클론 등 고급 데이터 관리 기능을 제공한다.
- 스토리지 사용량을 최적화하여 비용을 절감한다.
- 하이브리드 클라우드
- 온프레미스의 NetApp 시스템과 AWS의 FSx ONTAP를 원활하게 통합할 수 있다.
- 데이터를 온프레미스와 클라우드 간에 복제하거나 동기화할 수 있다.
- 고가용성
- Multi-AZ 배포 옵션을 통해 고가용성과 내구성을 보장한다.
사용 사례
- 하이브리드 클라우드: 온프레미스의 NetApp 스토리지와 AWS의 FSx ONTAP를 통합하여 데이터를 관리한다.
- 애플리케이션 통합: NFS, SMB, iSCSI 프로토콜을 사용해 다양한 애플리케이션에 통합된다.
- 스토리지 비용 최적화: 중복 제거와 압축 기능을 통해 데이터를 효율적으로 저장하고 비용을 절감한다.
Amazon FSx 서비스 비교
| FSx for Windows File Server | FSx for Lustre | FSx for NetApp ONTAP | |
|---|---|---|---|
| 대상 워크로드 | Windows 기반 애플리케이션 | HPC, 빅데이터, 머신러닝 | 하이브리드 클라우드, 통합 워크로드 |
| 프로토콜 | SMB | NFS | NFS, SMB, iSCSI |
| 운영체제 | Windows | Linux | 모든 운영체제 |
| 파일 시스템 | NTFS | Lustre | NetApp ONTAP |
| S3 통합 | 없음 | S3 데이터 마운트 및 저장 | 일부 데이터 관리 가능 |
| 다중 AZ 지원 | 다중 AZ 지원 | 단일 AZ | 다중 AZ 지원 |
| 고급 데이터 관리 | 없음 | 없음 | 중복 제거, 압축, 클론 기능 제공 |
| 주요 사용 사례 | Windows 파일 공유 및 애플리케이션 | 고성능 데이터 분석 및 처리 | 하이브리드 클라우드, 비용 최적화 |
- FSx for Windows File Server: Windows 환경에 최적화된 SMB 기반 파일 시스템.
- FSx for Lustre: 고성능 컴퓨팅과 빅데이터 분석에 적합한 파일 시스템.
- FSx for NetApp ONTAP: 하이브리드 클라우드와 데이터 관리가 뛰어난 다기능 스토리지.
Amazon EFS vs Amazon FSx
| Amazon EFS | Amazon FSx | |
|---|---|---|
| 설명 | Linux 기반의 공유 파일 스토리지 | 특정 파일 시스템(Windows, Lustre, NetApp 등)을 제공하는 완전 관리형 서비스 |
| 주요 사용 사례 | 다중 EC2 인스턴스 간 파일 공유, 협업 | 특정 워크로드에 최적화된 고급 파일 시스템 제공 |
하이브리드 스토리지
AWS는 온프레미스 인프라와 클라우드를 통합해 효율적으로 데이터를 저장하고 관리할 수 있는 다양한 하이브리드 스토리지 솔루션을 제공한다. 대표적인 서비스는 Storage Gateway, AWS Outposts, 그리고 Snow Family이다.
AWS Storage Gateway
: 온프레미스 스토리지와 AWS 클라우드 스토리지를 통합하는 하이브리드 스토리지 서비스
데이터를 AWS로 안전하게 전송하고 비용 효율적으로 저장하는 동시에 기존 온프레미스 애플리케이션과의 호환성을 유지한다.
스토리지 게이트웨이 유형
- 파일 게이트웨이 (File Gateway)
- 기능:
- 온프레미스 파일 기반 데이터를 Amazon S3에 객체로 저장.
- SMB와 NFS 프로토콜을 지원하여 온프레미스 데이터를 S3와 통합하는 데 사용된다.
- 데이터를 로컬에 캐싱해 저지연 액세스 제공.
- 사용 사례:
- 파일 서버 데이터를 S3에 장기 저장.
- 온프레미스 애플리케이션과 S3 통합.
- 기능:
- 볼륨 게이트웨이 (Volume Gateway)
- 기능:
- 블록 기반 스토리지로 iSCSI 프로토콜을 통해 제공된다.
- S3에 스냅샷을 저장해 데이터 보호 가능.
- 이러한 스냅샷은 EBS 볼륨으로 복원하거나 새로운 볼륨으로 생성할 수 있다.
- 캐싱된 모드와 저장된 모드를 선택해 데이터 백업과 온프레미스 저장소 확장이 가능하다.
- 캐싱된 볼륨 모드: 자주 사용하는 데이터는 온프레미스에 캐싱하고 나머지는 S3에 저장.
- 저장된 볼륨 모드: 모든 데이터를 온프레미스에 저장하며 S3로 비동기 백업.
- 사용 사례:
- 온프레미스 스토리지 백업 및 복구.
- 하이브리드 클라우드 환경에서의 데이터 동기화.
- 기능:
- 테이프 게이트웨이 (Tape Gateway)
- 기능:
- 가상 테이프 라이브러리를 사용해 데이터를 S3에 저장하고, Glacier 또는 Glacier Deep Archive로 아카이빙.
- 사용 사례:
- 기존 테이프 백업 인프라를 클라우드 기반으로 전환.
- 장기 데이터 보관 및 비용 절감.
- 기능:
실제 비즈니스 시나리오
요구사항:
- 사내 애플리케이션 서버를 AWS로 마이그레이션하고 싶음.
- 사내에서 인터넷 소형 컴퓨터 시스템 인터페이스(iSCSI) 스토리지를 확장할 필요성을 최소화하고자 함.
- 최근에 액세스한 데이터만 로컬에 저장되기를 원함.
솔루션:
- AWS Storage Gateway Volume Gateway 캐시 볼륨을 사용:
- 자주 액세스되는 데이터는 로컬에 캐시로 저장하고, 나머지는 AWS 클라우드에 저장.
- 스토리지 확장 비용을 줄이며, 효율적인 데이터 관리 제공.
스토리지 게이트웨이 유형 비교
| 파일 게이트웨이 | 볼륨 게이트웨이 | 테이프 게이트웨이 | |
|---|---|---|---|
| 주요 목적 | 파일 데이터를 S3에 객체로 저장 | 블록 스토리지 백업 및 확장 | 기존 테이프 백업 시스템을 클라우드로 전환 |
| 지원 프로토콜 | SMB, NFS | iSCSI | 가상 테이프 라이브러리 (VTL) |
| 저장소 대상 | Amazon S3 | Amazon S3, EBS | S3 (Standard) → Glacier/Glacier Deep Archive |
| 캐싱 | 로컬에 자주 사용되는 데이터를 캐싱 | 캐싱된 볼륨 모드: 로컬 캐싱 저장된 볼륨 모드: 모든 데이터 온프레미스 저장 | 없음 |
| 데이터 형식 | 파일 → 객체 | 블록 데이터 | 테이프 형식 |
| 유스 케이스 | - 파일 서버 데이터를 클라우드에 저장 - S3를 통한 장기 데이터 보관 | - 데이터 백업 및 복구 - 온프레미스 저장소 확장 | - 기존 테이프 백업 워크플로우를 클라우드로 이전 - 장기 아카이브 저장 |
| 주요 특징 | - 파일 데이터를 S3에 객체로 변환 | - iSCSI 블록 스토리지 지원 - S3에 스냅샷 저장 가능 | - 가상 테이프 라이브러리를 통해 테이프 백업 시스템과 호환 - Glacier/Deep Archive로 자동 이동 |
| 백업 및 복구 | S3와의 통합으로 파일 데이터 백업/복구 | S3 스냅샷을 통해 백업 및 복구 | 테이프 데이터를 S3 및 Glacier에서 복구 가능 |
AWS Outposts
: AWS의 클라우드 인프라를 고객의 온프레미스 데이터센터에 배포하는 서비스
이를 통해 고객은 AWS의 인프라, 서비스, API를 로컬 데이터센터에서 그대로 사용할 수 있다.
주요 특징
- 완전 관리형 서비스: AWS에서 하드웨어와 소프트웨어를 모두 제공 및 관리.
- 로컬 실행
- 온프레미스에서 EC2, EBS, RDS 등의 AWS 서비스 사용 가능.
- 데이터 처리가 로컬에서 이루어져 지연 시간이 최소화된다.
- 클라우드 네이티브 환경 유지: AWS API와 툴을 사용하여 클라우드와 동일한 환경 제공.
사용 사례
- 지연 시간 최소화가 필요한 워크로드: 제조, 금융, 의료.
- 데이터 레지던시 요구사항을 충족해야 하는 지역.
- 하이브리드 애플리케이션 실행: 온프레미스와 클라우드를 통합하는 애플리케이션.
Storage Gateway vs Outposts
| Storage Gateway | Outposts | |
|---|---|---|
| 주요 기능 | 온프레미스 데이터를 AWS로 전송 | AWS 인프라를 온프레미스에 배포 |
| 사용 환경 | 하이브리드 클라우드 스토리지 통합 | 지연 시간 최소화, 데이터 레지던시 필요 |
| 엣지 컴퓨팅 | 지원하지 않음 | 지원 |
| 데이터 용량 | 파일 및 블록 기반 데이터 | 로컬 인프라 리소스에 따라 다름 |
| 주요 사용 사례 | 데이터 백업, 복구, 장기 보관 | 로컬 데이터 처리, 지연 시간 민감 애플리케이션 |
- Storage Gateway는 파일, 블록, 테이프 데이터를 AWS 스토리지 서비스와 연결해 장기 보관 및 백업을 지원한다.
- Outposts는 AWS의 클라우드 인프라를 온프레미스에 배포해 지연 시간을 줄이고 클라우드 환경을 로컬로 제공한다.
스토리지 데이터 전송 서비스
AWS는 스토리지 데이터 전송 및 동기화를 위해 다양한 서비스와 솔루션을 제공한다.
온프레미스에서 클라우드로, 클라우드 간, 또는 엣지 컴퓨팅 환경에서 데이터를 이동하거나 처리할 때 AWS의 DataSync, Transfer Family, Snow Family를 활용하면 안전하고 효율적으로 데이터를 관리할 수 있다.
AWS DataSync
: 데이터 이동 및 동기화를 자동화하는 완전 관리형 서비스
온프레미스와 클라우드, 또는 AWS 스토리지 서비스 간 데이터를 빠르고 안전하게 전송할 수 있다.
주요 특징
- 다양한 소스 및 대상
- 소스: 온프레미스 NFS, SMB 파일 시스템, HDFS 등
- 대상: AWS 스토리지 서비스(S3, EFS, FSx 등)
- 증분 데이터 전송: 변경된 데이터만 전송해 속도 최적화와 비용 절감을 제공한다.
- 보안: 전송 중 데이터는 TLS로 암호화되며, IAM 정책을 통해 접근 제어가 가능하다.
- 자동화 및 가속화: 데이터 전송 작업을 스케줄링하고 네트워크 환경에 맞게 전송 속도를 자동으로 최적화한다.
- 스노우콘과의 통합: AWS Snowcone 장치에 DataSync 에이전트를 설치해 오프라인 데이터 전송도 지원한다.
사용 사례
- 데이터 마이그레이션: 온프레미스 데이터를 S3, EFS, FSx로 전송해 클라우드로 마이그레이션.
- 지속적 동기화: 온프레미스와 AWS 클라우드 간 데이터 지속적 동기화.
- 백업 및 재해 복구: 데이터를 AWS로 백업해 재해 복구 시나리오를 구현.
- 빅데이터 분석: 대규모 데이터를 AWS로 전송한 뒤 분석이나 머신러닝에 활용.
실제 비즈니스 시나리오
요구사항:
- 연구실에서 온프레미스 Windows 파일 서버 데이터를 Amazon FSx for Windows File Server로 마이그레이션해야 함.
- 30TB 데이터를 5일 내에 마이그레이션해야 하며, 네트워크 대역폭이 1Gbps로 제한됨.
- 마이그레이션 중 다른 부서에 미치는 영향을 최소화해야 함. (네트워크 링크는 다른 부서와 공유)
솔루션:
- AWS DataSync를 사용하여 데이터를 효율적으로 마이그레이션:
- 최적화된 네트워크 프로토콜을 사용해 전송 속도를 극대화하고, 네트워크 대역폭에 미치는 영향을 최소화.
- 대량 데이터 전송에 적합하며, FSx for Windows File Server와 통합 가능.
- 데이터 전송 중에 사용되는 대역폭 양을 제어할 수 있음.
AWS Transfer Family
: SFTP, FTPS, FTP 프로토콜을 통해 데이터를 AWS 스토리지 서비스로 전송하는 서비스
온프레미스와 AWS 간 파일 전송을 안전하고 쉽게 수행할 수 있다.
주요 특징
- 지원 프로토콜
- SFTP (Secure File Transfer Protocol)
- FTPS (File Transfer Protocol over SSL)
- FTP (File Transfer Protocol)
- 대상 스토리지: S3와 EFS
- 보안 및 통합: IAM, AWS KMS와 통합되어 사용자 인증과 데이터 암호화를 지원한다.
- 유연한 사용자 관리: 기존 Active Directory 또는 사용자 데이터베이스와 통합하여 사용자 인증을 제공한다.
사용 사례
- 온프레미스 파일 서버 대체: FTP, SFTP 기반의 기존 파일 서버를 AWS로 전환해 유지 관리 부담을 줄인다.
- 안전한 파일 전송: 파트너 또는 고객과 안전하게 파일을 교환할 수 있다.
- 애플리케이션 통합: 파일을 S3에 전송해 AWS 서비스와 쉽게 통합 (예: 데이터 레이크, 분석 서비스).
- 데이터 수집 및 처리: 여러 소스에서 수집된 데이터를 EFS나 S3에 저장한 후 처리 및 분석.
AWS Snow Family
: 물리적 디바이스를 통해 대규모 데이터를 이동하거나 엣지 컴퓨팅 환경에서 데이터를 처리하는 솔루션
네트워크 연결이 불안정하거나 대용량 데이터 이동이 필요한 경우 유용하다.
Snow Family 구성 요소
| 디바이스 | 용량 | 엣지 컴퓨팅 지원 | 로컬 컴퓨팅 리소스 | 주요 사용 사례 | 데이터 전송 방식 |
|---|---|---|---|---|---|
| Snowcone | 8TB | 지원 | 경량 컴퓨팅 리소스 | - 소규모 데이터 수집 및 처리 - 원격지 엣지 컴퓨팅 - DataSync를 통한 온라인/오프라인 데이터 전송 | 온라인 및 물리적 반환 |
| Snowball | 50–80TB | 미지원 | 없음 | - 대규모 데이터 마이그레이션 - 데이터 백업 및 복구 | 물리적 반환 |
| Snowball Edge | 최대 100TB | 지원 | 고성능 컴퓨팅 리소스 (EC2, GPU) | - 엣지 컴퓨팅 및 실시간 데이터 처리 - 머신러닝(ML) 모델 실행 - 대규모 데이터 수집 및 분석 | 물리적 반환 |
| Snowmobile | 최대 100PB | 미지원 | 없음 | - 엑사바이트(EB) 규모 데이터 마이그레이션 - 데이터 센터 전체 이전 | 물리적 반환 (트럭 컨테이너 이용) |
주요 특징
- 대규모 데이터 전송: 네트워크 대역폭에 상관없이 물리적 장치를 사용해 대량 데이터를 AWS로 전송.
- 엣지 컴퓨팅: Snowball Edge와 Snowcone은 원격지나 공장 환경에서 데이터를 처리하고 수집할 수 있다.
- 보안
- 데이터는 256비트 암호화로 보호되며, AWS KMS와 통합되어 암호화 키를 관리한다.
- 디바이스는 조작 방지 설계(Tamper-Resistant Design)를 통해 물리적 보안을 보장한다.
- 조작 방지 설계: 물리적 장치가 무단 조작이나 불법 액세스로부터 보호될 수 있도록 설계된 기능
- 오프라인 및 온라인 모드
- 오프라인: 디바이스를 AWS로 물리적으로 반환해 데이터 업로드.
- 온라인: Snowcone은 DataSync을 이용해 온라인 전송 가능.
사용 사례
- 대규모 데이터 마이그레이션: 데이터 센터 전체를 클라우드로 이전할 때 Snowmobile을 사용.
- 원격지 데이터 처리 및 수집: 인터넷 연결이 어려운 원격 환경(예: 선박, 광산)에서 Snowcone 또는 Snowball Edge를 활용.
- 재난 복구 및 백업: 데이터를 Snowball에 백업해 AWS로 전송 후 복구.
- 엣지 컴퓨팅 및 머신러닝: Snowball Edge를 사용해 엣지에서 머신러닝 모델을 실행하고 데이터를 실시간으로 처리.
실제 비즈니스 시나리오
요구사항:
- 데이터 센터의 네트워크 연결 스토리지(NAS)에 저장된 700TB의 백업 데이터를 AWS로 마이그레이션하고 싶다. 마이그레이션은 1개월 이내에 완료되어야 한다.
- 이 백업 데이터는 드물게 발생하는 규제 요청에 액세스할 수 있어야 하며, 7년간 보관해야 한다.
- 이 회사는 데이터 전송에 사용할 수 있는 공용 인터넷 연결에서 500Mbps의 전용 대역폭을 보유하고 있다.
- 가장 낮은 비용으로 데이터를 마이그레이션하고 저장하기 위해서는 어떻게 해야할까?
솔루션:
- AWS Snowball 디바이스를 주문하여 데이터를 물리적으로 AWS로 전송한다.
- 데이터를 S3로 업로드한 후 라이프사이클 정책으로 파일을 Amazon S3 Glacier Deep Archive로 전환한다.
- 장점:
- 인터넷 대역폭 제약 없이 대규모 데이터를 빠르게 전송 가능.
- 네트워크를 통해 데이터 전송 시 500Mbps 대역폭 제한으로 인해 700TB 데이터를 1개월 이내에 전송 불가능. (약 130일 이상 소요)
- 네트워크 기반 마이그레이션보다 비용 효율적 + 시간 효율적
AWS 데이터 전송 서비스 비교
| 서비스 | 주요 목적 | 대상 | 사용 사례 |
|---|---|---|---|
| AWS DataSync | 데이터 동기화 및 자동화된 전송 | 온프레미스 ↔ AWS AWS 스토리지 간 | 데이터 마이그레이션, 지속적 동기화 |
| AWS Transfer Family | 안전한 파일 전송 (FTP, SFTP, FTPS) | 온프레미스 ↔ Amazon S3, EFS | 파일 서버 대체, 파트너와의 파일 교환 |
| AWS Snow Family | 대규모 데이터 이동 및 엣지 컴퓨팅 | 온프레미스 ↔ AWS, 네트워크 제약 환경 | 데이터 센터 이전, 원격 데이터 처리 |
- DataSync는 자동화된 데이터 전송 및 동기화에 강점이 있다.
- Transfer Family는 FTP/SFTP를 활용한 안전한 파일 전송에 적합하다.
- Snow Family는 대규모 데이터 이동과 엣지 컴퓨팅이 필요한 상황에서 활용된다.
AWS 스토리지 백업 및 재해 복구 솔루션
데이터 보호와 재해 복구는 클라우드 환경에서 매우 중요한 요소이다.
AWS는 기업의 데이터 백업과 재해 복구를 자동화하고 효율적으로 수행할 수 있도록 다양한 솔루션을 제공한다.
AWS Backup
: AWS 서비스와 온프레미스 데이터를 위한 완전 관리형 백업 서비스
다양한 AWS 스토리지 및 데이터베이스 서비스에 대한 백업을 중앙에서 관리하고 자동화할 수 있다.
주요 특징
- 중앙 집중식 백업 관리
- 여러 AWS 서비스(S3, EBS, RDS 등)의 백업을 단일 콘솔에서 통합 관리한다.
- 백업 정책을 생성하고 스케줄링해 자동화할 수 있다.
- 데이터 보호 및 암호화
- 백업 데이터를 전송 중과 저장 중에 암호화하여 안전하게 보호한다.
- AWS Key Management Service (KMS)와 통합해 키를 관리한다.
- 백업 정책 및 수명 주기 관리
- 백업의 보존 기간과 삭제 시점을 설정해 수명 주기를 관리한다.
- 장기 보관이 필요한 백업 데이터를 비용 효율적으로 Amazon S3 Glacier나 Glacier Deep Archive로 이동시킬 수 있다.
- AWS 리전 간 백업
- 재해 복구를 대비해 백업 데이터를 다른 AWS 리전으로 복제한다.
- 온프레미스 데이터 백업
- AWS Storage Gateway와 통합해 온프레미스 데이터도 백업할 수 있다.
사용 사례
- 규정 준수 및 감사: 데이터 보존 정책을 적용하고 감사 보고서를 통해 규제 요건을 충족한다.
- 자동화된 백업 스케줄링: EC2 인스턴스, RDS 데이터베이스, EBS 볼륨 등을 자동으로 백업하고 보존 기간을 설정해 관리한다.
- 자동화된 복구 테스트: 복구 프로세스를 중단 없이 테스트해 재해 복구 계획의 신뢰성을 검증한다.
- 비용 최적화: 자주 액세스되지 않는 백업 데이터를 저비용 스토리지(S3 Glacier)로 이동해 비용을 절감한다.
- 온프레미스와 클라우드 통합: 하이브리드 클라우드 환경에서 Storage Gateway를 활용해 온프레미스 데이터를 AWS 클라우드에 백업한다.
AWS Elastic Disaster Recovery (DRS)
: 재해 복구 자동화 서비스로, 온프레미스 또는 다른 클라우드 인프라의 애플리케이션을 AWS로 신속하게 복구할 수 있도록 지원한다.
주요 특징
- 데이터 지속적 복제
- 소스 서버의 데이터를 AWS로 지속적으로 복제해 최신 상태를 유지한다.
- 복제된 데이터는 Amazon EBS 볼륨에 저장된다.
- 빠른 복구
- 재해 발생 시, AWS에서 소스 서버와 동일한 상태의 애플리케이션을 단 몇 분 내에 복구할 수 있다.
- 유연한 재해 복구 아키텍처
- 온프레미스, AWS 리전 간, 또는 다른 클라우드 환경에서 AWS로 복구가 가능하다.
- 비용 효율적
- 복제된 데이터를 EBS 볼륨에 보관하며, 실제로 복구 시점에만 인스턴스를 생성해 비용을 최소화한다.
사용 사례
- 재해 복구 자동화: 물리적 서버, 가상 머신(VM), 클라우드 서버의 재해 복구를 AWS로 자동화한다.
- 최소 다운타임 복구: 서버를 AWS로 지속적으로 복제해 최신 상태로 유지하고 재해 발생 시 최소한의 다운타임으로 복구한다.
- 리전 간 재해 복구: AWS 리전 간 복제를 통해 특정 리전의 장애 발생 시 다른 리전에서 빠르게 복구한다.
- 비용 최적화된 DR: 복구 시점에만 EC2 인스턴스를 프로비저닝하기 때문에 비용 효율적인 재해 복구를 제공한다.
- 재해 복구 테스트: 실제 서비스에 영향을 주지 않고 재해 복구 시나리오를 테스트할 수 있다.
AWS Backup vs AWS DRS
| AWS Backup | AWS Elastic Disaster Recovery (DRS) | |
|---|---|---|
| 주요 목적 | 백업 및 데이터 보호 | 재해 복구 및 시스템 복제 |
| 데이터 복제 | 스케줄 기반 백업 | 지속적 복제를 통해 최신 상태 유지 |
| 대상 서비스 | AWS 리소스 중심 - EC2 (컴퓨팅) - S3, EBS, EFS, FSx, Storage Gateway (스토리지) - RDS, Aurora, DynamoDB (데이터베이스) | 온프레미스의 물리적 서버와 가상머신(VM) 환경 AWS 리소스: 모든 스토리지, 데이터베이스 타 클라우드 리소스(Azure, GCP 등) |
| 복구 범위 | 개별 리소스 백업 및 복원 | 전체 시스템 복구 (서버, 스토리지, 애플리케이션 포함) |
| 복구 시간 | 상대적으로 느림 (백업 데이터를 복원해야 함) | 신속한 복구 (분 단위) |
| 주요 사용 사례 | 데이터 백업, 장기 보관, 규정 준수 | 재해 복구 자동화, 최소 다운타임 복구 |
- AWS Backup은 백업과 장기 데이터 보관을 위한 서비스로, 중앙 집중식 관리와 비용 최적화를 제공한다.
- AWS DRS는 재해 복구를 위해 지속적 복제와 자동화된 복구 기능을 통해 애플리케이션의 가용성을 보장한다.
요약
| 목적 | 서비스 | 용도 |
|---|---|---|
| 오브젝트 스토리지 | Amazon S3 | 대규모 데이터를 객체 형태로 저장 및 관리, 정적 웹사이트 호스팅, 데이터 백업 및 아카이빙 |
| Amazon S3 Glacier, Glacier Deep Archive | 장기 데이터 아카이빙 및 백업 (저비용, 저빈도 접근) | |
| 블록 스토리지 | Amazon EBS (Elastic Block Store) | EC2 인스턴스용 블록 스토리지, 고성능 데이터베이스 및 애플리케이션 저장 |
| Instance Store | 일시적 데이터 저장 (EC2 인스턴스에 연결된 로컬 디스크) | |
| 파일 스토리지 | Amazon EFS (Elastic File System) | EC2 인스턴스 간 공유 파일 시스템 제공 (NFS 기반), 컨테이너 및 애플리케이션 파일 저장 |
| Amazon FSx for Windows File Server | SMB 기반 파일 스토리지, Windows 애플리케이션용 파일 공유 | |
| Amazon FSx for Lustre | 고성능 파일 스토리지, 머신러닝, HPC (고성능 컴퓨팅) 워크로드에 적합 | |
| Amazon FSx for NetApp ONTAP | 엔터프라이즈급 파일 시스템으로 데이터 관리, NetApp ONTAP 기능 제공 | |
| 하이브리드 스토리지 | AWS Storage Gateway | 온프레미스와 AWS 간 하이브리드 스토리지 (볼륨 게이트웨이, 파일 게이트웨이, 테이프 게이트웨이) |
| AWS Snow Family (Snowcone, Snowball, Snowmobile) | 대용량 데이터 오프라인 전송 및 엣지 컴퓨팅 지원 | |
| AWS Outposts | 온프레미스에 AWS 인프라 제공, 하이브리드 클라우드 구현 | |
| 데이터 전송 | AWS DataSync | 온프레미스와 AWS 간 데이터 전송 자동화 및 최적화 |
| AWS Transfer Family | SFTP, FTPS, FTP 프로토콜을 사용하여 Amazon S3 및 EFS로 데이터 전송 | |
| 백업 및 재해 복구 | AWS Backup | 다양한 AWS 서비스의 백업 자동화 및 관리 |
| AWS Elastic Disaster Recovery (AWS DRS) | 재해 복구를 위해 복제 및 자동화된 데이터 복구 제공 |