AWS Storage Extras

1. AWS Snowball

Không phải lúc nào cũng có thể đẩy dữ liệu lên cloud qua đường mạng. AWS Snowball là các thiết bị vật lý di động, bảo mật cao được AWS gửi tới chỗ bạn để thu thập, xử lý dữ liệu tại edge và di chuyển dữ liệu vào/ra khỏi AWS.

Giúp migrate tới hàng Petabyte dữ liệu.

Snowball Edge Device	Compute	Memory	Storage (SSD)
Snowball Edge Storage Optimized	104 vCPUs	416 GB	210 TB
Snowball Edge Compute Optimized	104 vCPUs	416 GB	28 TB

Vì sao cần thiết bị vật lý?

Việc truyền dữ liệu qua mạng gặp rất nhiều trở ngại thực tế: kết nối hạn chế, băng thông hạn chế, chi phí mạng cao, băng thông dùng chung (không thể chiếm hết đường truyền), và độ ổn định của kết nối. Bảng dưới đây cho thấy thời gian truyền thực tế theo dung lượng và băng thông:

Dung lượng	100 Mbps	1 Gbps	10 Gbps
10 TB	12 ngày	30 giờ	3 giờ
100 TB	124 ngày	12 ngày	30 giờ
1 PB	3 năm	124 ngày	12 ngày

AWS Snowball là thiết bị offline để thực hiện data migration. Quy tắc ghi nhớ rất gọn: nếu truyền qua mạng mất hơn một tuần, hãy dùng Snowball.

So sánh hai luồng: upload trực tiếp lên S3 thì client đẩy dữ liệu qua đường www (ví dụ 10 Gbit/s) tới S3 bucket. Với Snowball, client copy dữ liệu vào thiết bị Snowball (import/export), ship (vận chuyển) thiết bị về cho AWS, và AWS nạp dữ liệu vào S3 bucket.

2. Edge Computing với Snowball Edge

Edge computing là việc xử lý dữ liệu ngay tại nơi dữ liệu được sinh ra. Các “nơi” đó có thể là một xe tải đang chạy trên đường, một con tàu ngoài biển, một trạm khai thác mỏ dưới lòng đất… Những vị trí này thường có Internet rất hạn chế và không có năng lực tính toán.

Giải pháp là đặt một thiết bị Snowball Edge ở đó để làm edge computing:

Snowball Edge Compute Optimized (dành riêng cho use case này) và Storage Optimized.
Chạy được EC2 Instances hoặc Lambda functions ngay tại edge.
Use case: tiền xử lý dữ liệu (preprocess), machine learning, transcode media.

Snowball vào Glacier

Một chi tiết kiến trúc dễ bị hỏi: Snowball không thể import trực tiếp vào Glacier. Bạn phải đi qua Amazon S3 trước, rồi kết hợp với một S3 lifecycle policy để chuyển dữ liệu từ S3 sang Amazon Glacier.

3. Amazon FSx – Tổng quan

EFS rất tốt cho Linux/NFS, nhưng nhiều tổ chức cần các hệ thống file khác: Windows share, hệ thống file song song cho HPC, hay NAS đang chạy ONTAP. Amazon FSx cho phép khởi chạy các hệ thống file hiệu năng cao của bên thứ ba trên AWS, dưới dạng dịch vụ fully managed.

Bốn phiên bản:

FSx for Windows File Server
FSx for Lustre
FSx for NetApp ONTAP
FSx for OpenZFS

FSx for Windows (File Server)

FSx for Windows là một share drive Windows được quản lý hoàn toàn.

Hỗ trợ giao thức SMB và Windows NTFS.
Tích hợp Microsoft Active Directory, ACL, user quota.
Có thể mount trên Linux EC2 instance.
Hỗ trợ Microsoft’s Distributed File System (DFS) Namespaces — gom file từ nhiều file system lại.
Scale tới hàng chục GB/s, hàng triệu IOPS, hàng trăm PB dữ liệu.
Storage Options:
- SSD – workload nhạy với độ trễ (database, media processing, data analytics…).
- HDD – phổ workload rộng (home directory, CMS…).
Truy cập được từ hạ tầng on-premises (qua VPN hoặc Direct Connect).
Cấu hình được Multi-AZ (high availability).
Dữ liệu được backup hằng ngày sang S3.

FSx for Lustre

Lustre là một loại hệ thống file phân tán song song (parallel distributed file system) dành cho tính toán quy mô lớn. Tên “Lustre” ghép từ “Linux” và “cluster”.

Dùng cho Machine Learning, High Performance Computing (HPC), Video Processing, Financial Modeling, Electronic Design Automation.
Scale tới hàng trăm GB/s, hàng triệu IOPS, độ trễ dưới một phần nghìn giây (sub-ms).
Storage Options:
- SSD – workload cần độ trễ thấp, nhiều IOPS, các thao tác file nhỏ và ngẫu nhiên.
- HDD – workload nặng về throughput, các thao tác file lớn và tuần tự.
Tích hợp mượt với S3:
- Có thể “đọc S3” như một file system (thông qua FSx).
- Có thể ghi kết quả tính toán trở lại S3 (thông qua FSx).
Dùng được từ server on-premises (VPN hoặc Direct Connect).

Hai kiểu deployment của FSx for Lustre

	Scratch File System	Persistent File System
Mục đích	Lưu trữ tạm thời	Lưu trữ dài hạn
Replication	Không replicate — dữ liệu không tồn tại nếu file server lỗi	Replicate trong cùng một AZ
Hiệu năng / phục hồi	Burst cao (nhanh hơn 6 lần, 200 MBps mỗi TiB)	Thay thế file lỗi trong vài phút
Dùng khi	Xử lý ngắn hạn, tối ưu chi phí	Xử lý dài hạn, dữ liệu quan trọng

Cả hai kiểu đều có thể dùng một S3 bucket làm data repository (tùy chọn), và compute instance ở các AZ trong region truy cập file system đó.

FSx for NetApp ONTAP

Đây là NetApp ONTAP được quản lý trên AWS, dành cho việc đưa workload đang chạy trên ONTAP hoặc NAS lên AWS.

File system tương thích giao thức NFS, SMB, iSCSI.
Hoạt động với: Linux, Windows, MacOS, VMware Cloud on AWS, Amazon WorkSpaces & AppStream 2.0, Amazon EC2, ECS và EKS, và cả server on-premises.
Dung lượng tự động co giãn (shrink hoặc grow).
Có snapshot, replication, chi phí thấp, compression và data de-duplication.
Point-in-time instantaneous cloning — clone tức thời tại một thời điểm, rất hữu ích để test workload mới.

FSx for OpenZFS

Đây là OpenZFS được quản lý trên AWS, dành cho việc đưa workload đang chạy trên ZFS lên AWS.

File system tương thích NFS (v3, v4, v4.1, v4.2).
Hoạt động với: Linux, Windows, MacOS, VMware Cloud on AWS, Amazon WorkSpaces & AppStream 2.0, Amazon EC2, ECS và EKS.
Lên tới 1.000.000 IOPS với độ trễ dưới 0,5 ms.
Có snapshot, compression và chi phí thấp.
Point-in-time instantaneous cloning — hữu ích để test workload mới.

4. Hybrid Cloud và AWS Storage Gateway

AWS đang đẩy mạnh mô hình “hybrid cloud”: một phần hạ tầng nằm trên cloud, một phần nằm on-premises. Điều này xảy ra vì nhiều lý do: quá trình migration lên cloud kéo dài, yêu cầu bảo mật, yêu cầu compliance, hoặc chiến lược IT của doanh nghiệp.

Vấn đề đặt ra: S3 là công nghệ lưu trữ độc quyền (khác với EFS/NFS), vậy làm sao để phơi dữ liệu S3 ra cho hệ thống on-premises dùng? Câu trả lời: AWS Storage Gateway!

Trước khi đi vào Storage Gateway, hãy nhìn lại các tùy chọn lưu trữ cloud native của AWS theo ba nhóm:

Nhóm	Dịch vụ
Block	Amazon EBS, EC2 Instance Store
File	Amazon EFS, Amazon FSx
Object	Amazon S3, Amazon Glacier

AWS Storage Gateway là cầu nối giữa dữ liệu on-premises và dữ liệu trên cloud. Use case:

Disaster recovery
Backup & restore
Tiered storage (phân tầng lưu trữ)
Cache tại on-premises và truy cập file độ trễ thấp

Có ba loại Storage Gateway: S3 File Gateway, Volume Gateway, Tape Gateway.

Amazon S3 File Gateway

Các S3 bucket đã cấu hình sẽ truy cập được qua giao thức NFS và SMB.
Dữ liệu được dùng gần nhất được cache trong file gateway.
Hỗ trợ S3 Standard, S3 Standard IA, S3 One Zone IA, S3 Intelligent Tiering.
Chuyển sang S3 Glacier bằng một Lifecycle Policy.
Truy cập bucket bằng IAM role riêng cho từng File Gateway.
Giao thức SMB tích hợp với Active Directory (AD) để xác thực người dùng.

Volume Gateway

Block storage qua giao thức iSCSI, được backing bởi S3.
Được backing bởi EBS snapshots — rất hữu ích để restore lại volume on-premises!
Cached volumes: truy cập độ trễ thấp cho dữ liệu mới nhất.
Stored volumes: toàn bộ dataset nằm ở on-premises, backup theo lịch lên S3.

Tape Gateway

Một số công ty vẫn có quy trình backup dùng băng từ vật lý (physical tape). Với Tape Gateway, họ giữ nguyên quy trình đó nhưng thực hiện trên cloud.

Virtual Tape Library (VTL) được backing bởi Amazon S3 và Glacier.
Backup dữ liệu bằng quy trình dựa trên tape đang có (và giao diện iSCSI).
Hoạt động với các phần mềm backup hàng đầu.

Tổng hợp ba loại Gateway

Gateway	Giao thức phía on-premises	Đích trên AWS
File Gateway (có local cache)	NFS / SMB — dùng cho file share của user/group	Amazon S3, không bao gồm Glacier & Glacier Deep Archive
Volume Gateway (có local cache)	iSCSI — dùng cho Application Server	Amazon S3 + AWS EBS (snapshot)
Tape Gateway (có local cache)	iSCSI VTL — dùng cho Backup Application	Amazon S3 (Tape Library, mọi S3 storage class kể cả Glacier) và Tape Archive trên Glacier & Glacier Deep Archive khi “eject” tape từ backup application

Các tùy chọn triển khai gateway: chạy dưới dạng VM (VMware, Hyper-V, KVM). Storage Gateway có mã hóa đường truyền (Encryption in Transit), và kết nối tới AWS qua Internet hoặc Direct Connect.

5. AWS Transfer Family

AWS Transfer Family là dịch vụ fully-managed cho việc truyền file vào và ra khỏi Amazon S3 hoặc Amazon EFS bằng giao thức FTP. Nó tồn tại vì rất nhiều đối tác, hệ thống CRM/ERP cũ chỉ biết nói FTP — bạn không thể bắt họ viết lại bằng S3 API.

Các giao thức được hỗ trợ:

AWS Transfer for FTP (File Transfer Protocol – FTP)
AWS Transfer for FTPS (File Transfer Protocol over SSL – FTPS)
AWS Transfer for SFTP (Secure File Transfer Protocol – SFTP)

Đặc điểm:

Hạ tầng được quản lý, Scalable, Reliable, Highly Available (multi-AZ).
Trả tiền theo endpoint được provision mỗi giờ + lưu lượng dữ liệu tính theo GB.
Lưu và quản lý credential của người dùng ngay trong dịch vụ.
Tích hợp với các hệ thống xác thực có sẵn: Microsoft Active Directory, LDAP, Okta, Amazon Cognito, hoặc custom.
Usage: chia sẻ file, public dataset, CRM, ERP…

Về mặt kiến trúc, user dùng FTP client kết nối tới AWS Transfer Family (AWS Transfer for FTP chỉ hoạt động trong VPC), dịch vụ xác thực qua MS Active Directory/LDAP…, dùng một IAM Role để đọc/ghi lên Amazon S3 hoặc Amazon EFS, và có thể dùng Route 53 (tùy chọn) cho tên miền.

6. AWS DataSync

AWS DataSync dùng để di chuyển lượng lớn dữ liệu giữa các hệ thống lưu trữ:

Từ on-premises / cloud khác vào AWS (NFS, SMB, HDFS, S3 API…) — cần agent.
Từ AWS sang AWS (giữa các dịch vụ storage khác nhau) — không cần agent.

Các đích có thể đồng bộ tới:

Amazon S3 — mọi storage class, kể cả Glacier.
Amazon EFS.
Amazon FSx (Windows, Lustre, NetApp, OpenZFS…).

Các đặc điểm quan trọng:

Task replication có thể lên lịch theo giờ, ngày, tuần.
Quyền file và metadata được giữ nguyên (NFS POSIX, SMB…).
Một agent task dùng được 10 Gbps, và có thể đặt giới hạn băng thông.

Ở luồng từ on-premises, một AWS DataSync Agent được cài cạnh NFS/SMB server, kết nối qua TLS tới AWS DataSync ở region, rồi ghi vào các tài nguyên lưu trữ AWS (S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA, S3 Glacier, S3 Glacier Deep Archive, AWS EFS, Amazon FSx). Thiết bị AWS Snowcone đã được cài sẵn agent.

7. So sánh toàn bộ các dịch vụ lưu trữ

Chương này và các chương trước đã giới thiệu rất nhiều dịch vụ lưu trữ. Bảng dưới đây là cách phân biệt nhanh từng dịch vụ theo đúng mô tả trong slide tổng kết:

Dịch vụ	Bản chất
S3	Object Storage
S3 Glacier	Object Archival (lưu trữ dài hạn)
EBS volumes	Network storage cho một EC2 instance tại một thời điểm
Instance Storage	Physical storage gắn vào EC2 instance (IOPS cao)
EFS	Network File System cho Linux instance, filesystem POSIX
FSx for Windows	Network File System cho Windows server
FSx for Lustre	File system cho High Performance Computing trên Linux
FSx for NetApp ONTAP	Tương thích OS cao
FSx for OpenZFS	Managed ZFS file system
Storage Gateway	S3 & FSx File Gateway, Volume Gateway (cached & stored), Tape Gateway
Transfer Family	Giao diện FTP, FTPS, SFTP bên trên Amazon S3 hoặc Amazon EFS
DataSync	Lên lịch đồng bộ dữ liệu từ on-premises lên AWS, hoặc AWS sang AWS
Snowcone / Snowball / Snowmobile	Di chuyển lượng dữ liệu rất lớn lên cloud, bằng đường vật lý
Database	Cho các workload cụ thể, thường kèm indexing và querying

Tóm tắt nhanh

Chủ đề	Cần nhớ
Snowball	Thiết bị vật lý, migrate tới hàng PB; Storage Optimized 210 TB, Compute Optimized 28 TB, cả hai 104 vCPU / 416 GB RAM
Khi nào dùng Snowball	Khi truyền qua mạng mất hơn một tuần
Edge computing	Chạy EC2 hoặc Lambda ngay trên Snowball Edge tại chỗ: preprocess, ML, transcode media
Snowball vào Glacier	Không import trực tiếp được — phải qua S3 trước, rồi dùng lifecycle policy
FSx for Windows	SMB + NTFS, Active Directory, ACL, quota, DFS Namespaces; SSD hoặc HDD; Multi-AZ; backup hằng ngày sang S3; mount được từ Linux và on-premises
FSx for Lustre	HPC và ML, sub-ms, hàng trăm GB/s; tích hợp S3 hai chiều; Scratch (không replicate, burst 6x, 200 MBps mỗi TiB) vs Persistent (replicate trong cùng AZ)
FSx for NetApp ONTAP	NFS, SMB, iSCSI; dung lượng tự co giãn; de-duplication, compression, clone tức thời
FSx for OpenZFS	NFS v3–v4.2; tới 1.000.000 IOPS, < 0,5 ms; snapshot, compression, cloning
Storage Gateway	Cầu nối hybrid vì S3 là công nghệ độc quyền; chạy dưới dạng VM có local cache; ba loại File / Volume / Tape
S3 File Gateway	NFS và SMB lên S3 (Standard, Standard-IA, One Zone-IA, Intelligent-Tiering); Glacier qua lifecycle policy; IAM role riêng cho từng gateway; SMB tích hợp AD
Volume Gateway	Block storage qua iSCSI backing bởi S3 với EBS snapshot; cached (dữ liệu mới ở local) vs stored (toàn bộ dataset ở local, backup theo lịch)
Tape Gateway	Virtual Tape Library qua iSCSI, backing bởi S3 và Glacier; giữ nguyên quy trình backup bằng tape
Transfer Family	FTP / FTPS / SFTP lên S3 hoặc EFS; multi-AZ; trả tiền theo endpoint/giờ + GB; xác thực qua AD, LDAP, Okta, Cognito, custom; FTP thuần chỉ chạy trong VPC
DataSync	Cần agent cho on-premises hoặc cloud khác, không cần agent khi AWS → AWS; đích S3 (mọi class), EFS, FSx; lịch giờ / ngày / tuần; giữ nguyên permission và metadata; 10 Gbps mỗi task, đặt được giới hạn băng thông