Memory Hierarchy

Memory Hierarchy

Memory Hierarchy

Volatile Memory

• CPU register: zero-time access data cells CPU, store all its intermediate values. Rất ít (chỉ 16).
• Cache CPU: gồm nhiều tầng (L1, L2, L3, đôi khi L4). Cache L3 thường chia sẻ giữa nhiều nhân CPU.
• RAM: loại bộ nhớ có thể mở rộng. Ngày nay có thể thuê máy với hàng trăm GB RAM trên cloud.

Một khái niệm quan trọng: cache line. Đây là đơn vị cơ bản để CPU trao đổi dữ liệu với RAM. Thường là 64 byte. Nghĩa là khi bạn đọc 1 byte, thực tế CPU sẽ lấy cả 64 byte (bao gồm 63 byte lân cận). Việc cache diễn ra tự động dựa trên thời điểm truy cập gần nhất, không kiểm soát trực tiếp

Non-Volatile Memory

• SSD: độ trễ ~0.1ms, nhanh hơn HDD, không có bộ phận cơ học. Nhưng tuổi thọ giới hạn vì mỗi ô nhớ chỉ ghi được số lần nhất định.
• HDD: đĩa quay cơ học, đầu đọc/ghi phải di chuyển. Truy cập ngẫu nhiên rất chậm (ms). Tuổi thọ trung bình ~3 năm trong data center.
• Lưu trữ qua mạng (NAS):
  • NFS: gắn hệ thống file của máy khác qua mạng. Nếu cùng data center, có thể nhanh hơn HDD.
  • Object storage (ví dụ Amazon S3): lưu trữ phân tán, độ trễ 50–100ms, thường dùng HDD giá rẻ bên dưới. Rất bền và có khả năng nhân bản.