AI đang xóa ranh giới bên trong trung tâm dữ liệu hiện đại

Điều gì đang thay đổi bên trong trung tâm dữ liệu?

Nội dung về phần cứng AI thường tập trung vào GPU. Theo Data Center Knowledge, các bài phần cứng được đọc nhiều nhất trong tháng 6 năm 2026 cho thấy bức tranh rộng hơn: mạng, bộ nhớ, CPU, phần mềm điều phối và thiết kế chip đang được chú ý song song với GPU ^[3]. Cùng nguồn này mô tả xu hướng ngày càng tập trung vào hệ thống, và cho rằng cuộc đua không còn chỉ xoay quanh GPU ^[3].

Vì sao bộ nhớ trở thành giới hạn?

Epoch AI cho biết suy luận AI thường bị nghẽn ở băng thông bộ nhớ, chứ không phải ở tính toán ^[1]. Cũng theo Epoch, tổng băng thông bộ nhớ của chip AI xuất xưởng từ năm 2022 đã đạt 70 triệu TB/s, tăng 4,1 lần mỗi năm ^[1].

Epoch gọi băng thông HBM tổng hợp là một thước đo gần đúng cho tổng năng lực phục vụ mô hình AI của thế giới ^[1]. Vì đây là con số tổng hợp trên các chip đã xuất xưởng, nó trả lời một câu hỏi khác với thông số của từng chip riêng lẻ.

Bộ nhớ có thể nằm ngoài GPU không?

Một bài báo arXiv năm 2025 về suy luận với ngữ cảnh 1 triệu token trích dẫn công trình trước đó của Tang và cộng sự: chuyển KV-cache sang bộ nhớ CXL có thể giảm mức dùng bộ nhớ GPU tới 87%, trong khi vẫn đáp ứng yêu cầu độ trễ ^[2]. Bài báo cho rằng CXL là cách thực tế để mở rộng dung lượng bộ nhớ mà không làm giảm hiệu năng ^[2]. Đóng góp riêng của bài là một thiết kế xử lý ngay tại bộ nhớ (processing-near-memory) cho loại bộ nhớ gắn qua CXL này ^[2].

Vì sao mạng cũng là công nghệ quyết định?

Data Center Knowledge cho rằng mạng, bộ nhớ, phần mềm điều phối và hiệu quả đầu-cuối đang nổi lên như những công nghệ quyết định của thế hệ trung tâm dữ liệu AI tiếp theo ^[3]. Đây là nhận định của tờ báo, không phải phép đo, và các nguồn ở đây chưa định lượng chi phí mạng.

Bài viết này chưa đề cập điều gì?

Bài này không nói chi phí để mua hoặc vận hành dịch vụ AI, kể cả giá token. Những con số đó cần nguồn riêng. Các nguồn ở đây báo cáo nghiên cứu và tin tức phần cứng, chứ không phải số liệu đo được từ các triển khai quy mô lớn.

Bạn nên theo dõi điều gì tiếp theo?

Hãy kiểm tra xem con số bộ nhớ của mỗi nhà cung cấp là cho một chip hay cho cả hệ thống. Con số tổng của Epoch là tổng hợp trên các chip đã xuất xưởng ^[1], nên thông số của một chip và con số tổng hợp trả lời các câu hỏi khác nhau.