Triển Khai NVIDIA DGX B300 Cần Hạ Tầng Gì? Điện, Làm Mát Và Mạng

NVIDIA DGX B300 là hệ thống máy chủ AI được thiết kế cho những khối lượng công việc tính toán chuyên sâu như huấn luyện mô hình ngôn ngữ lớn (LLM), Generative AI và AI Inference. Tuy nhiên, để khai thác hiệu quả nền tảng này, doanh nghiệp không thể chỉ quan tâm đến hiệu năng GPU mà còn phải chuẩn bị hạ tầng trung tâm dữ liệu phù hợp.

Khác với nhiều máy chủ doanh nghiệp thông thường, NVIDIA DGX B300 đặt ra yêu cầu đáng kể về công suất điện, khả năng làm mát và kết nối mạng tốc độ cao. Việc thiếu chuẩn bị ở một trong những thành phần này có thể ảnh hưởng đến tính ổn định, khả năng vận hành và kế hoạch mở rộng hệ thống.

Vậy triển khai NVIDIA DGX B300 cần những điều kiện gì? Doanh nghiệp có cần nâng cấp hệ thống điện, điều hòa Data Center hoặc thiết bị mạng hiện tại? Hãy cùng NSTECH tìm hiểu những yếu tố kỹ thuật cần đánh giá trước khi đầu tư.

Tổng quan yêu cầu hạ tầng khi triển khai NVIDIA DGX B300

NVIDIA DGX B300 là hệ thống AI tích hợp tám GPU Blackwell Ultra, kết nối NVIDIA NVLink thế hệ thứ năm cùng các giao tiếp mạng tốc độ cao.

Hệ thống có thiết kế rackmount 10U, hướng đến môi trường Data Center chuyên dụng.

Tuy nhiên, một hệ thống DGX B300 hoàn chỉnh không chỉ bao gồm máy chủ mà còn phụ thuộc vào các thành phần hạ tầng hỗ trợ.

Trong đó, điện, làm mát và mạng là ba yếu tố cần được đánh giá sớm nhất, bởi chúng ảnh hưởng trực tiếp đến thiết kế phòng máy cũng như chi phí triển khai.

Doanh nghiệp nên khảo sát khả năng đáp ứng của hạ tầng hiện tại trước khi quyết định số lượng hệ thống DGX B300 cần đầu tư.

Yêu cầu nguồn điện khi triển khai NVIDIA DGX B300

NVIDIA DGX B300 tiêu thụ bao nhiêu điện?

DGX B300 có mật độ tính toán cao, kéo theo nhu cầu cấp điện lớn so với nhiều dòng máy chủ truyền thống.

Theo NVIDIA, hệ thống hỗ trợ hai phương án cấp điện:

• AC Power: Sử dụng các bộ nguồn tích hợp, kết nối đến PDU của tủ rack.
• DC Busbar: Sử dụng thanh dẫn điện một chiều và các bộ nguồn ngoài dạng power shelf.

Lưu ý: Các giá trị trên là ước tính trong tài liệu quy hoạch của NVIDIA, dựa trên điều kiện nhiệt độ khí cấp 25°C. Công suất thực tế phụ thuộc tải hệ thống và điều kiện vận hành. Tài liệu Datasheet khác của NVIDIA ghi công suất hệ thống 15,1 kW đối với bản PSU.

Điều này cho thấy khi thiết kế hạ tầng điện, doanh nghiệp không nên chỉ lấy công suất vận hành thông thường để xác định toàn bộ năng lực cấp điện.

Hệ thống cần được đánh giá thêm theo công suất đỉnh, nguồn điện dự phòng và tải của các thiết bị phụ trợ.

AC Power và DC Busbar khác nhau như thế nào?

Đối với phương án AC, NVIDIA DGX B300 sử dụng các bộ nguồn tích hợp với đầu vào 200–240V AC.

Theo NVIDIA DGX B300 User Guide, phiên bản AC có 12 bộ nguồn và hỗ trợ dự phòng N+N.

Phương án này phù hợp để đánh giá trong những trung tâm dữ liệu đã có hệ thống phân phối điện AC và PDU tương thích, miễn là công suất và các điều kiện kỹ thuật đáp ứng yêu cầu.

Trong khi đó, phương án DC Busbar sử dụng nguồn 54V DC thông qua hệ thống power shelf và thanh dẫn điện tích hợp trong rack.

Thiết kế này hướng đến những hệ thống triển khai mật độ cao, nơi việc phân phối điện đến nhiều máy chủ cần được tính toán đồng bộ.

Lựa chọn AC hay DC cần dựa trên quy mô triển khai, hạ tầng hiện có và kiến trúc rack được NVIDIA hỗ trợ, không chỉ dựa vào chênh lệch công suất danh định.

Có cần UPS và nguồn điện dự phòng không?

Đối với môi trường AI hoạt động liên tục, tính sẵn sàng của nguồn điện là yêu cầu quan trọng.

Doanh nghiệp nên đánh giá:

• Công suất UPS theo tải vận hành và tải đỉnh phù hợp.
• Nguồn cấp điện A/B và khả năng dự phòng khi xảy ra sự cố.
• Hệ thống PDU, aptomat, cáp nguồn và khả năng chịu tải.
• Thời gian duy trì điện khi mất nguồn chính.
• Năng lực cấp điện khi bổ sung thêm DGX B300.

Một điểm cần lưu ý là nguồn dự phòng không đồng nghĩa với việc cộng gấp đôi điện năng tiêu thụ. Việc lựa chọn công suất UPS và mạch điện phải dựa trên sơ đồ dự phòng, khả năng chịu tải khi một nhánh gặp sự cố và hướng dẫn kỹ thuật tương ứng.

Các thông số này cần được kỹ sư điện Data Center kiểm tra, tính toán trước khi triển khai thực tế.

Hệ thống làm mát cho NVIDIA DGX B300 cần đáp ứng điều gì?

Vì sao DGX B300 cần năng lực làm mát lớn?

Khi DGX B300 xử lý những workload AI phức tạp, GPU, CPU và các linh kiện server bên trong tạo ra lượng nhiệt đáng kể.

Phần lớn điện năng mà máy chủ tiêu thụ cuối cùng được chuyển thành nhiệt và cần được hệ thống Data Center loại bỏ.

Theo NVIDIA DGX B300 User Guide, công suất tỏa nhiệt tham khảo của hệ thống khoảng 49.476 BTU/giờ, tương ứng với mức tiêu thụ điện khoảng 14,5 kW.

Đây là tải nhiệt đáng kể đối với một thiết bị rackmount 10U.

Nếu hệ thống làm mát không đáp ứng đủ, nhiệt độ khí đầu vào có thể vượt giới hạn vận hành, làm ảnh hưởng đến độ ổn định và hiệu năng của thiết bị.

Do đó, triển khai DGX B300 cần được đánh giá theo công suất giải nhiệt thực tế, thay vì chỉ kiểm tra nhiệt độ phòng máy.

NVIDIA DGX B300 sử dụng làm mát bằng không khí hay chất lỏng?

Một điểm quan trọng là NVIDIA DGX B300 được thiết kế với hệ thống máy chủ làm mát bằng không khí (Air-Cooled).

Tùy mật độ triển khai, doanh nghiệp có thể sử dụng các phương án giải nhiệt khác nhau ở cấp tủ rack và phòng máy.

Làm mát bằng không khí truyền thống

Trong những hệ thống có mật độ triển khai thấp hơn, Data Center có thể sử dụng hệ thống điều hòa chính xác kết hợp luồng khí lạnh và khí nóng được tổ chức hợp lý.

Mục tiêu là bảo đảm máy chủ liên tục nhận đủ không khí ở nhiệt độ phù hợp.

Active Rear Door Heat Exchanger (RDHx)

Với những hệ thống có mật độ máy chủ cao, NVIDIA đề xuất sử dụng bộ trao đổi nhiệt chủ động gắn phía sau tủ rack.

Thiết bị này giúp thu hồi nhiệt từ luồng không khí nóng thoát ra phía sau máy chủ, hạn chế lượng nhiệt thải trực tiếp vào phòng máy.

RDHx có thể sử dụng mạch chất lỏng để trao đổi nhiệt, nhưng cần phân biệt với công nghệ Direct-to-Chip Liquid Cooling, trong đó chất lỏng được dẫn đến bộ phận giải nhiệt tiếp xúc trực tiếp với chip.

DGX B300 không mặc định yêu cầu làm mát chất lỏng trực tiếp cho GPU. Phương án RDHx được xem xét ở cấp rack, đặc biệt đối với triển khai mật độ cao.

Nhiệt độ vận hành và luồng không khí

NVIDIA công bố dải nhiệt độ khí đầu vào vận hành của DGX B300 từ 10°C đến 35°C, trong các điều kiện vận hành được quy định.

Tuy nhiên, đây không phải là mức nhiệt độ mục tiêu cố định cho mọi phòng máy.

Nhiệt độ khí cấp thực tế phải được lựa chọn theo thiết kế Data Center, tải nhiệt, độ cao và yêu cầu của toàn bộ hệ thống.

Doanh nghiệp cần kiểm tra những yếu tố như:

• Phân tách luồng khí lạnh và khí nóng.
• Lưu lượng không khí đi qua máy chủ.
• Nhiệt độ đầu vào ở từng vị trí rack.
• Khả năng giải nhiệt khi máy chủ hoạt động ở tải cao.
• Hệ thống cảm biến và cảnh báo nhiệt độ.

Nên đặc biệt chú ý hiện tượng khí nóng quay trở lại khu vực hút gió của máy chủ, bởi điều này có thể khiến thiết bị nhận khí đầu vào nóng hơn nhiệt độ chung của phòng máy.

Một tủ rack có thể lắp bao nhiêu DGX B300?

Theo tài liệu quy hoạch Data Center của NVIDIA, có hai mô hình triển khai tham khảo:

Đối với mô hình mật độ cao, NVIDIA sử dụng kiến trúc DC Busbar với power shelf.

Đây là các phương án thiết kế tham khảo, không phải quy định rằng mọi rack đều có thể lắp hai hoặc bốn hệ thống.

Số lượng DGX B300 thực tế phụ thuộc vào năng lực cấp điện, làm mát, kích thước rack, tải trọng và các thành phần thiết bị khác.

Hạ tầng mạng tốc độ cao cho NVIDIA DGX B300

Vì sao mạng đóng vai trò quan trọng đối với hệ thống AI?

Trong môi trường huấn luyện AI, dữ liệu thường phải được trao đổi giữa các GPU, máy chủ và hệ thống lưu trữ.

Nếu băng thông mạng không đủ hoặc độ trễ quá cao, các bộ xử lý GPU có thể phải chờ dữ liệu, làm giảm hiệu quả khai thác tài nguyên tính toán.

Điều này đặc biệt quan trọng khi doanh nghiệp xây dựng AI Cluster gồm nhiều hệ thống DGX B300.

Khác với các ứng dụng máy chủ thông thường, AI Training phân tán có thể tạo ra lượng lưu lượng trao đổi dữ liệu rất lớn giữa các node tính toán.

Do đó, kiến trúc mạng cần được thiết kế theo đặc điểm workload thay vì chỉ dựa trên băng thông Internet hoặc mạng LAN hiện có.

NVIDIA DGX B300 hỗ trợ những kết nối mạng nào?

Theo NVIDIA DGX B300 User Guide, hệ thống được trang bị:

Các giao tiếp tốc độ cao này giúp DGX B300 hỗ trợ xây dựng cụm máy chủ AI phục vụ xử lý phân tán.

Tuy nhiên, tốc độ tối đa của cổng mạng không đồng nghĩa với thông lượng ứng dụng sẽ luôn đạt mức đó.

Hiệu năng thực tế phụ thuộc vào giao thức mạng, switch, module quang, cáp kết nối, kiến trúc fabric và phần mềm sử dụng.

Nên chọn InfiniBand hay Ethernet?

InfiniBand và Ethernet đều có thể được sử dụng trong hạ tầng AI, nhưng phương án phù hợp phụ thuộc vào quy mô, phần mềm và kiến trúc hệ thống.

InfiniBand

InfiniBand thường được lựa chọn trong những môi trường tính toán hiệu năng cao và các cụm AI sử dụng giao tiếp giữa nhiều node với yêu cầu cao về độ trễ và thông lượng.

Ethernet tốc độ cao

Ethernet có thể được triển khai trong AI Cluster với các công nghệ và cấu hình phù hợp, chẳng hạn kiến trúc NVIDIA Spectrum-X.

Phương án này phù hợp với những tổ chức muốn xây dựng AI Fabric dựa trên hệ sinh thái Ethernet, đồng thời quản lý các yêu cầu về hiệu năng, phân đoạn mạng và khả năng mở rộng.

Không thể kết luận một công nghệ luôn phù hợp hơn trong mọi trường hợp.

Việc lựa chọn cần được thực hiện sau khi xác định workload, quy mô cluster và yêu cầu kết nối.

Phân tách các lớp mạng trong hệ thống DGX B300

Một kiến trúc mạng AI có thể được thiết kế theo ba nhóm chức năng.

Compute Network: Phục vụ trao đổi dữ liệu giữa các node DGX B300 khi triển khai huấn luyện hoặc tính toán phân tán.

Storage/Data Network: Kết nối máy chủ với nền tảng lưu trữ dữ liệu, dataset, mô hình và checkpoint.

Management Network: Phục vụ quản trị thiết bị, BMC, giám sát, cấu hình và bảo trì hệ thống.

Tùy kiến trúc, doanh nghiệp có thể sử dụng các mạng vật lý tách biệt hoặc kết hợp phân đoạn logic phù hợp.

Đối với hệ thống nhiều node, nên đánh giá kiến trúc Leaf-Spine, khả năng dự phòng switch, số lượng uplink và giới hạn chiều dài cáp trước khi triển khai.

Mục tiêu là tránh để mạng trở thành điểm nghẽn khi mở rộng số lượng GPU và máy chủ.

Quy trình chuẩn bị hạ tầng trước khi triển khai NVIDIA DGX B300

Để hạn chế rủi ro khi đầu tư, doanh nghiệp nên tổ chức triển khai thành những giai đoạn rõ ràng.

Bước 1: Khảo sát hạ tầng hiện tại

Đánh giá hệ thống điện, phòng máy, rack, làm mát, lưu trữ và mạng đang sử dụng.

Xác định hạng mục nào đáp ứng yêu cầu và hạng mục nào cần nâng cấp.

Bước 2: Xác định quy mô và workload AI

Làm rõ doanh nghiệp triển khai một máy chủ DGX B300 hay nhiều node.

Phân tích các ứng dụng như LLM Training, Fine-tuning hoặc AI Inference để xác định nhu cầu tính toán, băng thông và lưu trữ.

Bước 3: Thiết kế điện và làm mát

Lựa chọn phương án AC hoặc DC phù hợp.

Tính toán tải điện, nguồn dự phòng, tải nhiệt, phương án làm mát và khả năng mở rộng.

Bước 4: Thiết kế mạng và lưu trữ

Lựa chọn kiến trúc InfiniBand hoặc Ethernet, thiết bị switch, kết nối cáp và nền tảng lưu trữ phù hợp.

Đồng thời xây dựng giải pháp quản trị và phân tách lưu lượng theo yêu cầu bảo mật.

Bước 5: Kiểm tra khả năng sẵn sàng

Trước khi đưa DGX B300 vào vận hành, cần kiểm tra điều kiện lắp đặt, khả năng cấp điện, làm mát, kết nối mạng và hệ thống giám sát.

Quá trình lắp đặt, cấu hình và nghiệm thu thiết bị phải tuân thủ hướng dẫn NVIDIA.

Theo NVIDIA DGX B300 User Guide, hệ thống cần được lắp đặt bởi nhân sự thuộc mạng lưới đối tác NVIDIA hoặc kỹ sư dịch vụ hiện trường của NVIDIA để đáp ứng điều kiện bảo hành phần cứng.

Bước 6: Nghiệm thu và tối ưu vận hành

Sau khi hoàn tất triển khai, cần kiểm tra sức khỏe hệ thống và đánh giá hoạt động dưới các tải công việc phù hợp.

Doanh nghiệp nên theo dõi các chỉ số liên quan đến mức sử dụng GPU, nhiệt độ, công suất, hiệu năng mạng và lưu trữ để xác định khả năng đáp ứng mục tiêu vận hành.

NSTECH – Tư vấn hạ tầng triển khai NVIDIA DGX B300 cho doanh nghiệp

NVIDIA DGX B300 mang đến năng lực tính toán AI lớn, nhưng để hệ thống phát huy hiệu quả, doanh nghiệp cần một kiến trúc hạ tầng phù hợp với workload và điều kiện vận hành.

Từ nguồn điện, phương án làm mát đến mạng tốc độ cao và hệ thống lưu trữ, mỗi thành phần đều ảnh hưởng đến hiệu năng và tổng chi phí sở hữu của dự án.

NSTECH hỗ trợ doanh nghiệp trao đổi nhu cầu và lựa chọn các thành phần hạ tầng CNTT phục vụ triển khai AI, bao gồm máy chủ, lưu trữ và thiết bị mạng.

Đối với những dự án đang cân nhắc đầu tư DGX B300, doanh nghiệp nên bắt đầu từ việc đánh giá điều kiện Data Center hiện tại và xác định các hạng mục kỹ thuật cần nâng cấp trước khi xây dựng phương án triển khai.

Liên hệ NSTECH để trao đổi nhu cầu xây dựng hạ tầng máy chủ AI và lựa chọn giải pháp phù hợp với quy mô doanh nghiệp.

Website: https://nstech.vn/
Hotline: 09 3333 5554
Email: ducnh@nstech.vn
Văn Phòng TPHCM: 419/2N Phan Xích Long, Phường Đức Nhuận, Tp.Hồ Chí Minh
Văn Phòng Hà Nội: Tầng 6 Số 95 Phố Hoàng Cầu, Phường Đống Đa, Thành phố Hà Nội
Văn Phòng Đà Nẵng: Số 36 đường Nguyễn Cư Trinh, Phường Hòa Cường, TP Đà Nẵng

Hoàng Đức (Đức King Server)

Tôi là Hoàng Đức – CEO Công ty Cổ phần NSTECH Việt Nam. Với nhiều năm kinh nghiệm trong lĩnh vực hạ tầng máy chủ và giải pháp công nghệ, tôi định hướng NSTECH không chỉ là đơn vị cung cấp thiết bị, mà là đối tác chiến lược giúp doanh nghiệp xây dựng nền tảng IT ổn định, an toàn và bền vững.