Chi phí thật để tự chạy LLM on-premise 2026: VRAM, GPU và tiền điện — bài toán TCO cho doanh nghiệp Việt

"Tự chạy AI on-premise để dữ liệu không rời tổ chức" là hướng đi ngày càng được doanh nghiệp Việt cân nhắc. Nhưng trước khi mua GPU, câu hỏi đầu tiên phải là: tốn bao nhiêu? Bài này bóc tách ba khoản chi phí thật của việc tự vận hành một mô hình ngôn ngữ lớn (LLM): VRAM (mô hình cần bao nhiêu bộ nhớ GPU), tiền điện (GPU chạy 24/7 tốn bao nhiêu theo giá điện chính thức tại Việt Nam), và phần cứng — rồi so sánh với chi phí gọi cloud API cùng một mô hình. Mọi con số đều dẫn nguồn công khai, tra cứu ngày 18/07/2026.

Mô hình cần bao nhiêu VRAM?

Một mô hình cần bộ nhớ GPU (VRAM) tối thiểu bằng số tham số nhân với số byte lưu mỗi tham số. Ở độ chính xác FP16/BF16, mỗi tham số chiếm 2 byte; lượng tử hoá xuống INT8 còn 1 byte, INT4 còn 0,5 byte. Vì vậy một mô hình 72,7 tỷ tham số (Qwen2.5-72B, theo model card HuggingFace) cần ~145 GB VRAM ở FP16, nhưng chỉ ~36 GB ở INT4 — đủ vừa một GPU 80 GB. Đây là lý do lượng tử hoá (quantization) gần như bắt buộc khi tự host.

Lưu ý quan trọng: con số trong bảng dưới là trọng số thô (weights only). Khi chạy thực tế, phải cộng thêm khoảng 20–30% cho KV-cache, activations và overhead của runtime — nên hãy xem đây là sàn tối thiểu, không phải mức cấu hình khuyến nghị. (GB ở đây tính theo tỷ byte để dễ đối chiếu dung lượng GPU.)

Bài học rút ra: chọn cỡ mô hình trước, GPU theo sau. Một mô hình 7–32 tỷ tham số lượng tử hoá có thể chạy trên một card tiêu dùng 24 GB; nhưng nhóm 70 tỷ trở lên đã cần GPU trung tâm dữ liệu 80 GB hoặc ghép nhiều card — bước nhảy chi phí rất lớn.

Tiền điện: GPU chạy 24/7 tốn bao nhiêu?

Tiền điện một GPU chạy liên tục cả tháng tính bằng công thức TDP (kW) × 720 giờ × giá điện. Với giá bán lẻ điện bình quân tại Việt Nam là 2.204,0655 đ/kWh (chưa gồm VAT, áp dụng từ 10/5/2025 theo Bộ Công Thương), một GPU H100 công suất 700W chạy 24/7 tiêu thụ ~504 kWh và tốn khoảng 1,11 triệu đồng/tháng — và đó mới chỉ là điện của riêng GPU.

Chúng tôi dùng giá bình quân làm mốc minh bạch, dễ kiểm chứng. Trên thực tế, hoá đơn của doanh nghiệp còn phụ thuộc cấp điện áp và khung giờ (thấp/bình thường/cao điểm) theo biểu giá tại Quyết định 1279/QĐ-BCT, cộng VAT, và — quan trọng — điện tổng của cả máy chủ (CPU, RAM, quạt) và làm mát phòng máy thường gấp 1,5–2 lần điện GPU thuần. Nói cách khác, hãy nhân đôi các con số dưới đây để ước lượng hoá đơn thực tế.

*Tiền điện của riêng GPU, theo giá điện bình quân chưa VAT. Hoá đơn thực tế cao hơn do có CPU/RAM/làm mát (thường ×1,5–2), VAT, và biểu giá theo cấp điện áp/khung giờ.

Điểm bất ngờ với nhiều người: tiền điện GPU thường KHÔNG phải khoản lớn nhất. Một GPU trung tâm dữ liệu tốn 0,5–1,1 triệu đồng điện/tháng — đáng kể, nhưng nhỏ so với vốn mua chính chiếc GPU đó. Đó là lý do bài toán TCO không thể bỏ qua phần cứng.

Ba thành phần của TCO on-premise

Tổng chi phí sở hữu (TCO) khi tự chạy LLM gồm ba khoản, và khoản lớn nhất là vốn đầu tư phần cứng — thường vượt xa tiền điện và vận hành cộng lại. Bảng dưới xếp ba khoản theo mức độ và tính biến động, để doanh nghiệp biết đâu là biến cần chốt trước khi quyết.

Tự chạy so với thuê cloud API

Ở khối lượng dùng thấp đến vừa, thuê cloud API cùng một mô hình thường rẻ hơn tự chạy, vì bạn không phải bỏ vốn phần cứng. Lấy chính Qwen2.5-72B làm ví dụ: giá cloud tham chiếu (trung vị các nhà cung cấp, theo Artificial Analysis) là $0,475 cho 1 triệu token đầu vào và $0,495 cho 1 triệu token đầu ra. Quy đổi theo tỷ giá ~26.440 đ/USD (Vietcombank, 17/07/2026), ta có:

Đọc bảng cho đúng: tiền điện tự chạy gần như cố định theo giờ vận hành, còn chi phí cloud tăng theo lượng token. Vì thế cloud rẻ hơn khi dùng ít; đến một ngưỡng khối lượng đủ cao và liên tục, phần điện + khấu hao phần cứng của tự chạy mới rẻ hơn tính trên mỗi token. Nhưng con số quyết định là vốn GPU — thứ bài này cố ý không gán giá vì nó biến động mạnh theo thị trường; doanh nghiệp phải lấy báo giá thực tế rồi chia khấu hao để so sánh cho đúng.

Góc nhìn cho doanh nghiệp Việt

Với đa số doanh nghiệp Việt, lựa chọn hợp lý không phải "tất cả tự chạy" hay "tất cả cloud", mà là phân loại theo dữ liệu và khối lượng. Đây là khung chúng tôi khuyến nghị, nối tiếp lộ trình tự xây AI nội bộ và chủ quyền dữ liệu AI:

• Bắt đầu bằng mô hình nhỏ, lượng tử hoá: nhu cầu 7–32 tỷ tham số chạy tốt trên một GPU 24 GB — điểm vào rẻ nhất để thử on-premise thật trước khi mở rộng.
• Dữ liệu nhạy cảm → tự chạy; tác vụ thường → cân nhắc API: nếu bài toán bắt buộc giữ dữ liệu tại chỗ (tuân thủ Nghị định 13/2023 về bảo vệ dữ liệu cá nhân, hợp đồng khách hàng), tự chạy là điều kiện — chi phí là cái giá của chủ quyền, không phải để tiết kiệm.
• Tính TCO bằng số thật của bạn: lấy khối lượng token thực tế + báo giá GPU thực tế + hoá đơn điện thực tế, rồi mới so cloud vs tự chạy. Đừng quyết dựa trên cảm tính "on-premise chắc rẻ hơn".

Tự chạy LLM on-premise không mặc định rẻ hơn cloud — nó rẻ hơn khi khối lượng dùng đủ lớn và liên tục, và luôn đáng khi dữ liệu buộc phải ở lại trong tổ chức.

Câu hỏi thường gặp

Lưu ý: Bài viết tổng hợp từ nguồn công khai tại 18/07/2026. Số VRAM là ước tính theo công thức tham số × byte (trọng số thô, chưa gồm overhead 20–30%); tiền điện là kết quả tính toán từ TDP chính hãng và giá điện bình quân chính thức, chưa gồm VAT và điện phụ trợ; giá cloud API và tỷ giá có thể thay đổi. Thông tin tham khảo, không phải tư vấn kỹ thuật, đầu tư hay pháp lý.