Chi phí thật để tự chạy LLM on-premise 2026: VRAM, GPU hay Mac Studio, và tiền điện

"Tự chạy AI on-premise để dữ liệu không rời tổ chức" là hướng đi ngày càng được doanh nghiệp Việt cân nhắc. Nhưng trước khi mua phần cứng, câu hỏi đầu tiên phải là: tốn bao nhiêu? Bài này bóc tách ba khoản chi phí thật của việc tự vận hành một mô hình ngôn ngữ lớn (LLM): VRAM (mô hình cần bao nhiêu bộ nhớ GPU), tiền điện (GPU chạy 24/7 tốn bao nhiêu theo giá điện chính thức tại Việt Nam), và phần cứng (GPU hay máy Apple Silicon như Mac Studio) — rồi so sánh với chi phí gọi cloud API cùng một mô hình. Mọi con số đều dẫn nguồn công khai, tra cứu ngày 18/07/2026; phần Mac Studio / Mac mini cập nhật ngày 24/09/2026.

Mô hình cần bao nhiêu VRAM?

Một mô hình cần bộ nhớ GPU (VRAM) tối thiểu bằng số tham số nhân với số byte lưu mỗi tham số. Ở độ chính xác FP16/BF16, mỗi tham số chiếm 2 byte; lượng tử hoá xuống INT8 còn 1 byte, INT4 còn 0,5 byte. Vì vậy một mô hình 72,7 tỷ tham số (Qwen2.5-72B, theo model card HuggingFace) cần ~145 GB VRAM ở FP16, nhưng chỉ ~36 GB ở INT4 — đủ vừa một GPU 80 GB. Đây là lý do lượng tử hoá (quantization) gần như bắt buộc khi tự host.

Lưu ý quan trọng: con số trong bảng dưới là trọng số thô (weights only). Khi chạy thực tế, phải cộng thêm khoảng 20–30% cho KV-cache, activations và overhead của runtime — nên hãy xem đây là sàn tối thiểu, không phải mức cấu hình khuyến nghị. (GB ở đây tính theo tỷ byte để dễ đối chiếu dung lượng GPU.)

Bài học rút ra: chọn cỡ mô hình trước, GPU theo sau. Một mô hình 7–32 tỷ tham số lượng tử hoá có thể chạy trên một card tiêu dùng 24 GB; nhưng nhóm 70 tỷ trở lên đã cần GPU trung tâm dữ liệu 80 GB hoặc ghép nhiều card — bước nhảy chi phí rất lớn.

Máy Apple Silicon giải bài toán này theo cách khác: bộ nhớ hợp nhất — CPU và GPU dùng chung một khối RAM. macOS mặc định cho GPU dùng khoảng 75% bộ nhớ đó, nên theo ước lượng của Namtech, một Mac Studio 64GB dành được ~48 GB cho mô hình — đủ nạp nhóm 70–72 tỷ tham số ở INT4 trong một máy, không phải ghép card. Đây là ước lượng từ dung lượng bộ nhớ, không phải số đo tốc độ.

Tiền điện: GPU chạy 24/7 tốn bao nhiêu?

Tiền điện một GPU chạy liên tục cả tháng tính bằng công thức TDP (kW) × 720 giờ × giá điện. Với giá bán lẻ điện bình quân tại Việt Nam là 2.204,0655 đ/kWh (chưa gồm VAT, áp dụng từ 10/5/2025 theo Bộ Công Thương), một GPU H100 công suất 700W chạy 24/7 tiêu thụ ~504 kWh và tốn khoảng 1,11 triệu đồng/tháng — và đó mới chỉ là điện của riêng GPU.

Chúng tôi dùng giá bình quân làm mốc minh bạch, dễ kiểm chứng. Trên thực tế, hoá đơn của doanh nghiệp còn phụ thuộc cấp điện áp và khung giờ (thấp/bình thường/cao điểm) theo biểu giá tại Quyết định 1279/QĐ-BCT, cộng VAT, và — quan trọng — điện tổng của cả máy chủ (CPU, RAM, quạt) và làm mát phòng máy thường gấp 1,5–2 lần điện GPU thuần. Nói cách khác, hãy nhân đôi các con số dưới đây để ước lượng hoá đơn thực tế.

*Tiền điện của riêng GPU, theo giá điện bình quân chưa VAT. Hoá đơn thực tế cao hơn do có CPU/RAM/làm mát (thường ×1,5–2), VAT, và biểu giá theo cấp điện áp/khung giờ.

Mac Studio và Mac mini tốn bao nhiêu điện?

Cùng công thức, nhưng với máy Apple ta dùng số Apple công bố cho cả máy (CPU, GPU, bộ nhớ, SSD) chứ không chỉ riêng phần GPU như Bảng 2. Theo Apple, mức tiêu thụ tối đa đo được của Mac Studio khoảng 200W với M5 Max và 385W với M5 Ultra; định mức nguồn liên tục tối đa của Mac Studio là 480W và của Mac mini là 155W (trang thông số Apple).

*Tính cho cả máy ở mức tối đa, giá điện bình quân chưa VAT — máy không phải lúc nào cũng chạy hết công suất, nên đây là mức trần. Apple đo mức 385W trên bản M5 Ultra 36 CPU/80 GPU; gói AI Enterprise dùng bản 30 CPU/64 GPU nên chúng tôi lấy 385W làm trần. Hoá đơn thực tế vẫn phụ thuộc VAT và biểu giá theo cấp điện áp/khung giờ.

So sánh cho công bằng: Bảng 2 là điện của riêng GPU, còn Bảng 2b là cả máy. Dù vậy, Mac Studio M5 Max ở mức tối đa (~200W cho cả máy) vẫn thấp hơn điện của riêng bất kỳ GPU nào trong Bảng 2; bản M5 Ultra (~385W) ngang tầm riêng một GPU A100. Và vì là máy để bàn (nhiệt độ hoạt động 10–35°C theo Apple) nên không bắt buộc phòng máy riêng như rack GPU.

Điểm bất ngờ với nhiều người: tiền điện GPU thường KHÔNG phải khoản lớn nhất. Một GPU trung tâm dữ liệu tốn 0,5–1,1 triệu đồng điện/tháng — đáng kể, nhưng nhỏ so với vốn mua chính chiếc GPU đó. Đó là lý do bài toán TCO không thể bỏ qua phần cứng.

Ba thành phần của TCO on-premise

Tổng chi phí sở hữu (TCO) khi tự chạy LLM gồm ba khoản, và khoản lớn nhất là vốn đầu tư phần cứng — thường vượt xa tiền điện và vận hành cộng lại. Bảng dưới xếp ba khoản theo mức độ và tính biến động, để doanh nghiệp biết đâu là biến cần chốt trước khi quyết.

Tự chạy so với thuê cloud API

Ở khối lượng dùng thấp đến vừa, thuê cloud API cùng một mô hình thường rẻ hơn tự chạy, vì bạn không phải bỏ vốn phần cứng. Lấy chính Qwen2.5-72B làm ví dụ: giá cloud tham chiếu (trung vị các nhà cung cấp, theo Artificial Analysis) là $0,475 cho 1 triệu token đầu vào và $0,495 cho 1 triệu token đầu ra. Quy đổi theo tỷ giá ~26.440 đ/USD (Vietcombank, 17/07/2026), ta có:

Đọc bảng cho đúng: tiền điện tự chạy gần như cố định theo giờ vận hành, còn chi phí cloud tăng theo lượng token. Vì thế cloud rẻ hơn khi dùng ít; đến một ngưỡng khối lượng đủ cao và liên tục, phần điện + khấu hao phần cứng của tự chạy mới rẻ hơn tính trên mỗi token. Nhưng con số quyết định là vốn phần cứng. Giá GPU trung tâm dữ liệu biến động mạnh nên bài này không gán giá; doanh nghiệp phải lấy báo giá thực tế rồi chia khấu hao.

Với Mac Studio thì có giá công khai để làm phép chia. Máy gói AI Pro (64GB, đủ nạp Qwen2.5-72B ở INT4 theo ước lượng ở Bảng 1) giá 111.150.000₫ đã gồm VAT. Nếu giả định khấu hao 36 tháng, mỗi tháng ~3,09 triệu đ, cộng điện tối đa ~0,32 triệu đ (Bảng 2b) — ngang chi phí API ở mức 200M token vào + 100M ra (3,82 triệu đ). Đây chỉ là phép chia minh hoạ: bài chưa kiểm chứng một máy có xử lý kịp khối lượng đó hay không, vì tốc độ phụ thuộc mô hình, độ dài prompt và số người dùng đồng thời — cần đo trên tải thật trước khi kết luận.

Góc nhìn cho doanh nghiệp Việt

Với đa số doanh nghiệp Việt, lựa chọn hợp lý không phải "tất cả tự chạy" hay "tất cả cloud", mà là phân loại theo dữ liệu và khối lượng. Với phần tự chạy, Namtech triển khai trên Apple Silicon (Mac Studio), nối tiếp lộ trình tự xây AI nội bộ và chủ quyền dữ liệu AI. Lý do: bộ nhớ hợp nhất lớn trong một máy, giá công khai, điện thấp và đặt được ngay tại văn phòng.

Chọn cấu hình theo nhu cầu

*Ước lượng của Namtech để tư vấn chọn máy, không phải số đo benchmark: bộ nhớ dùng được ≈ RAM × 0,75 (phần macOS mặc định cho GPU dùng); mô hình lượng tử 4-bit ≈ 0,5 byte/tham số, chừa 20% cho ngữ cảnh. Giá chỉ gồm phần cứng; phần mềm và triển khai báo riêng. Công suất: mức tối đa Apple đo được (xem Bảng 2b).

Phần mềm chạy mô hình là các công cụ phổ biến trên Mac: MLX, Ollama hoặc LM Studio; mô hình mở như Qwen, SEA-LION, Gemma — chọn cỡ theo Bảng 1 rồi đối chiếu cột "Cỡ mô hình tối đa" ở trên. Xem chi tiết từng máy tại trang Mac Studio, hoặc so sánh ba cấu hình cạnh nhau.

Nếu chỉ cần thử nghiệm hoặc dùng cá nhân, Mac mini rẻ hơn: bản M6 32GB giá 41.040.000₫ (ước lượng mô hình tới ~38 tỷ tham số) và bản M5 Pro 64GB giá 86.070.000₫ (~76 tỷ). Đổi lại, băng thông bộ nhớ thấp hơn (170 GB/s và 307 GB/s, so với 460–614 GB/s của M5 Max theo Apple) — mà băng thông là yếu tố chính quyết định tốc độ sinh chữ — nên sẽ chậm hơn Mac Studio cùng dung lượng. Đặt các máy cạnh nhau tại trang so sánh Mac.

Khi nào vẫn nên dùng GPU?

Mac Studio không thắng mọi bài toán. GPU NVIDIA vẫn là lựa chọn đúng khi:

• Nhiều người dùng đồng thời hoặc xử lý hàng loạt: GPU trung tâm dữ liệu cùng phần mềm phục vụ chuyên dụng (như vLLM) gom nhiều yêu cầu chạy cùng lúc hiệu quả hơn một máy để bàn.
• Prompt rất dài, RAG trên kho tài liệu lớn: bước đọc prompt phụ thuộc sức tính toán thô, nơi GPU mạnh hơn; lợi thế của Mac nằm ở dung lượng bộ nhớ lớn trong một máy, không phải tốc độ xử lý prompt dài.
• Huấn luyện / fine-tune mô hình, hoặc phần mềm chỉ chạy trên CUDA của NVIDIA.
• Đã có sẵn phòng máy, rack và đội vận hành GPU — khi đó chi phí biên để thêm GPU thấp hơn.

Nguyên tắc chọn không đổi, dù là GPU hay Mac:

• Bắt đầu bằng một máy, chọn theo cỡ mô hình: nhu cầu 7–32 tỷ tham số lượng tử hoá → AI Box; nhóm 70–72 tỷ → AI Pro; mô hình lớn hơn hoặc cả doanh nghiệp → AI Enterprise, rồi AI Cluster khi vượt quá một máy.
• Dữ liệu nhạy cảm → tự chạy; tác vụ thường → cân nhắc API: nếu bài toán bắt buộc giữ dữ liệu tại chỗ (tuân thủ Luật Bảo vệ dữ liệu cá nhân 91/2025/QH15, hợp đồng khách hàng), tự chạy là điều kiện — chi phí là cái giá của chủ quyền, không phải để tiết kiệm.
• Tính TCO bằng số thật của bạn: lấy khối lượng token thực tế + giá phần cứng thực tế + hoá đơn điện thực tế, rồi mới so cloud vs tự chạy. Đừng quyết dựa trên cảm tính "on-premise chắc rẻ hơn".

Tự chạy LLM on-premise không mặc định rẻ hơn cloud — nó rẻ hơn khi khối lượng dùng đủ lớn và liên tục, và luôn đáng khi dữ liệu buộc phải ở lại trong tổ chức.

Câu hỏi thường gặp

Lưu ý: Bài viết tổng hợp từ nguồn công khai tại 18/07/2026; phần Mac Studio / Mac mini cập nhật 24/09/2026. Số VRAM là ước tính theo công thức tham số × byte (trọng số thô, chưa gồm overhead 20–30%); cỡ mô hình chạy được trên Mac là ước lượng theo dung lượng bộ nhớ, không phải benchmark; tiền điện là kết quả tính toán từ công suất chính hãng (NVIDIA, Apple) và giá điện bình quân chính thức, chưa gồm VAT; giá máy Mac là giá bán Namtech đã gồm VAT tại 24/09/2026 và thay đổi theo giá niêm yết của Apple; giá cloud API và tỷ giá có thể thay đổi. Thông tin tham khảo, không phải tư vấn kỹ thuật, đầu tư hay pháp lý.