Công Thức Toán Học Trọng Số GGUF, KV-Cache & Băng Thông Bộ Nhớ Trên VRAMForge

1. Phương Trình Trọng Số Siêu Khối GGUF (Effective BPW) — VRAMForge

Định dạng K-quant của llama.cpp phân bổ bit cao hơn cho ma trận attention_wv và output.weight, cộng ~6% metadata đồ thị ggml:

Weights_GB = (Parameters_Billions * Effective_BPW / 8) * 1.06
Q4_K_M = 4.85 bpw | Q5_K_M = 5.70 bpw | Q8_0 = 8.50 bpw | FP16 = 16.0 bpw

2. Độ Phình Bộ Đệm GQA KV-Cache Đa Luồng — VRAMForge

Khi tăng OLLAMA_NUM_PARALLEL trên cửa sổ ngữ cảnh 16K–64K, bộ đệm KV tăng tuyến tính theo chiều dài ngữ cảnh nhân hệ số chia sẻ tiền tố 0.65:

KV_Cache_GB = (Context_Tokens / 1024) * KV_Per_1K_Model * Quant_KV_Scale * (1 + (Users - 1) * 0.65)

3. Mô Hình Roofline Giới Hạn Băng Thông Bộ Nhớ (Tok/s) — VRAMForge

Mỗi bước sinh token đọc toàn bộ trọng số kích hoạt một lần từ RAM/VRAM, do đó băng thông GB/s quyết định trần tốc độ:

Autoregressive_Tok_s = Effective_Bandwidth_GBs / Active_Tensor_Footprint_GB
AMD EPYC / Ryzen DDR5 KVM & VDS: ~78 - 135 GB/s | NVIDIA A16 / L40S / A100: ~600 - 1,555 GB/s

Mở Bàn Tính Trực Tiếp VRAMForge →