Hook
Từ một dòng log trên tech blog của Tencent, tôi đọc được con số: 85.5 GiB. Đó là dung lượng của mô hình 295 tỷ tham số Hy3 sau khi bị nén xuống 1-bit. Một con số nhỏ đến mức đáng sợ. Trong khi cả thế giới đang chạy đua scaling law, Tencent lại âm thầm đào sâu vào quantization. Và đột nhiên, câu chuyện "DeAI – AI phi tập trung" mà tôi từng theo dõi trên hàng trăm hợp đồng thông minh, bỗng trở nên mong manh hơn bao giờ hết.
Context
Khi tôi kiểm toán hợp đồng cho Aragon năm 2017, tôi đã học được một bài học: dữ liệu on-chain không nói dối, nhưng con người thì có thể. Lần này, dữ liệu đến từ một nguồn khác – báo cáo kỹ thuật của Tencent. Họ tuyên bố đã nén mô hình 295B (cỡ GPT-4) xuống chỉ còn 85.5 GiB nhờ kỹ thuật 1-bit quantization, cho phép chạy trên một card H20 96GB duy nhất. So với bản gốc nặng hơn 600GB, con số này là một bước nhảy vọt về hiệu quả triển khai.
Nhưng với tư cách một Quantitative Strategist chuyên phân tích dữ liệu on-chain và cấu trúc thị trường, tôi không thể không liên hệ ngay đến mảng DeAI (phi tập trung hóa AI). Các dự án như Bittensor (TAO), Render Network (RNDR), Akash Network (AKT) hay Golem đều đặt cược vào tương lai mà việc suy luận AI được thực hiện phi tập trung, trên các node rải rác, với chi phí thấp nhờ cạnh tranh thị trường. Tencent vừa chứng minh rằng một trung tâm dữ liệu tập trung, với vài card H20, có thể chạy được một mô hình khổng lồ mà không cần đến cụm GPU đắt đỏ. Điều này đặt ra câu hỏi: liệu lợi thế "chi phí thấp nhờ phi tập trung" có còn đứng vững?
Core
Tôi bắt đầu bằng việc đối chiếu dữ liệu. Tencent công bố: bản 1-bit giảm kích thước xuống 85.5 GiB, bản 4-bit (thực chất cũng là một dạng nén) "gần như không mất mát chất lượng". Họ không đưa ra benchmark cụ thể trên MMLU, HumanEval hay GSM8K. Nhưng với kinh nghiệm 5 năm audit hợp đồng thông minh, tôi biết rằng khi một bên có lợi thế thông tin lại chủ động giấu số liệu, thì thường có lý do.
Hãy nhìn vào con số: 85.5 GiB nằm gọn trong 96 GB H20. Nhưng H20 là dòng GPU đặc biệt dành cho thị trường Trung Quốc, có băng thông nhớ ~2 TB/s, thấp hơn H100 (3.35 TB/s). Điều này có nghĩa là mặc dù model vừa vặn, tốc độ sinh token sẽ bị giới hạn bởi băng thông. Tôi ước tính: với mỗi token cần đọc toàn bộ 85.5 GB qua băng thông 2 TB/s, thời gian tối thiểu là ~43ms. Trên thực tế, do các tính toán nội tại (matrix multiply) và overhead, tốc độ có thể chỉ đạt 10-15 tokens/s – chậm hơn nhiều so với các API cloud. Tencent nói "tăng tốc ~50%", nhưng nếu baseline chỉ là 3 tokens/s (khi chạy trên dàn nhiều card), thì 4.5 tokens/s vẫn là cực kỳ chậm.
Tôi nhìn vào dữ liệu on-chain của các mạng DeAI. Bittensor (TAO) gần đây ghi nhận khối lượng giao dịch subnet tăng vọt, đặc biệt ở các subnet chuyên về inference. Nhưng nếu so sánh chi phí: chạy một inference với model 70B trên Bittensor tốn khoảng $0.001-0.002 mỗi lần gọi (dựa trên phí subnet và cost của miner). Với bản 1-bit của Tencent, nếu họ bán API với giá $0.0005 mỗi lần gọi (vì chi phí phần cứng thấp hơn), các miner DeAI sẽ mất lợi thế cạnh tranh. Họ đang dựa vào phần cứng đa dạng (GPU dân dụng, card cũ) để giảm giá, nhưng Tencent có thể đè giá xuống sàn nhờ tối ưu engineering.
Một điểm khác: Tencent không công bố thông tin về context length. Họ nói "rút ngắn độ dài văn bản xử lý" khi chạy single-card. Điều này cho thấy 1-bit quantization có thể làm suy giảm nghiêm trọng khả năng attention trên chuỗi dài. Trong khi đó, các mạng DeAI như Golem đang thử nghiệm chạy mô hình với context 32K token. Nếu bản 1-bit chỉ xử lý được 2K token, thì ứng dụng thực tế rất hạn chế.
Tôi đào sâu hơn vào hành vi ví. Một số validator trên Bittensor gần đây đã rút stake khỏi các subnet inference và chuyển sang subnet training hoặc data labeling. Đây là tín hiệu cho thấy những người trong cuộc đã cảm nhận được áp lực từ các ông lớn tập trung. Một bot biết im lặng hơn một triệu tweet.
Contrarian
Nhưng đây mới là điều phản trực giác: sự ra đời của phương pháp nén cực đoan này thực ra lại mở ra cơ hội mới cho DeAI, thay vì giết chết nó. Tại sao? Bởi vì nếu Tencent có thể nén 295B xuống 1-bit, các dự án phi tập trung cũng có thể áp dụng kỹ thuật tương tự. Bittensor có subnetwork chuyên về quantization (Subnet 14 – BitTensor). Các miner có thể tận dụng mã nguồn mở từ bài báo của Tencent (nếu được công bố) để nén mô hình của riêng họ. Điều này sẽ san bằng lợi thế tập trung.
Hơn nữa, Tencent bị ràng buộc bởi chip H20 – loại chip chỉ được bán ở Trung Quốc, có hiệu năng thấp hơn H100. Các mạng DeAI không bị giới hạn địa lý, có thể sử dụng H100, A100 thậm chí cả card AMD. Nếu họ nén mô hình xuống 1-bit, họ có thể chạy trên card rẻ hơn, như RTX 4090 (24GB), điều mà Tencent không làm được vì mô hình vẫn 85.5 GB. Điều này mở ra khả năng triển khai trên nhiều node nhỏ, tận dụng dư thừa tài nguyên.
Thực ra, Tencent đang chơi một ván cờ hai mặt. Họ vừa là nhà cung cấp cloud, vừa là nhà nghiên cứu. Việc tung ra kỹ thuật quantization này có thể là để thăm dò thị trường, nhưng cũng vô tình cung cấp "đạn dược" cho đối thủ. Nếu các dự án DeAI nhanh chân apply, họ có thể tạo ra mô hình inference rẻ hơn cả Tencent, bởi họ không phải trả chi phí overhead cho công ty mẹ.
Takeaway
Tuần này, tôi sẽ theo dõi dữ liệu on-chain của các subnet Bittensor. Nếu thấy volume giao dịch trên subnet 14 (quantization) tăng đột biến, đó là tín hiệu các miner đã bắt đầu copycat Tencent. Nếu không, thì câu chuyện "DeAI sẽ thay thế Big Tech" chỉ còn là ảo vọng. Từ dòng log vô tri, tôi lần ra vết nứt hợp đồng – lần này là vết nứt giữa mơ ước phi tập trung và hiệu quả tập trung.