Giảm 50% chi phí token AI: Lời hứa hay chiêu trò?
Thông cáo báo chí
|
Hồ Thế
|
Bạn nghĩ chi phí AI sẽ giảm mạnh nhờ chip quang-điện tử? Sai rồi. Tôi đã thấy đồ thị này vẽ ra trước khi ai kịp thở – ba con đường 'đa mô hình scheduling, chip nội địa và quang-điện tử' thực chất là bức tranh kỹ thuật đầy rủi ro, không phải tương lai chắc chắn.
Bối cảnh hiện tại: chi phí token là rào cản số một cho AI Agent scaling. Mới đây, một bài phân tích công bố ba hướng giảm chi phí: (1) dùng platform phối hợp nhiều LLM (routing thông minh), (2) xây dựng cluster chip nội địa (Huawei Ascend, Cambricon…), (3) chip quang-điện tử hybrid trong 3-5 năm, hứa hẹn giảm 50% cost mỗi token. Nhưng tôi, sau 5 năm săn tin crypto và phân tích DeFi/Layer2, nhìn thấy những mảnh ghép bị bỏ quên.
Core: Phân tích kỹ thuật từ dữ liệu gốc. Đầu tiên, đa mô hình scheduling đã là red flag từ năm 2022 – các platform như Anyscale, LangSmith đều có, nhưng độ trễ API và rủi ro bảo mật (data leak qua nhiều model) khiến lợi ích giảm 30-40% so với lý thuyết. Nó chỉ là 'low-hanging fruit', không phải đột phá. Thứ hai, cụm chip nội địa: Huawei Ascend 910B 1000-card cluster có MFU (Model FLOPS Utilization) chỉ đạt 40-50% so với H100 cluster 70-80%. Tôi đã thấy số liệu từ MLPerf – interconnect bandwidth (HCCS vs NVLink) thấp hơn 3 lần, nghĩa là training 70B model tốn thêm 2x thời gian và điện năng, triệt tiêu giảm cost. Thứ ba, chip quang-điện tử: chưa có engineering prototype nào vượt qua benchmark thực tế. Lightmatter mới đạt 1-2 TOPS/W, trong khi GPU 2025 dự kiến đạt 50-100 TOPS/W. Lời hứa 50% giảm token cost hoàn toàn là marketing nếu không có testbed độc lập.
Contrarian: Góc nhìn phản trực giác – chính đa mô hình scheduling lại tạo ra rủi ro đối với độ an toàn AI. Khi Agent gọi nhiều model từ các nhà cung cấp khác nhau, attack surface tăng gấp bội (model jailbreak xuyên biên). Đây là điểm mù mà không ai nói. Hơn nữa, chip quang-điện tử nếu thành công sẽ phá hủy chuỗi cung ứng quang module truyền thống – các công ty như Inphi, Coherent mất thị phần, nhưng rủi ro công nghệ là quá lớn. Tôi từng chứng kiến cơn sốt ICO 2017 hứa hẹn 'TPS vô hạn' – và giờ thì sao? Cùng một kiểu bias lạc quan.
Takeaway: Đừng vội trade dựa trên lời hứa 50%. Trong 12 tháng tới, hãy theo dõi MFU thực tế của cluster chip nội địa từ các bài test độc lập. Nếu Huawei Ascend 920 không cải thiện interconnect, toàn bộ câu chuyện giảm cost bằng chip nội địa sụp đổ. Còn chip quang? Để dành cho 2028. Bây giờ, focus vào các giải pháp scheduling an toàn và token pricing real-time – đó mới là thứ thay đổi cuộc chơi.