Tether AI open-source công cụ TurboQuant, giảm 5 lần bộ nhớ KV cache cho LLM

Tether AI công bố mã nguồn mở TurboQuant

Tether – công ty phát hành stablecoin USDT lớn nhất thế giới – thông qua bộ phận AI của mình vừa ra mắt công cụ mang tên TurboQuant dưới dạng mã nguồn mở. Công cụ này được thiết kế nhằm tối ưu hóa việc sử dụng bộ nhớ KV cache (Key-Value cache) trong các mô hình ngôn ngữ lớn (LLM), giúp giảm mức tiêu thụ bộ nhớ xuống 5 lần so với phương pháp truyền thống.

KV cache là gì?

KV cache là cơ chế lưu trữ tạm thời các kết quả trung gian trong quá trình mô hình ngôn ngữ xử lý chuỗi token. Khi mô hình xử lý câu dài hoặc chạy nhiều lượt suy luận liên tiếp, KV cache giúp tiết kiệm chi phí tính toán bằng cách tái sử dụng các kết quả đã tính toán. Tuy nhiên, bộ nhớ cần thiết để lưu trữ KV cache thường rất lớn, trở thành rào cản đáng kể khi triển khai LLM trên các thiết bị có tài nguyên hạn chế.

TurboQuant hoạt động như thế nào?

TurboQuant áp dụng kỹ thuật lượng tử hóa (quantization) để giảm dung lượng của KV cache mà không làm giảm đáng kể độ chính xác của mô hình. Thay vì lưu trữ giá trị số thực (floating-point) đầy đủ, dữ liệu được biểu diễn dưới dạng giá trị có độ chính xác thấp hơn, qua đó giảm đáng kể lượng bộ nhớ cần thiết.

Theo thông tin từ bài đăng chính thức, giải pháp này mở ra khả năng chạy các mô hình ngôn ngữ lớn trên phần cứng phổ thông – bao gồm các máy tính cá nhân và thiết bị edge – mà trước đây không đáp ứng được yêu cầu về bộ nhớ.

Tác động tiềm năng đến hệ sinh thái AI và blockchain

Việc công bố mã nguồn mở của TurboQuant được kỳ vọng sẽ:

• Giảm rào cản gia nhập: Các nhà phát triển và tổ chức nhỏ có thể triển khai LLM cục bộ mà không cần đầu tư hạ tầng đám mây quy mô lớn.
• Tăng cường quyền riêng tư: Khi xử lý diễn ra trên thiết bị của người dùng thay vì server bên thứ ba, dữ liệu không cần phải truyền qua các dịch vụ cloud tập trung.
• Mở ra tích hợp AI-on-chain: Với mức tiêu thụ bộ nhớ thấp hơn, việc tích hợp các mô hình AI trực tiếp vào các ứng dụng blockchain và DeFi trở nên khả thi hơn về mặt kỹ thuật.

Bối cảnh thị trường

Động thái này nằm trong xu hướng các công ty blockchain ngày càng quan tâm đến việc ứng dụng trí tuệ nhân tạo vào sản phẩm và dịch vụ của mình. Tether trong những năm gần đây không chỉ tập trung vào stablecoin mà còn mở rộng sang các lĩnh vực khác như khai thác Bitcoin và AI.

Hiện tại, cộng đồng có thể truy cập và sử dụng mã nguồn của TurboQuant thông qua kho lưu trữ chính thức của Tether AI. Các chuyên gia trong ngành đánh giá đây là bước đi có ý nghĩa trong việc phân cấp hóa công nghệ AI, giúp giảm sự phụ thuộc vào các nền tảng đám mây tập trung do một số ít tập đoàn kiểm soát.