Bonsai 27B: Mô hình AI suy luận đầu tiên chạy trực tiếp trên iPhone

Bonsai 27B: Mô hình AI suy luận 27B tham số chạy trực tiếp trên iPhone

Công ty PrismML vừa giới thiệu Bonsai 27B, được mô tả là mô hình AI suy luận (reasoning model) đầu tiên với 27 tỷ tham số có khả năng vận hành hoàn toàn trên thiết bị di động — cụ thể là iPhone — mà không cần phụ thuộc vào hạ tầng điện toán đám mây.

On-device AI: Từ khái niệm đến thực tế

Trước đây, các mô hình ngôn ngữ lớn (LLM) với hàng chục tỷ tham số thường đòi hỏi máy chủ GPU chuyên dụng hoặc ít nhất là phần cứng máy tính để bàn hiệu năng cao. Việc nén một mô hình 27 tỷ tham số xuống đủ nhỏ để chạy trên bộ nhớ và chip của một chiếc điện thoại thông minh là thách thức kỹ thuật đáng kể về lượng tử hóa (quantization), tối ưu bộ nhớ và tốc độ suy luận.

PrismML cho biết Bonsai 27B được cung cấp miễn phí, và theo các bài kiểm thử thực tế, hiệu suất của mô hình được đánh giá là ấn tượng so với kỳ vọng đối với phần cứng di động.

Ý nghĩa với hệ sinh thái Web3 và crypto

Trong bối cảnh ngành blockchain, sự xuất hiện của các mô hình AI có thể chạy hoàn toàn on-device mang một số hàm ý đáng chú ý:

• Bảo mật và quyền riêng tư: Các ứng dụng ví, DeFi hay phân tích on-chain có thể tích hợp AI mà không cần gửi dữ liệu người dùng lên server bên thứ ba.
• Phi tập trung hóa thực sự: Trợ lý AI phục vụ giao dịch hoặc phân tích thị trường có thể hoạt động độc lập, không phụ thuộc vào các nhà cung cấp API tập trung.
• Hạ thấp rào cản: Người dùng ở các khu vực kết nối internet hạn chế vẫn có thể tiếp cận công cụ AI mạnh mẽ.

Một số dự án AI x crypto đang xây dựng hạ tầng cho phép các agent AI hoạt động tự chủ trên blockchain — xu hướng này sẽ được hưởng lợi đáng kể nếu các mô hình suy luận mạnh như Bonsai 27B trở nên phổ biến trên thiết bị cá nhân.

Cuộc đua AI on-device ngày càng nóng

Bonsai 27B không xuất hiện trong chân không. Apple đã tích hợp Apple Intelligence vào dòng iPhone 16, trong khi Google đưa Gemini Nano lên các thiết bị Pixel. Tuy nhiên, các mô hình này thường bị giới hạn ở quy mô nhỏ hơn đáng kể hoặc chỉ xử lý một số tác vụ nhất định.

Thành tựu của PrismML — nếu các benchmark độc lập xác nhận — sẽ đánh dấu ngưỡng 27B tham số là khả thi trên phần cứng di động tiêu dùng, một mốc mà nhiều nhà nghiên cứu cho là cần thiết để AI on-device thực sự hữu ích cho các tác vụ suy luận phức tạp.

Nhìn về phía trước

Sự phát triển của AI on-device mạnh mẽ có thể tác động đến cả thị trường token liên quan đến AI infrastructure. Khi sức mạnh tính toán dịch chuyển ra ngoài trung tâm dữ liệu, các mô hình kinh tế của các dự án cung cấp GPU phi tập trung hoặc tính toán phân tán cũng sẽ cần thích nghi theo.

Bonsai 27B hiện đã có thể tải về và sử dụng miễn phí, đặt ra câu hỏi thú vị về hướng phát triển tiếp theo của PrismML và cách mô hình này sẽ được cộng đồng developer Web3 tiếp nhận.