SqueezeBits giúp mô hình AI chạy nhanh và rẻ hơn

Vô cùng tốn kém để chạy các mô hình AI. Một chip AI Nvidia có thể có giá hơn 30.000 USD. Ước tính OpenAI chi 700.000 USD mỗi ngày để vận hành ChatGPT. Với chi phí như vậy, chỉ những công ty lớn nhất mới có đủ tiền để phát triển và vận hành AI.

Startup hai năm tuổi SqueezeBits ở Hàn Quốc cho biết công ty có thể giảm chi phí đó nhằm tăng khả năng tiếp cận công nghệ đang phổ biến này. Để làm được điều trên, SqueezeBits gần đây nhận sự hỗ trợ từ một trong những công ty internet hàng đầu Hàn Quốc.

Tháng 1, SqueezeBits huy động được 2,5 tỉ KRW (gần 2 triệu USD) trong vòng gọi vốn trước Series A. Startup có trụ sở tại Seoul từ chối tiết lộ mức định giá, nhưng một nguồn tin cho biết mức định giá của SqueezeBits trong vòng đó đạt khoảng 15 triệu USD.

Các nhà đầu tư trong vòng này bao gồm Kakao Ventures, công ty đầu tư mạo hiểm thuộc sở hữu của tỉ phú Kim Beom-su, Kakao, một trong hai công ty internet hàng đầu Hàn Quốc.

“Chúng tôi xem xét cách các công ty sẽ sử dụng AI và cả mức tiếp cận công nghệ này để tạo ra thêm ứng dụng như thế nào,” Justin Shin, trợ lý cấp cao tại Kakao Ventures, cho biết khi trả lời phỏng vấn qua video.

Kakao Ventures cũng là công ty hậu thuẫn ban đầu cho Rebellions ở Hàn Quốc. Công ty phát triển chip AI giá rẻ hơn (bằng khoảng một nửa giá chip H100 của Nvidia) và gần đây huy động được 124 triệu USD với mức định giá 650 triệu USD, trở thành startup chip AI nhận nhiều khoản đầu tư nhất nước.

Các nhà đầu tư khác tham gia vòng này bao gồm Samsung Next của Samsung Electronics; Posco Venture Capital, công ty đầu tư mạo hiểm thuộc tập đoàn thép khổng lồ Posco ở Hàn Quốc; và Postech Holdings, công ty nhận sự hậu thuẫn từ đại học Khoa học và Công nghệ Pohang (Postech), một trong những trường đại học công nghệ hàng đầu tại quốc gia này.

Trước đó, SqueezeBits huy động 1 tỉ KRW trong vòng gọi vốn hạt giống hồi năm 2022 từ D2 Startup Factory – công ty nhận sự hỗ trợ của Naver thuộc tỉ phú Hàn Quốc Lee Hae-jin, một tập đoàn internet lớn khác ở Hàn Quốc ngoài Kakao – và Postech Holdings. Startup này nhận tổng cộng 3,5 tỉ KRW vốn đầu tư mạo hiểm.

“Những startup phát triển ứng dụng AI này đều nhắm đến mục tiêu giảm chi phí đồng thời tối đa hóa hiệu suất bằng các mô hình AI,” Justin Shin cho biết. “Chi phí chắc chắn là vấn đề lớn nhất. Bạn cần rất nhiều tiền để xây dựng các mô hình AI có thể mở rộng và sau đó chuyển chúng thành một sản phẩm hoạt động được. Cần rất nhiều tiền để thực hiện được điều đó.”

SqueezeBits nói rằng công ty có thể giảm chi phí bằng cách tăng hiệu suất. “Các mô hình AI chứa quá nhiều tham số,” Hyungjun Kim, đồng sáng lập kiêm CEO của SqueezeBits, cho biết trong cuộc phỏng vấn video riêng. “Nhiều công ty chưa thực sự tối ưu hóa hoàn toàn mô hình để sử dụng.”

Số lượng tham số là thước đo chính đánh giá quy mô của mô hình AI và thường nhưng không phải lúc nào cũng tương quan với hiệu suất. Ví dụ như mô hình ngôn ngữ GPT-3 của OpenAI có 175 tỉ tham số và GPT-4 được tích hợp vào phiên bản ChatGPT mới nhất có 1,7 ngàn tỉ tham số.

“Mô hình có một vài tham số và dữ liệu vô dụng. Về cơ bản, chúng tôi loại bỏ những dạng dữ liệu vô dụng hoặc ít quan trọng hơn trong mô hình hoặc quá trình tính toán để có thể giảm chi phí tính toán cũng như mức sử dụng bộ nhớ,” Hyungjun Kim giải thích. “Điều đó dẫn đến suy luận AI rẻ và nhanh hơn.”

Chàng thanh niên 29 tuổi có bằng tiến sĩ về kỹ thuật điện và khoa học máy tính của Postech. Anh nói rằng SqueezeBits có thể giúp tạo ra một mô hình nhanh hơn ba đến năm lần và giảm mức sử dụng bộ nhớ xuống bốn lần.

Tháng 1, startup đã ra mắt bộ công cụ phần mềm dưới dạng dịch vụ để giúp công ty tối ưu hóa mô hình AI nguồn mở, hoặc thậm chí mô hình ngôn ngữ lớn, cho dịch vụ đám mây.

Tất nhiên, SqueezeBits không phải là công ty duy nhất tối ưu hóa các mô hình AI. Nhiều công ty khác bao gồm OmniML được thành lập tại San Jose vào năm 2021 và Xnor.ai có trụ sở tại Seattle, công ty được tách ra từ Allen Institute for AI, tổ chức phi lợi nhuận chuyên nghiên cứu AI do Paul Allen, nhà đồng sáng lập quá cố của Microsoft, thành lập hồi năm 2017.

OmniML có các nhà đầu tư bao gồm GGV Capital, Qualcomm Ventures và IMO Ventures. Theo trang tin the Information, Nvidia đã mua lại công ty trong tháng 2.

Còn Xnor.ai nhận được hỗ trợ từ Madrona Venture Group (công ty đầu tư mạo hiểm lớn nhất Seattle và là nhà đầu tư ban đầu vào Amazon) và NGP Capital được Nokia góp vốn. Apple đã mua lại công ty hồi năm 2020 với giá khoảng 200 triệu USD.

Các đối thủ trong nước của SqueezeBits bao gồm Nota, công ty huy động được 14,7 triệu USD trong vòng Series B vào năm 2021. Stonebridge Ventures (nhà đầu tư ban đầu cho startup thiết kế chip MangoBoost có trụ sở tại Seoul và Seattle) và Company K Partners (các công ty trong danh mục đầu tư bao gồm startup máy bay không người lái tự động Nearthlab trong danh sách Forbes Asia 100 to Watch năm 2023).

Hyungjun Kim không hề lo ngại trước sự cạnh tranh. Do phần cứng luôn phát triển chậm hơn so với phần mềm nên luôn có nhu cầu về các nhà cung cấp tối ưu hóa AI như SqueezeBits.

“Có rất nhiều thứ liên quan đến AI sắp ra mắt, nhưng phần cứng không thể theo kịp tốc độ đó,” Hyungjun Kim nói. “Vì vậy, luôn có một khoảng cách lớn.”

“Và chúng tôi đưa ra giải pháp để rút ngắn khoảng cách,” anh nói.

Biên dịch: Gia Nhi

———————-

Xem thêm:

Nền tảng tạo video bằng AI Pika huy động thành công 55 triệu USD
Ba tỉ phú cùng xây dựng phòng thí nghiệm AI ở Paris