Thiết bị phần cứng của bạn hoặc API của ai đó: Những sự cân bằng trung thực về chi phí, quyền kiểm soát và quyền riêng tư
Chạy AI trên máy chủ riêng của bạn hoặc trả tiền cho nhà cung cấp theo yêu cầu thay đổi chi phí, mức độ kiểm soát và mức độ tiếp xúc dữ liệu của bạn. Làm thế nào để chọn.
Lựa chọn giữa API và Thiết bị Sở hữu cho Trí tuệ Nhân tạo (AI)
Mỗi công ty nghiêm túc về AI đều phải đối mặt với một điểm phân chia giống nhau. Bạn có thể gửi yêu cầu đến API của nhà cung cấp và trả phí theo sử dụng, hoặc mua hoặc thuê phần cứng, chạy các mô hình mở tự mình và thanh toán một lần. Các bên cung cấp ở cả hai phía sẽ nói rằng câu trả lời là rõ ràng. Nhưng nó không đơn giản như vậy. Nó phụ thuộc vào lượng dữ liệu bạn xử lý, loại dữ liệu và khả năng hoạt động của bạn.
Ý nghĩa thực tế của mỗi lựa chọn
Khi sử dụng API, nhà cung cấp chạy mô hình. Phần mềm của bạn gửi văn bản, nhà cung cấp trả lời và bạn nhận hóa đơn dựa trên khối lượng. Bạn có quyền truy cập vào các mô hình mạnh nhất hiện có, cập nhật đến tự động mà không cần nỗ lực từ phía bạn, và bạn có thể bắt đầu ngay hôm nay.
Với phần cứng do chính bạn sở hữu, bạn mua hoặc thuê máy chủ có GPU mạnh và chạy các mô hình mở trên chúng. Máy chủ này nằm trong văn phòng của bạn, trung tâm dữ liệu hoặc tài khoản đám mây riêng mà bạn kiểm soát. Không có dữ liệu nào rời khỏi phạm vi của bạn trừ khi bạn gửi nó ra ngoài.
Chi phí: Điểm chuyển giao dựa trên khối lượng
Giá cả API trông hấp dẫn vì nó bắt đầu từ con số 0. Một dự án thử nghiệm xử lý vài nghìn tài liệu mỗi tháng sẽ ít tốn kém hơn một bữa trưa nhóm. Nhưng điều đó không kéo dài. Chi phí tăng theo tỷ lệ trực tiếp với mức sử dụng, nên một hệ thống chuyển từ giai đoạn thử nghiệm sang từng bộ phận có thể biến từ một khoản chi nhỏ thành một mục ngân sách thực sự chỉ trong một quý.
Phần cứng do chính bạn sở hữu đảo ngược điều này. Bạn trả một khoản tiền lớn ban đầu, và sau đó mỗi yêu cầu bổ sung gần như không tốn kém. Chi phí cho máy chủ là như nhau dù nó xử lý 10 yêu cầu hay 10.000. Nó vẫn có chi phí hoạt động: điện, làm mát, thay thế linh kiện và thời gian của ai đó để bảo trì máy chủ. Đây là chi phí mà nhiều công ty thường bỏ qua.
Quy tắc trung thực: Nếu mức sử dụng của bạn nhỏ, không ổn định hoặc vẫn trong giai đoạn thử nghiệm, API rẻ hơn. Nếu nó ổn định, có khối lượng cao và được tích hợp vào hoạt động hàng ngày, phần cứng do chính bạn sở hữu thường tự trả vốn trong khoảng từ 1 đến 3 năm. Hãy tính toán khối lượng thực tế hàng tháng trước khi ký bất kỳ hợp đồng nào. Hầu hết các công ty đều đoán sai ở cả hai hướng.
Kiểm soát: Ai quyết định thay đổi
Nhà cung cấp có thể loại bỏ mô hình mà bạn phụ thuộc, thay đổi hành vi của nó, tăng giá hoặc giới hạn tốc độ trong tuần bận rộn. Họ thường cho biết trước. Họ không yêu cầu sự đồng ý của bạn. Nếu một quy trình làm việc đã được điều chỉnh để phù hợp với những điểm yếu của một mô hình cụ thể, một bản nâng cấp đột ngột có thể khiến nó hoạt động sai thầm lặng và bạn mới nhận ra khi kết quả bắt đầu trông khác lạ.
Với phần cứng do chính bạn sở hữu, mô hình mà bạn đã kiểm tra là mô hình bạn chạy, trong thời gian dài như bạn muốn. Bạn chọn thời điểm nâng cấp và có thể thử phiên bản mới trước khi áp dụng nó. Sự ổn định này đặc biệt quan trọng đối với các quy trình cung cấp hợp đồng, báo cáo tuân thủ hoặc bất cứ điều gì mà cơ quan quản lý có thể yêu cầu giải thích.
Giá của sự kiểm soát là trách nhiệm. Khi máy chủ gặp sự cố lúc 3 giờ sáng, không có kỹ sư trực sẵn nào khác để nhận cuộc gọi.
Bảo mật: Đọc hợp đồng, sau đó lập bản đồ dữ liệu
Các nhà cung cấp API lớn cung cấp các điều khoản kinh doanh loại trừ dữ liệu của bạn khỏi việc huấn luyện mô hình, và nhiều người trong số họ còn cung cấp cư trú dữ liệu theo khu vực. Đối với nhiều công ty, điều này là đủ. Nhưng "không được sử dụng cho việc huấn luyện" không giống như "chưa bao giờ rời khỏi tòa nhà của bạn." Dữ liệu của bạn vẫn phải vượt qua mạng, nằm trên cơ sở hạ tầng của ai đó trong một thời gian ngắn và tuân theo chính sách lưu trữ và thẩm quyền của họ.
Đối với một số loại dữ liệu, điều này là chấp nhận được. Đối với các tệp hợp đồng pháp lý, hồ sơ bệnh nhân, báo cáo tài chính chưa công bố hoặc dữ liệu cá nhân bị ràng buộc bởi các quy định quốc gia nghiêm ngặt, nó có thể không phù hợp, bất kể những gì hợp đồng nói. Phần cứng do chính bạn sở hữu loại bỏ việc chuyển giao và không có bên thứ ba nào để kiểm toán.
Những câu hỏi quyết định lựa chọn
Trước khi đưa ra quyết định, hãy đảm bảo trả lời rõ ràng các câu hỏi sau:
- Khối lượng: Hiện tại và trong một năm nếu dự án thành công, bạn cần bao nhiêu yêu cầu mỗi tháng?
- Độ nhạy cảm dữ liệu: Loại nào trong dữ liệu của bạn có thể hợp pháp và theo hợp đồng rời khỏi hệ thống của bạn?
- Yêu cầu khả năng: Công việc này có cần mô hình mạnh nhất trên thị trường hay một mô hình mở tốt sẽ đủ?
- Khả năng hoạt động: Ai sẽ vá, giám sát và sửa chữa phần cứng, và họ có thời gian không?
- Độ dung chịu thay đổi: Điều gì sẽ xảy ra nếu mô hình dưới bạn thay đổi mà không có cảnh báo?
Hầu hết các công ty đều kết hợp cả hai
Lựa chọn hiếm khi là tất cả hoặc không có gì. Một mẫu phổ biến và hợp lý là chạy các công việc nhạy cảm, có khối lượng cao và dự đoán trên phần cứng do chính bạn sở hữu, và gửi các nhiệm vụ thỉnh thoảng, phức tạp hoặc thử nghiệm đến API. Tìm kiếm tài liệu nội bộ qua các tệp bí mật ở lại trong hệ thống của bạn. Một phân tích thị trường một lần đi đến mô hình mạnh nhất có thể thuê.
Bắt đầu với API để tìm hiểu những gì hoạt động và đo lường sử dụng thực tế. Di chuyển một khối công việc sang phần cứng do chính bạn sở hữu khi các con số và quy định về dữ liệu biện minh cho điều đó. Đây là công việc nặng mà chúng tôi, Hercules A, thực hiện bằng cách xác định tỷ lệ phân chia và vận hành bên trong, nhưng lý luận trên vẫn đúng cho bất kỳ ai thực hiện công việc này. Quyết định dựa trên khối lượng, dữ liệu và khả năng của bạn, chứ không phải từ nhà cung cấp nói chuyện với bạn cuối cùng.