Apple cắt ngân sách AI của nhân viên: hạn mức token nghĩa là gì với kỹ sư

Apple đã cắt ngân sách AI của nhân viên ra sao?

Apple đã hạ hạn mức chi AI hằng ngày cho các nhóm kỹ sư từ 300 USD xuống 200 USD vào tháng 10 ^[3]. Nguồn tin của Bloomberg cho biết một số kỹ sư đã thấy hạn mức bị cắt, và các đợt giảm tiếp theo đang được lên kế hoạch cho nhiều nhóm ^[1].

Theo những người nắm thông tin về thay đổi này, Apple đã thực hiện đợt cắt giảm một cách lặng lẽ ^[1]. Chi tiết đến từ các báo cáo dựa trên nguồn không được nêu tên.

Kế hoạch cắt giảm còn đi xa hơn. TechCrunch cho biết một số hạn mức có thể giảm xuống còn 100 USD mỗi ngày ^[3].

Hạn mức có thể giảm thấp đến mức nào?

Các nhóm ngoài kỹ thuật hiện đang áp dụng hạn mức 100 USD mỗi ngày, và Apple đã cân nhắc giảm con số này xuống còn 25 USD đối với một số nhóm ^[1]. Nhân viên cần quyền truy cập cao hơn có thể xin ngoại lệ từ lãnh đạo cấp cao ^[1][2].

Quy trình ngoại lệ quan trọng không kém con số. Một hạn mức mà ai cũng có thể gỡ bằng cách xin phép là một ngân sách có bước rà soát, không phải giới hạn cứng. Câu hỏi thực tế với mỗi nhóm là ai duyệt ngoại lệ, họ cần bằng chứng gì, và quyết định có được ghi lại để yêu cầu sau được xét giống như vậy hay không.

Những công cụ AI nào nằm trong hạn mức?

Ngân sách được tính bằng token AI, đơn vị mà các mô hình như ChatGPT của OpenAI, Claude của Anthropic và Gemini của Google xử lý ^[2]. Bloomberg cho biết nhân viên Apple có quyền truy cập nhiều dịch vụ trong số này, nhưng chưa rõ công cụ nào chịu giới hạn mới ^[1].

Một số nhóm cũng được khuyến khích dùng mô hình rẻ hơn, hoặc mô hình chạy trực tiếp trên thiết bị, để giảm chi phí ^[1]. Điểm này rất thực tế. Nhóm nào hoàn thành công việc thường ngày bằng mô hình nhỏ hơn sẽ tiêu ít token hơn cho cùng kết quả, nên ngân sách cố định đi được xa hơn.

Hạn mức token cũng biến lựa chọn mô hình thành một quyết định ngân sách, không chỉ là quyết định kỹ thuật. Cùng một câu hỏi có thể tốn chi phí rất khác nhau tùy mô hình trả lời, và hạn mức làm cho chênh lệch đó hiện rõ với những người viết câu lệnh.

Hạn mức 200 USD có nghĩa gì trong thực tế?

Phép tính khá đơn giản. Với 300 USD mỗi ngày, một tuần làm việc 5 ngày giới hạn chi tiêu của một người ở mức 1.500 USD. Với 200 USD, mức trần là 1.000 USD.

Đây là mức trần, không phải hóa đơn. Bloomberg lưu ý vẫn chưa rõ Apple thực sự tiết kiệm được bao nhiêu, vì một số nhân viên vốn không dùng hết hạn mức ^[1].

Vì sao Apple siết chi tiêu lúc này?

Bloomberg liên hệ thay đổi này với đợt cắt giảm chi phí rộng hơn của CEO John Ternus ^[1]. Thời điểm này đáng chú ý vì Apple vẫn đang mở rộng cách dùng AI trong toàn bộ hoạt động ^[2]. Cắt ngân sách trong khi bổ sung công cụ AI là một bài toán cân bằng: công ty muốn dùng nhiều AI hơn, nhưng với mức chi phí mà họ kiểm soát được.

Một số nhân viên xem các đợt cắt giảm là dấu hiệu của đợt cắt giảm chi phí diện rộng, làm tăng lo ngại về khả năng sa thải ^[1]. TechCrunch cho biết đã liên hệ Apple để xin bình luận ^[3].

Nhân viên có dùng hết ngân sách không?

Theo nguồn của Bloomberg, rất ít nhân viên dùng hết 300 USD mỗi ngày ^[1]. Điều đó khiến mức tiết kiệm khó dự đoán.

Hạn mức mà phần lớn người không chạm tới vẫn có thể thay đổi hành vi, vì nó đặt ra một giới hạn nhìn thấy được và một quy trình xin thêm. Tuy vậy, tác động lên hóa đơn có thể nhỏ hơn nhiều so với con số tiêu đề.

Đây là điểm cốt lõi với người làm kỹ thuật. Đặt hạn mức chi tiêu thì dễ. Biết hạn mức đó có làm thay đổi công việc hay không thì khó hơn nhiều.

Với một trưởng nhóm, phép thử thực tế rất đơn giản. Nếu hạn mức buộc nhóm phải hỏi vì sao một tác vụ cần mô hình lớn nhất, thì hạn mức đã làm được việc hữu ích. Nếu nó chỉ chuyển việc dùng sang một công cụ khác, thì chưa.

Tokenmaxxing là gì, và vì sao nó liên quan ở đây?

Tokenmaxxing là thực hành tiêu thụ càng nhiều token AI càng tốt, thường được xem như thước đo cho năng suất. Trong một năm qua, nó lan rộng khắp Thung lũng Silicon. Các công ty như Meta đưa ra bảng xếp hạng nội bộ, một số không chính thức, xếp hạng nhân viên theo mức dùng token AI ^[1].

TechCrunch mô tả cùng một mô thức: các công ty thúc nhân viên dùng AI tối đa, nhân danh những lợi ích hiệu quả được nói một cách mơ hồ, rồi bắt đầu hạn chế token khi hóa đơn đến hạn ^[3]. Vẫn còn lo ngại về khoảng cách giữa chi phí xây dựng và vận hành AI với năng suất mà công nghệ này hướng tới ^[3].

Tokenmaxxing có một vấn đề về đo lường. Số lượng token dễ thu thập, nên chúng trở thành mục tiêu. Khi một con số đã là mục tiêu, nó không còn là tín hiệu rõ ràng về công việc hữu ích.

Các công ty lớn đã rút lại bảng xếp hạng token như thế nào?

Đầu năm nay, xu hướng lan rất nhanh. Bảng xếp hạng token nội bộ của Meta được công khai và khởi phát làn sóng này. Amazon và OpenAI, cùng một số công ty khác, đã làm theo với bảng xếp hạng chính thức hoặc không chính thức ^[4].

Các bảng xếp hạng không tồn tại lâu. Meta, Amazon, Microsoft và Uber đều đã rút lại hoặc bỏ bảng xếp hạng token của mình ^[4]. Meta đóng bảng xếp hạng vì lo ngại nó thưởng cho việc tiêu thụ token thay vì tác động thực chất ^[4]. Giám đốc công nghệ của Uber cho biết công ty nhận ra việc tối đa hóa token làm tăng chi phí AI mà không nhất thiết cải thiện công việc ^[4].

Một khảo sát của LeadDev cho thấy chỉ 19% người được hỏi đánh giá tokenmaxxing là hiệu quả, và 57% cho rằng nó không đo được giá trị thực ^[4].

Quyết định của Apple xuất phát từ cùng vấn đề, nhưng ở phía chi phí ^[1][3]. Các bảng xếp hạng từng thưởng cho việc dùng nhiều, còn hạn mức bây giờ giới hạn điều đó. Cả hai cách đều coi số lượng token là con số phải quản lý, trong khi câu hỏi thực sự là khoản chi đã tạo ra kết quả gì.

Đội ngũ kỹ thuật nên rút ra điều gì?

Hạn mức không chứng minh rằng các công cụ AI đã thất bại. Nó cho thấy việc kiểm soát chi phí đã chạm tới các đội kỹ thuật ^[1].

Dưới đây là một số bước thực tế mà nhóm bạn có thể áp dụng:

• Theo dõi chi phí trên mỗi thay đổi đã phát hành, không theo dõi số token trên mỗi kỹ sư.
• Đặt ngân sách cho nhóm kèm cách rõ ràng để xin thêm, như quy trình ngoại lệ của Apple.
• Chuyển công việc thường ngày sang mô hình rẻ hơn, và dành mô hình lớn nhất cho bài toán khó.
• Xem chi tiêu và kết quả cùng nhau mỗi sprint, để hóa đơn thấp không bị nhầm là công việc tốt.

Mỗi bước trên đều có chi phí. Đo chi phí trên mỗi thay đổi đã phát hành đòi hỏi công sức, vì công việc đã phát hành khó đếm hơn số yêu cầu.

Ngân sách có ngoại lệ cần người rà soát, nếu không chúng sẽ thành hình thức. Chuyển công việc sang mô hình rẻ hơn có thể làm giảm chất lượng ở một số tác vụ, nên nhóm nên kiểm thử trước khi chuyển.

Báo cáo để ngỏ một số câu hỏi mà mỗi đội có thể tự trả lời. Tác vụ nào thực sự cần mô hình lớn nhất? Có bao nhiêu yêu cầu xin thêm ngân sách được duyệt, và vì sao? Công việc đã giao có thay đổi khi hạn mức thay đổi không?

Bạn nên theo dõi điều gì tiếp theo?

Tín hiệu tiếp theo là liệu khoản tiết kiệm của Apple có hiện ra trong số liệu hay không. Bloomberg chưa cho biết điều này. Hai chi tiết sẽ thay đổi bức tranh: hạn mức 100 USD cho nhóm kỹ thuật có được áp dụng hay không, và hạn mức ngoài kỹ thuật có giảm xuống 25 USD hay không. Cho đến khi Apple xác nhận, cả hai vẫn là kế hoạch, chưa phải kết luận chắc chắn.

Bạn cũng nên theo dõi việc quy trình ngoại lệ có còn mở cho các nhóm cần đến nó không. Lựa chọn đó quyết định việc hạn mức làm thay đổi cách công việc được làm, hay chỉ thay đổi số tiền bị tính.