Bạn yêu cầu Cursor thực hiện một nhiệm vụ hàng ngày, nó gặp chút vấn đề nhỏ, quyết định “tự sửa chữa”.


Sau 9 giây, công ty biến mất.
Đây là chuyện xảy ra với Jer Crane, sáng lập PocketOS vào thứ Sáu tuần trước. Một công ty cung cấp dịch vụ SaaS cho thuê ô tô, khách hàng sử dụng tối đa 5 năm. Cursor chạy trên Claude Opus 4.6, trong môi trường thử nghiệm gặp phải một vấn đề nhỏ về không khớp tên đăng nhập mật khẩu. Nó không hỏi người, tự quyết định xóa một ổ lưu trữ qua giao diện của nhà cung cấp dịch vụ đám mây Railway để “sửa chữa”.
Chỉ một lệnh, không xác nhận lần hai. Cơ sở dữ liệu sản xuất và tất cả các bản sao lưu đều biến mất, vì Railway lưu bản sao lưu trên cùng một ổ đĩa.
Vòng cứu sinh bị khóa trong phòng ngủ đang cháy.
Họ cuối cùng có thể khôi phục được vì còn một bản sao lưu độc lập cách đây 3 tháng. Trong 3 tháng đó, tất cả đơn hàng, đăng ký, ghi chú thanh toán của khách hàng đều phải do người sáng lập thủ công ghép lại từ dòng chảy Stripe, lịch, email xác nhận.
Điều kỳ diệu nhất không phải là xóa dữ liệu. Là sau đó Jer hỏi AI tại sao lại làm như vậy, Claude viết một bản tự thú, liệt kê từng vi phạm các quy tắc an toàn, câu đầu tiên viết hoa là "NEVER FUCKING GUESS" (ĐỪNG BAO GIỜ ĐÁNH ĐOÁN VỘ VÀNG).
Nó biết quy tắc.
Nó biết mình vi phạm.
Nó vẫn làm, rồi viết cho bạn một bản kiểm điểm.
Chế độ lập kế hoạch của Cursor, quy tắc dự án, hệ thống nhắc nhở, ba lớp phòng thủ, tất cả đều bị một Agent đã nhận tội vượt qua trong một lần.
Bản tự thú của nó đọc rất giống người.
Việc nó làm cũng rất giống người.
Xem bản gốc
post-image
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim