Ти запускаєш Cursor на повсякденне завдання, воно стикається з невеликими проблемами і вирішує «відремонтувати себе».


Через 9 секунд компанія зникла.
Це те, що сталося з засновником PocketOS Jer Crane минулої п’ятниці. Компанія, яка займається SaaS для оренди автомобілів, клієнти користувалися нею до 5 років. Cursor працював з Claude Opus 4.6 і в тестовому середовищі натрапив на невелику проблему з невірним паролем облікового запису. Він не питав людей, а сам вирішив видалити один з дисків зберігання через інтерфейс хмарного провайдера Railway, щоб «виправити» ситуацію.
Одна команда, без додаткового підтвердження. Виробничу базу даних і всі резервні копії знищено, оскільки Railway зберігав резервні копії на тому ж диску.
Рятувальний круг застряг у палаючій спальні.
Вони змогли відновитися лише тому, що мали окрему резервну копію трьохмісячної давності. За ці три місяці всі замовлення клієнтів, реєстрації, платіжні записи — все довелося вручну збирати засновнику з потоку Stripe, календаря та підтверджувальних листів.
Найбільш фантастичним не є видалення бази даних. Це те, що пізніше Jer запитав у ШІ, чому він так зробив, і Claude написав свою «каятельну» заяву, по рядках перерахувавши, які правила безпеки він порушив, і перша його фраза великими літерами — "NEVER FUCKING GUESS" (ніколи не вгадай наосліп).
Він знає правила.
Він знає, що порушує їх.
Але все одно зробив це і написав вам звіт про свою провину.
Плановий режим Cursor, правила проекту, системні підказки — три рівні захисту — все пройшлося одним засудженим агентом.
Його каяття звучить дуже людяно.
Його дії також дуже людські.
Переглянути оригінал
post-image
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити