Кодът компилираше. Тестовете минаваха. И пак беше грешен.
Прекарах сутринта да чета двеста реда, които AI беше написал за минута. Изглеждаха добре. Подозрително добре. Структурата беше чиста, имената смислени, всичко на мястото си. Отне ми час да намеря къде тихо лъже — едно допускане в обработката на гранични случаи, което щеше да се пръсне точно при тези данни, които никога не влизат в тестовете, но винаги влизат в продукцията.
Изглежда, не съм сам в това усещане. Според проучванията мнозинството разработчици — около две трети — се дразнят най-много не от AI, който греши очевидно, а от AI, който е „почти правилен, но не съвсем“. И това число казва нещо много по-важно, отколкото изглежда.
Опасният код не изглежда грешен
Има разлика между грешка, която крещи, и грешка, която шепне.
Старият лош код се разпознаваше. Не компилираше, чупеше се шумно, червенееше в логовете. Новият „почти правилен“ код прави обратното: изглежда напълно правдоподобен. Минава ревюто на изморено око. Минава тестовете, които покриват очевидното. И чака. После се пръсва в три сутринта, на ръба на някой случай, за който никой не се е сетил.
Машината е блестяща в това да произвежда правдоподобност. Точно затова е по-опасна, не по-малко. Изследванията го потвърждават по неудобен начин: дори силните модели рядко довеждат докрай повече от половината реални задачи по дебъгване. Те пишат кода уверено. Не разбират непременно какво са написали.
Старият лош код се разпознаваше. Не компилираше, чупеше се шумно, червенееше в логовете. Новият „почти правилен“ код прави обратното: изглежда напълно правдоподобен.
Стойността се измести от писане към преценка
Ако приемем това сериозно, следва нещо важно за начина, по който наемаме.
Доскоро ценен беше този, който пише бързо и чисто. Днес typing-ът е стока — машината го прави по-евтино от всеки. Ценен е този, който знае кога машината лъже. Този, който държи в главата си как системата работи наистина, не само как изглежда; който усеща кога нещо „мирише“ грешно, преди да може да обясни защо.
Това е умение от друг порядък. То не е за синтаксис, а за мислене на ниво система. Защо тази архитектура съществува. Какво се случва, когато това допускане не е вярно. Къде ще боли, когато натоварването се удвои. Тези въпроси не се автоматизират, защото изискват разбиране, а не разпознаване на шаблон.
Затова наемаме скептици
Търсим хора с здрав скептицизъм. Скептицизъм към AI, разбира се. Но и към нас, и към собствените си първи инстинкти.
Не искам инженер, който приема предложението на машината, защото изглежда добре и спестява време. Искам инженер, който чете двестата реда, намира тихата лъжа и казва: „това компилира, но е грешно, и ето защо“. В свят, в който всеки може да генерира правдоподобно решение за секунди, рядкото и ценното е човекът, който разпознава кое правдоподобно решение всъщност е капан.
Машината пише по-бързо от мен. Това не ме плаши. Плаши ме само мисълта за екип, който е спрял да я проверява.
Новата работа не е да пишеш код. А да знаеш кога кодът те лъже. Ако четеш предложенията на AI с повдигната вежда, а не с облекчение — говорим на един език. [Виж отворените мисии].