Naprawić lub odbudować: Pięć oznak, że system sztucznej inteligencji wyczerpał swój potencjał

Systemy AI: Kiedy czas na zakończenie życia?

Systemy sztucznej inteligencji rzadko "umierają" w sposób wymagający natychmiastowej decyzji. Kontynuują działanie, generowanie wyników i codziennie dostarczanie plików. Zespół unika problemu, akumulując żądania zmian i zwiększając roczne wydatki bez świadomego wyboru ich wzrostu. Koniec życia systemu przychodzi stopniowo za sprawą rosnącego kosztu jego utrzymania, kosztu, który rzadko pojawia się w planach.

Decyzja o zakończeniu życia jest więc odkładana. Przebudowa wydaje się kosztowna i zakłócająca, podczas gdy kontynuacja działania wydaje się darmowa. Ale nie jest. Zadaniem lidera jest zauważyć moment, w którym koszty utrzymania przewyższają koszty zastąpienia systemu.

Pięć sygnałów

Są to sygnały, które utrzymują się w różnych branżach i typach systemów. Każdy z nich osobno jest powodem do bliższego przyjrzenia się sytuacji, a trzy razem oznaczają, że decyzja została już podjęta na twoją niekorzyść.

Zmiany stają się coraz mniejsze. Regulacja, która wcześniej zajmowała dwa dni w pierwszym roku, teraz wymaga trzech tygodni i wpływa na cztery inne aspekty. System zgromadził wystarczającą liczbę wyjątków, że nikt nie jest w stanie przewidzieć zasięgu zmiany.
Obchody stają się procesem. Użytkownicy eksportują dane i edytują je w arkuszu kalkulacyjnym, zanim zostaną one wykorzystane. Arkusz ten ma teraz właściciela, konwencję nazewnictwa i kopię zapasową. Rzeczywistym systemem jest obchód, a oficjalnym źródłem danych - system oryginalny.
Nie możesz odpowiedzieć na podstawowe pytania. Dlaczego system odrzucił tego klienta w marcu? Jaka wersja działała, gdy dane się zmieniły? Jeśli nikt nie może odpowiedzieć bez tygodniowej pracy, narażasz się na ryzyko regulacyjne i reputacyjne, którego kosztu nie oszacowałeś.
Wiedza jest uwięziona w jednej lub dwóch osobach. Każda zmiana zależy od tej samej osoby. Nie chowają one nic złego; są po prostu jedynymi pozostałymi kopiami decyzji projektowych. Jest to ryzyko kadrowe przebrane za techniczne.
Ograniczenie, na którym opierała się system, zniknęło. System został zbudowany wokół ograniczenia, które już nie istnieje - okno kontekstowe, limit opóźnień, cena za wywołanie, funkcjonalność wymagająca trzech komponentów, a teraz wystarcza jeden. Większość tego, co utrzymujesz, to konstrukcja dla problemu, który zniknął.

Co nie jest sygnałem?

Jedno słabe kwartał jakości wyników jest zazwyczaj problemem danych, nie projektowym. Nowa wersja modelu nie jest powodem do przebudowy; jeśli system jest dobrze zaprojektowany, wymiana modelu to zmiana konfiguracji, którą należy przetestować. Głośny incydent również nie jest dowodem - incydenty skupiają się wokół widocznych systemów, a nie delikatnych.

Różnica, która ma znaczenie, to między systemem działającym źle a systemem, który stał się drogi do zmiany. Pierwszy jest naprawialny. Drugi to strukturalna ocena, i żadne ilość łat nie odwróci tej sytuacji.

Oszacuj koszty utrzymania, nie tylko przebudowy

Propozycje przebudowy często zawierają tylko jedną stronę równania. Dodaj do tego wszystkie koszty związane z obecnym systemem w ciągu ostatnich 12 miesięcy: godziny pracy inżynierów na konserwację i incydenty, rachunki dostawcy i obliczeniowe, godziny poświęcone przez użytkowników na ręczne korekty w dalszej części procesu, oraz wartość zmian, o które poprosiła firma, ale nie zostały wprowadzone. Ta ostatnia pozycja jest zazwyczaj największa i rzadko jest uwzględniana. Porównaj to z tym samym okresem dwa lata wcześniej. Jeśli linia kosztów rośnie, podczas gdy wyniki pozostają stałe, masz swoją odpowiedź, i masz ją w jedynym walucie, w jakiej zarządcy podejmują decyzje - pieniądzach.

Przebudowa w transzie, zachowaj dane

Przebudowa nie musi być dwuletnim programem z datą przełączania. Systemy, które dobrze się przebudowują, są zastępowane zdolnością po jednej za razem: ustaw nowy ścieżkę dla wąskiego fragmentu ruchu, uruchom go obok starego systemu, porównaj wyniki w rzeczywistych przypadkach, przenieś fragment do nowego systemu i powtórz. Stary system pozostaje włączony, dopóki nie zostanie przeniesiony ostatni fragment. W żadnym momencie firma nie zależy od jednorazowego weekendu przełączania.

Jedyną rzeczą, którą warto zachować, są dane - przykłady oznaczone etykietami, korekty, rejestr błędów systemu i sposoby ich naprawy. Ta zgromadzona wiedza jest prawdziwym cennym aktywem. Kod wokół niej jest wymienny i powinien zostać wymieniony w pewnym momencie.

Większość organizacji czeka około roku za długo. Koszt tego roku rzadko jest widoczny, co właśnie sprawia, że jego pomiar jest tak ważny. Nasza praktyka opiera się na noszeniu tego obciążenia dla naszych klientów, ale pomiar należy przeprowadzić w ramach organizacji, a najlepiej przed następnym cyklem budżetowym.