Odkąd wzrosło zainteresowania tematyką sztucznej inteligencji, mówi się też więcej o potencjalnych zagrożeniach. Część obaw opiera się na problemie tak zwanej czarnej skrzynki, czyli trudności w zrozumieniu AI. Typowe przykłady to zastosowania, gdzie błąd doprowadza do czyjejś śmierci albo aresztowania. Decyzja modelu jest niezrozumiała, nie jest jasne czy i jak ją podważyć, do kogo się odwołać, kto i za co jest odpowiedzialny. AI staje się idealnym miejscem do ataków i manipulacji. Tego rodzaju scenariusze warto upowszechniać, żeby każde zastosowanie sztucznej inteligencji spotkało się ze zdrową dawką sceptycyzmu. To, czego mi brakuje, to zarysowanie zakresu problemu. Są przykłady zastosowań, gdzie sztuczna inteligencja wnosi wartość, a problem czarnej skrzynki nie występuje, jest rozwiązany albo nie jest tak istotny. Wydaje mi się to ważne, żeby uniknąć wrażenia, że sieci neuronowe albo uczenie maszynowe jako całość jest skażone.
Kiedy niepotrzebne są wyjaśnienia
Zacznę od przykładów użycia codziennego. Piszę ten tekst, mówiąc na głos, a dźwięk jest zamieniany na tekst dzięki sztucznej inteligencji. Kiedy wprowadzam literę po literze, model językowy podpowiada resztę słowa. Mogę użyć aparatu w telefonie, żeby skopiować napisy napotkane poza ekranem. Mogę wygenerować dziecku kolorowankę z pandą na jednorożcu. Te zastosowania sztucznej inteligencji są na problem czarnej skrzynki obojętne. Jeżeli widzę oczekiwany wynik, to nie interesuje mnie, co się dzieje w sieci neuronowej.
Sytuacja, kiedy wynik potrafimy zweryfikować, pomyłka nie jest groźna, a sukces oszczędza pracy, występuje też w mniej codziennych zastosowaniach: badania przesiewowe w medycynie, szukanie nowych materiałów, leków czy konstrukcji matematycznych o zadanych właściwościach. Tam praca z natury rzeczy polega na weryfikacji, a sztuczna inteligencja może w wielkiej puli wskazać gdzie zacząć szukać.
Kiedy AI dostarcza wiedzę
Może być dużo lepiej, jeżeli model, proces uczenia lub użycia będzie zaprojektowany tak, żeby dostarczał wiedzę. FunSearch proponował konstrukcje matematyczne nie wprost, ale w formie fragmentu kodu generującego - dzięki temu matematycy mogli dostrzec nowe właściwości badanego problemu, a nie tylko otrzymać odpowiedź do zweryfikowania. W wykładzie pt. "Friends Don’t Let Friends Deploy Black-Box Models" opisano model do oceny pacjentów z zapaleniem płuc zaprojektowany tak, że pozwolił zauważyć i skorygować problemy ukryte w danych, wyjaśnić działanie modelu lekarzom, a nawet dostarczyć im wiedzy o leczeniu, niezależnej od wdrożenia (lub nie) AI w placówkach medycznych.
Nawet jeżeli model nie był trenowany z myślą o interpretacji, powstały i są rozwijane metody dające pewien wgląd w konkretne przewidywania albo w model jako taki. Gdybyśmy znaleźli przypadkiem taką czarną skrzynkę, sieć neuronową, która w niezrozumiały sposób potrafi dobrze coś wykrywać, to nawet jeżeli nigdy go nie wdrożymy, możemy próbować wydobyć z niego wiedzę. Analiza wartości pośrednich w sieci w połączeniu z dużym modelem językowym może dać tekstowy opis funkcji neuronów. Na przykład tych, od których najbardziej zależy odpowiedź modelu. Jeżeli ekspert dziedzinowy (np. lekarz) będzie zaskoczony, że opisane wzorce są istotne dla wyniku, może weryfikować hipotezę związku między wzorcem a predykcją już niezależnie od znalezionego modelu.
Asystent, nie podmiot
Problem czarnej skrzynki można też zredukować, inaczej projektując wdrożenie AI. Zamiast udzielać krótkiej odpowiedzi bez wyjaśnienia, model może wyszukiwać istotne informacje, wskazać źródła i pozostawić decyzję człowiekowi. Lekarz może otrzymać listę przypadków historycznych pacjentów podobnych do tego, którego próbuje zdiagnozować. Obywatel, opisując pytanie lub problem językiem potocznym, dzięki AI może zostać skierowany do odpowiedniego dokumentu administracji. Na obrazie z badania medycznego można wskazać który fragment jest szczególnie warty uwagi.
Oczywiście, metody wyjaśniania też mogą podlegać atakom i być zwodnicze. Model może wskazać lekarzowi fragment obrazu, gdzie nie ma nic ciekawego i zmarnować jego czas. W zależności od szczegółów wdrożenia i podejścia użytkownika to może, ale nie musi, być problem.
Granice problemu
Na koniec, przewrotnie, zastanowiłbym się nad tym, czy poza AI nie polegamy już na czarnych skrzynkach. Jeżeli martwię się, że wyszukiwarka zintegrowana z dużym modelem językowym ukryje przede mną istotny artykuł, to czy mogę być spokojny w przypadku tradycyjnej wyszukiwarki? Czy nowinki w medycynie są wdrażane, kiedy są zrozumiane na każdym poziomie, czy może wystarczy statystyczne potwierdzenie skuteczności i bezpieczeństwa w badaniach klinicznych na próbie pacjentów?
Problem czarnej skrzynki jest ważny, trzeba o nim pamiętać i odrzucać nieodpowiedzialne wdrożenia. Jednocześnie nie należy wrzucać zbyt wielu rzeczy do jednego worka. Poza modą na AI warto też rozpowszechniać wiedzę o wyjaśnialnym AI.