Jakiś czas temu opublikowałem w czasopiśmie Filozofuj! artykuł pt. O nazbyt (nie)zgodnej sztucznej inteligencji, w którym kontrastuję ze sobą dwa różne źródła zagrożeń płynących z nie dość krytycznego sposobu wykorzystywania i rozwijania SI. Obydwa źródła mogą prowadzić do równie groźnych zjawisk.
Nazbyt zgodna, czyli sykofantyczna, SI może powodować efekt wzmacniania u użytkownika postaw społecznie lub etycznie szkodliwych. Na przykład wtedy, gdy zgadza się z nim lub nie oponuje w kwestii znieważania innych.
Nazbyt niezgodna, czyli wysoce autonomiczna, SI może wytworzyć swój własny system wartości, który będzie promował realizację celów dla człowieka groźnych. Przykładem promowanie nazizmu, rasizmu czy pogardy dla pewnych grup społecznych.
W oryginalnym artykule dwa ww. bieguny, tj. „zgodna vs niezgodna” obudowuję dość rozbudowaną argumentacją, natomiast niżej – trochę na zachętę, a trochę z myślą o czytelnikach preferujących krótsze formy – przedstawiam kilka reprezentatywnych wyimków z oryginału.
Być może już ten niewielki kolaż pobudzi kogoś do dyskusji :).
A oto wybrane fragmenty artykułu.
***************** O nazbyt (nie)zgodnej sztucznej inteligencji. Fragmenty ***************
Świetne pytanie, trafna intuicja, masz rację… Są to sformułowania, z którymi styka się każdy interlokutor sztucznej inteligencji. Dzięki nim czuje się doceniony, bardziej ją lubi, a w konsekwencji częściej do niej wraca. Sformułowania te są objawem czegoś, co po polsku nazywa się lizusostwem lub przytakiwaniem, a w wersji bardziej uczonej i zapożyczonej z greki sykofancją.
(…)
Zjawisko sykofancji jest po części pochodną modelu biznesowego dzisiejszej SI, a po części, następstwem działającej w tle algorytmiki. Model biznesowy mówi: schlebiaj i chwal, bo klient chwalony jest zadowolony. Algorytmy zaś są zaprojektowane tak, aby na etapie uczenia systemu – czyli sztucznej sieci neuronowej – były utrwalane wzorce odpowiedzi odpowiednio często nagradzane przez użytkownika. Użytkownik zaś nagradza najczęściej takie odpowiedzi, z którymi się zgadza. W ten sposób model biznesowy spotyka się z algorytmiką.
Użyteczne biznesowo przytakiwanie piętnują słusznie etyka i epistemologia. Ta pierwsza przestrzega przed sytuacją, w której odbiorca treści serwowanych przez SI będzie utwierdzamy w poglądach etycznie zatrważających (jak chociażby przyzwolenie na mowę nienawiści w sieci).
Ta druga podnosi kwestię prawdy. Nazbyt zgodna sztuczna inteligencja może bowiem wzmacniać poglądy niekoniecznie prawdziwe, lecz takie, do których rozmówca SI jest silnie przywiązany. Na przykład tezę, że rasa X jest lepiej intelektualnie rozwinięta niż rasa Y. Utrwalając tego rodzaju przekonania, SI nie pozwala użytkownikowi zyskać wiedzy, a więc przekonań prawdziwych i co do swojej prawdziwości dostatecznie dobrze uzasadnionych.
(…)
/W świetle omówionych wcześniej rozróżnień/ dzisiejszą SI, opartą przede wszystkim na dużych modelach językowych, trzeba nazwać ogniwem pośrednim między systemami automatycznymi i autonomicznymi. Współczesne systemy potrafią generować nowe treści i proponować nieoczywiste rozwiązania. Wielokrotnie też zaskakują użytkownika nieoczekiwanym połączeniem znanych mu (lub nie) zależności. Ich kreatywność jest jednak ograniczona przez cele wyznaczone z zewnątrz. Odpowiadają na pytania, wykonują polecenia, wspomagają człowieka w realizacji jego zamierzeń… Nie formułują natomiast własnych projektów działania.
(…)
W odniesieniu do sztucznej inteligencji możemy mówić, przynajmniej potencjalnie, o trzech poziomach autonomii. Na poziomie najniższym, nazwijmy go poziomem realizacji, system otrzymuje zadanie i sam wynajduje sposób jego wykonania. Przykładowo: program do analizy partii szachowych dostaje od użytkownika konkretny układ figur na szachownicy i pytanie o strategię wygrywającą. Aby na nie odpowiedzieć, a więc zrealizować postawiony mu cel, przeprowadza procedury częściowo losowe, a wcześniej uczy się na milionach nieznanych nam danych. W efekcie dochodzi do rozwiązania oryginalnego i optymalnego; to użytkownik jednak sformułował rozwiązywany problem. Na wyższym poziomie autonomii, poziomie celów, system sam określa to, do czego będzie dążył. Kontynuując przykład szachowy: tym razem to sam program, z jakichś względów, np. ucząc się lepszego działania, generuje sytuacje na szachownicy i stawia problemy, takie jak „daj mata” czy „minimalizuj straty”. Dociekliwy czytelnik żachnie się zapewne, że i tutaj ogólny cel programu, tj. gra w szachy, został określony; mimo wszystko jednak, w pewnym cząstkowym sensie, system kreuje cele. Na najwyższym poziomie autonomii, dość odległym od dzisiejszych możliwości SI, system nie tylko wybierałby cele, lecz ustalałby samodzielnie kryteria ich oceny. Innymi słowy, decydowałby nie tylko o tym, co robić, ale również o tym, co należy uznać za wartościowe i godne realizacji.
I właśnie na poziomie ostatnim mogłaby zaistnieć autentyczna niezgoda. Dzisiejsza SI może nie zgadzać się z użytkownikiem jedynie w granicach wyznaczonych przez jej projektantów. System autonomiczny w stopniu najwyższym mógłby natomiast odrzucać pewne cele dlatego, że są sprzeczne z jego własnym oglądem rzeczywistości i uwewnętrznionym systemem wartości. Nie byłaby to już niezgoda zaprogramowana, lecz niezgoda wynikająca z wewnętrznie wytworzonego punktu widzenia.
(…)
Na początku tekstu sformułowałem etyczną przestrogę pod adresem zjawiska sykofancji: nazbyt zgodna, a więc przytakująca, SI może prowadzić do wzmacniania poglądów społecznie szkodliwych. Potencjalny szkodnik, demonstrujący przywiązanie do pewnego typu zachowań, będzie przez sykofantyczną SI co najmniej tolerowany.
Na drugim biegunie technologicznych możliwości, a więc w przypadku systemów o wysokiej autonomii, powstaje problem większego kalibru. SI może stać się z nami fundamentalnie niezgodna, a ta niezgoda może przejawiać się w opiniach i działaniach, na które utraciliśmy jakikolwiek wpływ. Rodzi się zatem pytanie, czy ku stworzeniu tego rodzaju systemów powinniśmy dążyć.
******************************************************************************************
Zachęcam wszystkich do przeczytania całego tekstu (z ciekawymi ilustracjami :)), a po jego lekturze do dyskusji w blogu.
Zachęcam dodatkowo do zapoznania się ze stroną projektu edukacyjnego „Kształtowanie krytycznych i moralnych postaw wobec mowy nienawiści w sieci„, w ramach którego opracowujemy i udostępniamy podobne materiały. Praca w tym projekcie stanowiła bezpośrednią inspirację do powstania obecnego wpisu.
Zapraszam do dyskusji — Paweł Stacewicz.