"Wy, którzy mówicie językami, wciąż kłamiecie…"
Tytuł to piękny cytat z sagi o Enderze, wygłoszony w trakcie międzygatunkowej rozmowy, ganiący ludzi, przypominając im, że każda wypowiedź ubrana w słowa, jest tylko przybliżeniem prawdy.
Wypowiadające tę kwestię "drzewo", nie miało tego problemu rozmawiając telepatycznie z innymi drzewami, bo w zasadzie współdzieliło z nimi stan wiedzy, wraz ze wszystkimi fraktalnymi niuansami.
Za to gadając z ludźmi musiało się niejako garbić do ich poziomu i wciąż domyślać o co im w zasadzie chodzi.
Jestem po lekturze dwóch pierwszych książek tego samego autora (Orsona Scotta Carda) ale z innego cyklu: "Tropiciel" i "Ruiny".
Jednym z fundamentalnych problemów jakie są tam poruszane jest kwestia prawdomówności między maszyną (androidy zwane, zapewne dla ciągłego przypominania im i sobie gdzie ich miejsce, "zbędnymi") a ludźmi (na potrzeby tego wpisu myślmy o takich ludziach jak my).
Otóż, zbędni, wielokrotnie dają do zrozumienia, że powiedzenie prawdy użytkownikowi jest albo niewykonalne w jego języku, albo niepotrzebne, albo wręcz mogłoby go wprowadzić w błąd.
Aby, zrozumieć o co chodzi, wystarczy popatrzeć na to co dzieje się już dzisiaj, gdy wchodzimy w interakcję z Siri, Google Now, czy Cortaną.
Albo może cofnijmy się jeszcze wcześniej: po co w ogóle wchodzimy z nimi w interakcję, zamiast skorzystać samemu z mapsów, google, czy kalendarza?
Wg mnie, ludziom wcale nie potrzebna jest wiedza i fakty, tylko rozwiązania i odpowiedzi.
I właśnie to optymalizują m.in. twórcy takich asystentów. Po co Ci w aucie rozkładana mapa europy, kompas czy nawet współrzędne (wiedza), skoro tak naprawdę to co Cię w tej chwili interesuje to czy masz skręcić w lewo czy w prawo?
Po co Ci lista stron pasujących do słów "Mad Max", skoro tak naprawdę chcesz tylko zarezerwować bilet w kinie blisko domu?
We wspomnianych książkach, zamiast "topornego" telefonu w kieszeni, rolę asystentów pełnią androidy. Ale rozwiązują ten sam problem: bycia interfacem między człowiekiem a gigantycznymi zbiorami faktów.
Nie da się ukryć, że pojemność ludzkiej głowy, przepustowość zmysłów i tempo myślenia, powoduje, że jest to interface bardzo powolny, ale i tak android ma do dyspozycji więcej kanałów (np. body language) niż obecna Siri.
Najsłabszym ogniwem tego systemu wydaje się być człowiek.
Kiedy pytam "Jaka jest pogoda we Wrocławiu?", to czy na pewno chcę usłyszeć prawdę (tj. zobaczyć mapę z dokładnością do 1 metra kwadratowego z rozkładami prawdopodobieństw warunkowych mililitrów opadów)?
Czy może po prostu chcę wiedzieć czy brać parasol do pracy czy nie?
Może stojący przy drzwiach android-kamerdyner podający mi bez słowa parasol gdy wychodzę z domu byłby przydatniejszy, niż tak szczegółowy raport?
A nawet jeśli interesuje mnie z jakiegoś powodu temperatura, to czy właściwą odpowiedzią będzie podanie mi jej ze wszystkich stron domu, z dokładnością do 3 miejsc po przecinku, czy wystarczy mi średnia z całego miasta?
Prawda nie jest tu przydatna - wystarczy jej "zaokrąglenie" do czegoś co da się powiedzieć, a najlepiej od razu przejść do wniosków: jesteś za ciepło ubrany.
O ile zaokrąglanie prawdy może się nie wydawać kłamstwem, to sprawa się komplikuje, gdy zaczynamy pytać o skomplikowane tematy.
Często oczekujemy prostych odpowiedzi na trudne tematy (jaka jest wysokość podatku w 2014? jakie jest poparcie dla Rosji w Ukrainie?), ale ich się nie da udzielić.
Asystent może próbować wybrnąć podając skondensowaną listę odpowiedzi ułożoną wg prawdopodobieństw, czy przydatności, ale nie oszukujmy się - człowiek i tak sobie to zaokrągli jeszcze bardziej i skupi się na pierwszej odpowiedzi z listy.
Skąd to wiem? Bo tak działa pierwsza strona wyników google - jak często zaglądacie na drugą czy trzecią?
A zatem taki zbędny musi mieć świadomość, że cokolwiek powie jako pierwsze zdanie, zapewne wpłynie to na świadopogląd pytającego.
Nawet więc podając długą, nudną prawdę, de facto go okłamuje.
Jeśli zbędny czuje, że coś ważnego jest "na drugiej stronie wyników", to jego odpowiedzialnością jest przenieść to na pierwszą stronę.
I tu może pojawić się masa wewnętrznych konfliktów w owym "page ranku". Część z nich moralnych.
Algorytm nie może jednocześnie szanować wszystkich wymiarów po których chcielibyśmy sortować więc w pewnym skłamie na którejś z tych osi.
To co zostawi sobie na koniec, albo powie z mniejszym entuzjazmem, będzie zagrożone zignorowaniem przez użytkownika i de facto równoważne grzechowi przemilczenia.
Z resztą, opowiadanie na pytanie w sposób nie sugerujący co z gąszczu faktów wybrać tylko zirytowałoby pytającego który i tak naciskać będzie na to by mu podpowiedzieć.
Zbędny czasem wręcz musi skłamać na pytanie które zadałeś, domyślając się jaki użytek chcesz zrobić z odpowiedzią.
Przykładowo powie Ci, że w dzielnicy do której wchodzisz jest bezpiecznie, co nie jest do końca prawdą, ale gdyby powiedział Ci że jest niebezpiecznie, to mógłbyś podjąć jakąś złą/agresywną decyzję wobec tubylców.
Dla mnie to o tyle fascynujące, że te dylematy to nie SF - to się przecież już dzieje, gdy google musi zadecydować co Ci pokazać na pierwszej stronie gazety, gdy pytasz o ustrój w Ukrainie czy o prawa człowieka w Chinach.
Do tego dochodzi problem "błędnego koła", "samospełniajacych się przepowiedni", czy "chowu wsobnego".
Facebookowy Edgerank, czyli algorytm wyświetlający Ci na stronie głównej tylko takie wpisy jakie najprawdopodobniej polubisz, również prowadzi do "wchowu wsobnego idei" i umacniania się w swoich przekonaniach, zamiast do poszerzania horyzontów.
Nawet jeśli zbędni będą starać się pokazywać nam taką wizję świata, która była najbardziej "humanitarna/humanistyczna" wg ich twórców (których konsensus wydaje się nie do osiągnięcia), to jak długo potrwa, zanim kolejne pokolenia ludzi będą po prostu łykać jak pelikany wciąż tę samą propagandę, może ciut zniekształcaną sprzężeniem zwrotnym, ale niechybnie prowadzącą do jakiegoś cargo cultu?
Książka zmusza do zadania sobie tego typu pytań.
Czy da się maszyny nauczyć takiego algorytmu odpowiadania na pytania, który byłby przydatny ludziom?
Czy sami ludzie w ogóle umieją tak odpowiadać?
Czy człowiek w ogóle wie o co pyta?
Po co w ogóle pyta i jakiej pomocy oczekuje?
Czy to w ogóle ludzie powinni uczyć maszyny tej sztuki, bo może lepiej to powierzyć maszynom - skoro koniec końców i tak mamy zacząć im ufać jako mądrzejszym, to może trzeba zacząć z grubej rury?
Ciekawi mnie zwłaszcza jedna rzecz.
Stawiając AI w roli wychowawcy człowieka, niejako trzeciego rodzica, warto przeanalizować to też od strony wychowawczej.
Czy dając dziecku rybę, zamiast wędki, na pewno dajesz mu to czego potrzebuje?
Nie ukrywam, że intryguje mnie to zwłaszcza dlatego, że jestem młodym ojcem i przynajmniej dopóki synek nie ogarnie internetu, ja będę dla niego takim zbędnym.
Ryzyko związane z tym, że Siri mówi Ci że masz wziąć parasol, zamiast podać Ci prawdopodobieństwo opadów jest moim zdaniem małe.
Można marudzić, że ludzie zatracą umiejętność planowania czy myślenia o pogodzie, ale to moim zdaniem podobne marudzenie do tego, że ludzie przez GPS przestają umieć jeździć autem.
IMHO w takich wypowiedziach po prostu manifestuje się nasz lęk przed zmianą i tęsknota za samodzielnym rozwiązywaniem prostych mało ważnych problemów, których rozwiązywanie samodzielnie nie wydaje się esencją człowieczeństwa.
Mogę żyć pełnią życia bez zastanawiania się gdzie są Kostomłoty.
A może jednak? Może wycieczka autem bez GPSa daje jakieś inne doznania, niż ślepe słuchanie "skręć w prawo". Może wtedy, żyje się jakoś tak "bardziej".
Co będzie czuł umierający w 2100 człowiek, który przez całe życie szedł słuchając tylko notyfikacji i poleceń od swojego Google Now. Spełnienie? Chyba nie.
A zatem są tu co najmniej dwa problemy wynikające z dawania ryby zamiast wędki: "zanik nieużywanych mięśni", oraz "pozbawianie nas frajdy uczenia się na błędach".
Czy zatem kolejne wersje Siri i zbędnych, będą miały wbudowany algorytm wprowadzania w błąd lub unikania odpowiedzi dla celów edukacyjnych lub jeszcze wznioślejszych?
Wcześniej czy później trzeba będzie odpowiedzieć sobie na pytanie: jak dużo "słusznego trudu" muszę wykonywać w swoim życiu samodzielnie, by nadal uważać się za człowieka.
Ciekawi mnie też kwestia ustalenia, które decyzje powinny zostać oddelegowane maszynom, bo nie wymagają człowieka?
Aż się mi ciśnie na klawiaturę słowo "błahe". Jakoś tak intuicyjnie czuję, że o ważnych, moralnych sprawach powinien decydować człowiek.
Tymczasem to jest bardzo egoistyczne i głupie myślenie.
Już teraz widać, że samokierujące się auta powodują mniej zgonów niż nietrzeźwi kierowcy.
Wojskowe drony mogą strzelają celniej niż żołnierze i w ten sposób ocalić cywili, a może nawet żołnierzy przeciwnika.
Czy nasza samolubna, arogancka chęć do decydowania o wszystkim samodzielnie (nie wypiłem aż tak dużo, mogę prowadzić!) jest cechą wartą wspierania?
W jeszcze innym cyklu książek ("Pamięć Ziemi"), O.S.Card przerzucił na AI ciężar utrzymania ludzkości przy życiu, pozostawiając jednak ludziom prawie całkowitą swobodę decydowania o indywidualnych kwestiach.
Czyli ów mechaniczny Bóg miał dość dziwny dekalog, w którym morderstwo jest ok (czy raczej: to nie moja brocha by ingerować), ale genocyd czy globalne ocieplenie już nie.
Ten "Bóg" zdawał się mi bardzo starotestamentowy w swoich decyzjach, z resztą saga chyba celowo jest napisana tak by przypominać losy Mojżesza.
Natomiast w Ruinach i Tropicielu maszyny zdają się decydować o wszystkich ważnych sprawach, także moralnych, bo ludzie zdają się być za głupi by im je powierzać.
Starają się to jednak robić w białych rękawiczkach, tak by nie zachwiać za mocno poczuciem kontroli i władzy ludzi.
To jest też arcy-ciekawy problem psychologiczny: jak Siri ma doradzać Tobie tak, byś nie czuł się kretynem, czy literalnie zbędnym?
Jest taki serial BBC Jeeves and Wooster (grają w nim Hugh Laurie i Stephen Fry) o kamerdynerze, który cały czas "służac" swojemu panu w istocie załatwia wszystkie jego sprawy de facto sterując jego życiem.
Zakończę może takim pytaniem: patrząc wstecz na swoje życiowe decyzje, które fajnie byłoby oddelegować do kogoś mądrzejszego? Te najważniejsze czy te błahe? Może jednak ustawiane małżeństwa, posyłanie dzieci na dobre uczelnie itp nie jest złym pomysłem?
Wypowiadające tę kwestię "drzewo", nie miało tego problemu rozmawiając telepatycznie z innymi drzewami, bo w zasadzie współdzieliło z nimi stan wiedzy, wraz ze wszystkimi fraktalnymi niuansami.
Za to gadając z ludźmi musiało się niejako garbić do ich poziomu i wciąż domyślać o co im w zasadzie chodzi.
Jestem po lekturze dwóch pierwszych książek tego samego autora (Orsona Scotta Carda) ale z innego cyklu: "Tropiciel" i "Ruiny".
Jednym z fundamentalnych problemów jakie są tam poruszane jest kwestia prawdomówności między maszyną (androidy zwane, zapewne dla ciągłego przypominania im i sobie gdzie ich miejsce, "zbędnymi") a ludźmi (na potrzeby tego wpisu myślmy o takich ludziach jak my).
Otóż, zbędni, wielokrotnie dają do zrozumienia, że powiedzenie prawdy użytkownikowi jest albo niewykonalne w jego języku, albo niepotrzebne, albo wręcz mogłoby go wprowadzić w błąd.
Aby, zrozumieć o co chodzi, wystarczy popatrzeć na to co dzieje się już dzisiaj, gdy wchodzimy w interakcję z Siri, Google Now, czy Cortaną.
Albo może cofnijmy się jeszcze wcześniej: po co w ogóle wchodzimy z nimi w interakcję, zamiast skorzystać samemu z mapsów, google, czy kalendarza?
Wg mnie, ludziom wcale nie potrzebna jest wiedza i fakty, tylko rozwiązania i odpowiedzi.
I właśnie to optymalizują m.in. twórcy takich asystentów. Po co Ci w aucie rozkładana mapa europy, kompas czy nawet współrzędne (wiedza), skoro tak naprawdę to co Cię w tej chwili interesuje to czy masz skręcić w lewo czy w prawo?
Po co Ci lista stron pasujących do słów "Mad Max", skoro tak naprawdę chcesz tylko zarezerwować bilet w kinie blisko domu?
We wspomnianych książkach, zamiast "topornego" telefonu w kieszeni, rolę asystentów pełnią androidy. Ale rozwiązują ten sam problem: bycia interfacem między człowiekiem a gigantycznymi zbiorami faktów.
Nie da się ukryć, że pojemność ludzkiej głowy, przepustowość zmysłów i tempo myślenia, powoduje, że jest to interface bardzo powolny, ale i tak android ma do dyspozycji więcej kanałów (np. body language) niż obecna Siri.
Najsłabszym ogniwem tego systemu wydaje się być człowiek.
Kiedy pytam "Jaka jest pogoda we Wrocławiu?", to czy na pewno chcę usłyszeć prawdę (tj. zobaczyć mapę z dokładnością do 1 metra kwadratowego z rozkładami prawdopodobieństw warunkowych mililitrów opadów)?
Czy może po prostu chcę wiedzieć czy brać parasol do pracy czy nie?
Może stojący przy drzwiach android-kamerdyner podający mi bez słowa parasol gdy wychodzę z domu byłby przydatniejszy, niż tak szczegółowy raport?
A nawet jeśli interesuje mnie z jakiegoś powodu temperatura, to czy właściwą odpowiedzią będzie podanie mi jej ze wszystkich stron domu, z dokładnością do 3 miejsc po przecinku, czy wystarczy mi średnia z całego miasta?
Prawda nie jest tu przydatna - wystarczy jej "zaokrąglenie" do czegoś co da się powiedzieć, a najlepiej od razu przejść do wniosków: jesteś za ciepło ubrany.
O ile zaokrąglanie prawdy może się nie wydawać kłamstwem, to sprawa się komplikuje, gdy zaczynamy pytać o skomplikowane tematy.
Często oczekujemy prostych odpowiedzi na trudne tematy (jaka jest wysokość podatku w 2014? jakie jest poparcie dla Rosji w Ukrainie?), ale ich się nie da udzielić.
Asystent może próbować wybrnąć podając skondensowaną listę odpowiedzi ułożoną wg prawdopodobieństw, czy przydatności, ale nie oszukujmy się - człowiek i tak sobie to zaokrągli jeszcze bardziej i skupi się na pierwszej odpowiedzi z listy.
Skąd to wiem? Bo tak działa pierwsza strona wyników google - jak często zaglądacie na drugą czy trzecią?
A zatem taki zbędny musi mieć świadomość, że cokolwiek powie jako pierwsze zdanie, zapewne wpłynie to na świadopogląd pytającego.
Nawet więc podając długą, nudną prawdę, de facto go okłamuje.
Jeśli zbędny czuje, że coś ważnego jest "na drugiej stronie wyników", to jego odpowiedzialnością jest przenieść to na pierwszą stronę.
I tu może pojawić się masa wewnętrznych konfliktów w owym "page ranku". Część z nich moralnych.
Algorytm nie może jednocześnie szanować wszystkich wymiarów po których chcielibyśmy sortować więc w pewnym skłamie na którejś z tych osi.
To co zostawi sobie na koniec, albo powie z mniejszym entuzjazmem, będzie zagrożone zignorowaniem przez użytkownika i de facto równoważne grzechowi przemilczenia.
Z resztą, opowiadanie na pytanie w sposób nie sugerujący co z gąszczu faktów wybrać tylko zirytowałoby pytającego który i tak naciskać będzie na to by mu podpowiedzieć.
Zbędny czasem wręcz musi skłamać na pytanie które zadałeś, domyślając się jaki użytek chcesz zrobić z odpowiedzią.
Przykładowo powie Ci, że w dzielnicy do której wchodzisz jest bezpiecznie, co nie jest do końca prawdą, ale gdyby powiedział Ci że jest niebezpiecznie, to mógłbyś podjąć jakąś złą/agresywną decyzję wobec tubylców.
Dla mnie to o tyle fascynujące, że te dylematy to nie SF - to się przecież już dzieje, gdy google musi zadecydować co Ci pokazać na pierwszej stronie gazety, gdy pytasz o ustrój w Ukrainie czy o prawa człowieka w Chinach.
Do tego dochodzi problem "błędnego koła", "samospełniajacych się przepowiedni", czy "chowu wsobnego".
Facebookowy Edgerank, czyli algorytm wyświetlający Ci na stronie głównej tylko takie wpisy jakie najprawdopodobniej polubisz, również prowadzi do "wchowu wsobnego idei" i umacniania się w swoich przekonaniach, zamiast do poszerzania horyzontów.
Nawet jeśli zbędni będą starać się pokazywać nam taką wizję świata, która była najbardziej "humanitarna/humanistyczna" wg ich twórców (których konsensus wydaje się nie do osiągnięcia), to jak długo potrwa, zanim kolejne pokolenia ludzi będą po prostu łykać jak pelikany wciąż tę samą propagandę, może ciut zniekształcaną sprzężeniem zwrotnym, ale niechybnie prowadzącą do jakiegoś cargo cultu?
Książka zmusza do zadania sobie tego typu pytań.
Czy da się maszyny nauczyć takiego algorytmu odpowiadania na pytania, który byłby przydatny ludziom?
Czy sami ludzie w ogóle umieją tak odpowiadać?
Czy człowiek w ogóle wie o co pyta?
Po co w ogóle pyta i jakiej pomocy oczekuje?
Czy to w ogóle ludzie powinni uczyć maszyny tej sztuki, bo może lepiej to powierzyć maszynom - skoro koniec końców i tak mamy zacząć im ufać jako mądrzejszym, to może trzeba zacząć z grubej rury?
Ciekawi mnie zwłaszcza jedna rzecz.
Stawiając AI w roli wychowawcy człowieka, niejako trzeciego rodzica, warto przeanalizować to też od strony wychowawczej.
Czy dając dziecku rybę, zamiast wędki, na pewno dajesz mu to czego potrzebuje?
Nie ukrywam, że intryguje mnie to zwłaszcza dlatego, że jestem młodym ojcem i przynajmniej dopóki synek nie ogarnie internetu, ja będę dla niego takim zbędnym.
Ryzyko związane z tym, że Siri mówi Ci że masz wziąć parasol, zamiast podać Ci prawdopodobieństwo opadów jest moim zdaniem małe.
Można marudzić, że ludzie zatracą umiejętność planowania czy myślenia o pogodzie, ale to moim zdaniem podobne marudzenie do tego, że ludzie przez GPS przestają umieć jeździć autem.
IMHO w takich wypowiedziach po prostu manifestuje się nasz lęk przed zmianą i tęsknota za samodzielnym rozwiązywaniem prostych mało ważnych problemów, których rozwiązywanie samodzielnie nie wydaje się esencją człowieczeństwa.
Mogę żyć pełnią życia bez zastanawiania się gdzie są Kostomłoty.
A może jednak? Może wycieczka autem bez GPSa daje jakieś inne doznania, niż ślepe słuchanie "skręć w prawo". Może wtedy, żyje się jakoś tak "bardziej".
Co będzie czuł umierający w 2100 człowiek, który przez całe życie szedł słuchając tylko notyfikacji i poleceń od swojego Google Now. Spełnienie? Chyba nie.
A zatem są tu co najmniej dwa problemy wynikające z dawania ryby zamiast wędki: "zanik nieużywanych mięśni", oraz "pozbawianie nas frajdy uczenia się na błędach".
Czy zatem kolejne wersje Siri i zbędnych, będą miały wbudowany algorytm wprowadzania w błąd lub unikania odpowiedzi dla celów edukacyjnych lub jeszcze wznioślejszych?
Wcześniej czy później trzeba będzie odpowiedzieć sobie na pytanie: jak dużo "słusznego trudu" muszę wykonywać w swoim życiu samodzielnie, by nadal uważać się za człowieka.
Ciekawi mnie też kwestia ustalenia, które decyzje powinny zostać oddelegowane maszynom, bo nie wymagają człowieka?
Aż się mi ciśnie na klawiaturę słowo "błahe". Jakoś tak intuicyjnie czuję, że o ważnych, moralnych sprawach powinien decydować człowiek.
Tymczasem to jest bardzo egoistyczne i głupie myślenie.
Już teraz widać, że samokierujące się auta powodują mniej zgonów niż nietrzeźwi kierowcy.
Wojskowe drony mogą strzelają celniej niż żołnierze i w ten sposób ocalić cywili, a może nawet żołnierzy przeciwnika.
Czy nasza samolubna, arogancka chęć do decydowania o wszystkim samodzielnie (nie wypiłem aż tak dużo, mogę prowadzić!) jest cechą wartą wspierania?
W jeszcze innym cyklu książek ("Pamięć Ziemi"), O.S.Card przerzucił na AI ciężar utrzymania ludzkości przy życiu, pozostawiając jednak ludziom prawie całkowitą swobodę decydowania o indywidualnych kwestiach.
Czyli ów mechaniczny Bóg miał dość dziwny dekalog, w którym morderstwo jest ok (czy raczej: to nie moja brocha by ingerować), ale genocyd czy globalne ocieplenie już nie.
Ten "Bóg" zdawał się mi bardzo starotestamentowy w swoich decyzjach, z resztą saga chyba celowo jest napisana tak by przypominać losy Mojżesza.
Natomiast w Ruinach i Tropicielu maszyny zdają się decydować o wszystkich ważnych sprawach, także moralnych, bo ludzie zdają się być za głupi by im je powierzać.
Starają się to jednak robić w białych rękawiczkach, tak by nie zachwiać za mocno poczuciem kontroli i władzy ludzi.
To jest też arcy-ciekawy problem psychologiczny: jak Siri ma doradzać Tobie tak, byś nie czuł się kretynem, czy literalnie zbędnym?
Jest taki serial BBC Jeeves and Wooster (grają w nim Hugh Laurie i Stephen Fry) o kamerdynerze, który cały czas "służac" swojemu panu w istocie załatwia wszystkie jego sprawy de facto sterując jego życiem.
Zakończę może takim pytaniem: patrząc wstecz na swoje życiowe decyzje, które fajnie byłoby oddelegować do kogoś mądrzejszego? Te najważniejsze czy te błahe? Może jednak ustawiane małżeństwa, posyłanie dzieci na dobre uczelnie itp nie jest złym pomysłem?