15 okt. 2015

Vem kan läsa det kinesiska rummets instruktionsbok?

Det försiggår just nu en intressant diskussion i den svenska vetenskapliga bloggosfären med anledning av artikeln Kan vi skapa intelligens? av Joanna Rose i Forskning och Framsteg 7/2015. Först bloggade Olle Häggström om Ett osökt tillfälle till reklam, som Ulf Danielsson kommenterade i inlägget Dum, dummare, robot. Detta följdes upp med att de båda parallellpublicerade varsitt brev i Forskning och Framsteg, följt av ännu ett inlägg av Olle: John Searle tänker fel i fråga om AI-risk, och av Ulf: Jag robot? Nu finns från och med igår även ett ytterligare blogginlägg av Olle, I diskussion med Ulf Danielsson om medvetandets natur, samt en intressant utvikning med viktiga specificeringar av Bo Sjögren, Searle och det kinesiska rummet. Ulf har på FB lovat att återkomma med en ytterligare replik.

För att orientera er lite om vad frågan handlar om klipper jag här in avsnittet om det Kinesiska rummet som jag beskrev tankeexperimentet i min bok Samarbete.
Den amerikanske filosofen John Searle har, [...] för att ta död på idén om att medvetandet bara är en samling nervceller som samarbetar, konstruerat ett tankeexperiment han kallar det kinesiska rummet. Det fungerar så här.

Tänk dig att en datorprogrammerare har lyckats konstruera en dator som kan kommunicera på kinesiska. En person som talar kinesiska kan knappa in meningar med hjälp av kinesiska tecken och får då ut kinesiska tecken som svar. Programmet är så väl programmerat att det klarar det så kallade Turing-testet: alltså att den kinesisktalande personen inte kan avgöra om han eller hon konverserar med en människa eller en maskin.

Nu är då frågan, förstår datorn/programmet kinesiska? Det finns ju ingen enhet inuti datorn som förstår kinesiska så kan man verkligen hävda att enheten förstår kinesiska bara för att den gör allt som en kinesisktalande person kan göra?

För att visa att programmet inte förstår kinesiska vill Searle nu att man tar nästa steg i tankeexperimentet. Tänk dig att du sitter i ett rum med en bok som innehåller alla algoritmer som datorn använder för att klara av att kommunicera på kinesiska – du har datorprogrammet, helt enkelt. Det kommer nu in ett papper genom en lucka i dörren med en rad med kinesiska tecken.

Du har nu uppgiften att göra det datorn just gjorde, att följa ett nedskrivet datorprogram och producera en sträng kinesiska tecken som svar. Dessa matar du ut genom luckan i dörren. Eftersom datorn klarade att följa algoritmen gör du det också. Du producerar således samma svar som datorn/programmet gjorde, och den kinesisktalande person som försöker ta reda på om du är en dator eller en annan kinesisktalande person gör samma bedömning som förut: det ”kinesiska rummet” måste innehålla en kinesisktalande person.

Men nu har den kinesisktalande personen bevisligen fel. Du kan ju inte kinesiska. (Om du råkar kunna kinesiska så får du byta ut språket i exemplet mot ett som du verkligen inte förstår.) Det finns därför ingen enhet i det kinesiska rummet som förstår kinesiska. Alltså, menar Searle, kan inte en förstående hjärna bestå av en mängd icke-förstående enheter.

Searles exempel har föranlett en enorm mängd gensvar som vill visa var han har fel. Jag tänker här fokusera på ett enda svar, nämligen det som menar att det är hela systemet som är den intressanta enheten.

Lösningen stavas samarbete. För även om du inte förstår kinesiska, rummet inte förstår kinesiska och programmet inte förstår kinesiska, så förstår uppenbarligen alla dessa enheter tillsammans kinesiska.

Om förståelse är att omvandla en sträng inåtgående signaler till en sträng utåtgående signaler enligt ett speciellt mönster, så är förståelse precis det som uppstår i hela systemet. För vad annars menar vi med förståelse? Finns det något annat sätt att förstå sig på förståelse än att avgöra frågan med hjälp av lämplig komplex respons på lämpliga komplexa inåtgående signaler?

En del tror inte på samhället i sinnet för att de hakar upp sig på synvinkeln. Det enda vi egentligen vet är ju det vi upplever. Då borde vi väl börja i den änden? Att börja med det materiella för att komma fram till slutsatser om upplevelser när varje människa har direkt tillgång till sina upplevelser är att börja i fel ände, menar de. Och vi upplever alla att vi är en enhet, alltså är vi det, punkt.

Men kan vi verkligen lita på våra upplevelser till den grad att vi kan basera vetenskap på det? Ett omedelbart problem som uppkommer är att var och en av oss bara har direkt kontakt med sina egna upplevelser, inte med andras. Det finns inga som helst garantier för att du upplever samma sak som jag.

Det är ett rimligt antagande att det gör lika ont när du slår dig på tummen med en hammare som när jag gör det, fast jag inte känner någon smärta alls när du gör det. Jag kan ju till och med se på dina reaktioner att du reagerar på samma sätt som jag. Men med den observationen har jag redan gått utanför min egen upplevelse och påstår saker om sådant som jag fått information om via mina sinnen – utifrån.

Baserar man forskningen om våra psyken enbart på egna upplevelser kommer man aldrig utanför sin egen hjärna. Så fort man ska gå utanför hjärnan måste nämligen all information filtreras genom sinnesorganen.

Och ska man göra påståenden om sådant som händer utanför hjärnan måste man använda sig av vetenskapliga metoder; metoder som ger samma resultat oavsett vem som är betraktaren.
Personligen är jag helt på Olle Häggströms sida i den här diskussionen. Att se hjärnan som något fundamentalt speciellt och märkligt är att ge för stor betydelse till kött. Framför allt hakar jag upp mig på följande i Danielssons argumentation:
Det finns helt enkelt ingen möjlighet att utifrån nuvarande grundläggande naturvetenskap ens på ett principiellt sätt förutsäga vilka objekt som delar denna subjektiva inre erfarenhet och i vilka system den uppträder. Alltså är det något som fattas i beskrivningen.
Det är riktigt, det finns inget sätt att belägga subjektiv upplevelse hos något annat än hos sig själv. Alltså måste vi, för att kunna diskutera frågan, använda oss av yttre tecken på subjektiv upplevelse, samt homologier och analogier. Men detta gäller oavsett om vi pratar om andra människor eller om robotar. Det är inget som "fattas i beskrivningen", det är bara ett grundläggande problem med frågan.
Påståendet är att man kan simulera en hjärnas funktion, och därmed dess medvetande, om man bara har en tillräckligt kraftfull dator. Simulera? En simulerad mage smälter inte riktig mat på något meningsfullt sätt alls. Och frågan är om en simulerad hjärna tänker några tankar?
Den här analogin är helt missvisande. Mat är något fysiskt som tillförs kroppen utifrån, inte ett icke-materiellt "mönster" som (troligen) uppkommer genom emergens. Det finns helt enkelt inget annat biologiskt organ som har samma funktion som den mänskliga hjärnan, så det går inte att jämföra med andra organ. Det enda som kvarstår är grundfrågan, och det är samma fråga som vi började med: "frågan är om en simulerad hjärna tänker några tankar?"
Kroppens samtliga organ, inklusive hjärnan, är ett resultat av miljoner års evolution. De är inte enkla designade konstruktioner där var del har en tydlig och pedagogiskt avgränsad funktion. Det finns en komplexitet som vi helt enkelt inte förstår oss på.
Hur lång evolutionsprocessen var som ledde fram till hjärnan är oväsentligt för sakfrågan. Kulturell förändring är långt mycket snabbare än den biologiska evolutionen, något som är en av grundobservationerna bakom tanken om singulariteten. Och att vi inte förstår oss på hjärnans komplexitet är bara delvis sant. Vi förstår de grundläggande processerna om hur hjärnan växer till och anpassar sig efter miljö och inlärning. Vi saknar "något" för att förstå oss på medvetandets uppkomst, men om förståelsen av detta "något" ligger nära eller långt fram i tiden har vi ingen aning.

För egen del tror jag svaret faktiskt inte ligger i en bättre förståelse av hjärnan, av själva hårdvaran, utan i en bättre förståelse av det kulturella program som matas in i våra hjärnor under uppväxten och kontinuerligt genom livet - i mjukvaran. För att försöka mig på en analogi så är det lika dumt att försöka förstå sig på medvetandet genom att titta på hjärnan som det är att försöka förstå ett dataspels intrikata fantasivärld genom att plocka isär datorn. Medvetandet är det som händer när det kulturella programmet körs i våra hjärnor - det är instruktionsboken i det Kinesiska rummet som är nyckeln, inte vem/vad som läser av den. Hur då? Ja, säg det. Och varför kan bara människors hjärnor ladda in den här typen av instruktionsböcker?

11 kommentarer:

Anders Bergdahl sa...

Nu är jag rätt säker på att du jar fel Patrik..
"utan i en bättre förståelse av det kulturella program som matas in i våra hjärnor under uppväxten och kontinuerligt genom livet"
Medvetandet är inte ett "kulturellt program" och det är inte heller unikt för människor.. en hel del varelser har olika grad av medvetande.
En förklaring av mänskligt medvetande skulle också fungera som förklaring av hundars, delfiners, råttor, elefanter och chimpansers medvetande.
Man kan säga att alla växter har en av grundförutsättningarna eller grundkomponenterna som krävs för medvetande och det är en sorts uppfattning om sin egen status.. växten kan så att säga "känna" ljus och anpassa sig så att den växer mot ljuset. Vi kan känna hunger och genom att detta se till att skaffa mat.. vid någon punkt verkar biologiska varelser kunna komma ihåg vad de känt i liknande situationer och hur de då löste problemet med hunger, de kan då välja att pröva samma sak igen om de int funkar kan de pröva något annat.. om man ser en hund lösa ett problem så prövar den alltid en metod som de har använt förut.. i andra hand något som liknar de problem de nu står inför..
när varelsen då kan ta ett kliv tillbaka från omedelbar handling och i någon form reflektera över handlingsalternativ (och fortfarande menar jag varelser utan språk) då är vi väldigt nära det medvetande vi människor har. Troligen är det samma grundegenskap i hjärnan, men vi hanterar ockå språk, så under vår uppväxt lär vi oss språk, och att det teoretiska prövandet av alernativ kan diskuteras i form av språk, med andra först, och sedan lär vi oss att ha språkliga dialoger i huvudet.
Det är denna medvetenhet om en inre språklig dialog vi ofta pekar på när vi säger "medvetande" men denna dialog är bara en liten del av fenomenet, men det är kanske den del som är unik bland de djur som finns på denna planet.


Anders Bergdahl sa...

Om medvetande ska kunna simuleras måste alltså simuleringen ha en känsla för som egen status, precis som att växten kan känna brist på ljus och vrida sig mot solen. Utan denna känsla finns inte starten.. kanske är det så enkelt som att ge simuleringen en regel om att det finns två tillstånd i miljön rund den X och IckeX, regel säger att den ska föredra X, exempelvis ljus. Men frågan är om vi kan få programmet att känna brist.. växter och djur känner ju brist för att olika kemiska processer i vår kropp ger upphov till perceptioner av yttre och inre tillstånd vilket styr handlandet. Kanske måste vi skapa en inre kemisk process i datorn, där brist på ljus korrelerar med ett inre tillstånd, kemiskt, och att vissa handlingar ändar på detta tillstånd.. jag tror att medvetandet är ett kroppslig tillstånd i en kroppslig process och att de då inte kan simuleras i mjukvara.. Men en dator med en massa sensorer kan sägas ha en kropp i sitt sensor system då kanske vi kan skapa ett AI eller en medveten dator med kropp..

Eftersom vi inte känner till något medvetande utan kropp så verkar det lite underligt att försöka skapa AI utan kropp eftersom absolut inget talat för att det kommer att fungera (vilket till viss del är samma sak som Searle är ute efter.)

Patrik Lindenfors sa...

Anders,
Det är just "känsla för sin egen status" som jag menar är (del av) mjukvaran vi måste förstå. Att bara ha en status att föredra ljus, eller motsatsen, innebär ingen förmåga till självreflektion. Det behövs också att man kan reflektera över denna status - man behöver så att säga kunna tänka på att man tänker. Djur har delvis denna förmåga, visst. De kan ändra sitt beteende trots samma hungerkänslor beroende på vad de har lärt sig om vilken miljö de befinner sig i. I strikt mening är dock det sistnämnda även det en status, så vi hamnar i definitionssvårigheter. Men jag vidhåller ändå mjukvarans centrala inflytande över (mänskligt) medvetande. Det är i det inlärda tänkandet som alla algoritmer finns som vi använder oss av när vi funderar över världen.

Anders Bergdahl sa...

PAtrik,

" Det är i det inlärda tänkandet som alla algoritmer finns som vi använder oss av när vi funderar över världen."
Och vad finns det för anledning att tro detta, Searle konstaterar ju att det inte kan finnas medvetanden utan hjärnor. OK vi kanske då kan bygga en elektronisk hjärna som ihop med "mjukvara" kan bilda ett medvetande man UTAN "hårdavara" av rätt typ kan inte medvetande existera.
Detta fakta gör att vi inta kan se medvetande som något som uppstår ur mjukvara, det är något som uppstår ur hårdvara, kanske i kombination med mjukvara.
Jag har fortfarande inte sett något evidens för, ens teoretiskt, att mjukvara skulle kunna vara medveten OCH vi kan vara 100% säkra på att mjukvara utan hårdvara absolut INTE kan vara medveten.. (koden utskriven på papper kan ju självklart inte vare medveten, alltså är medvetande BEROENDE av hårdvara och kan inte uppstå utan en viss sorts hårdvara..)
Det paradoxala är att om man påstår att medvetande kan existera utan hjärna så är man dualist.. om vi nå accepterar dualismen, vilket jag inte tycker vi kan, men OM, så måste vi acceptera att det också är rimligt att tro att vår mjukvara kan leva vidare i någon sorts paradis eller vandra till an annan kropp.. Det är helt enkelt en konsekvens av dualism, dess bättre håller inte dualismen som jag ser det..

Patrik Lindenfors sa...

Anders,
Jag menar förstås inte att mjukvara utan hårdvara är medvetet, precis som jag antar att du inte menar att hårdvara utan mjukvara är medvetet. En iPhone utan appar är lika meningslös som appar utan iPhone. Det är kombinationen som är nyckeln till att öppna upp problemet för förståelse. Det jag menar är att fokus har legat för mycket på att förstå hårdvaran och man har helt ignorerat insikten från datavetenskapen, att programmeringen är det som får någonting spännande att hända med hårdvaran.

Anders Bergdahl sa...

Då är vi typ överens.. dock är det en skillnad mellan Iphones och hjärnor..
De flesta iPhone appar kan portas till en Android telefon eftersom kodens LOGIK är, i princip, oberoende av hårdvaran.. dock så krävs det att en app som styr vibrationer har tillgång till en funktion som vibrerar, utan en vibrationsmodul blir appen inte körbar.
Detta kräver i sin tur en arkitektur där varje modul, ljudupptagning, ljuduppspelning, kamera, vibration etc. har klart beskrivna gränssnitt. Alltså att det finns standardiserade "portar" till modulerna och att dessa portar är anropbara genom en interface mjukvara.
För att överföra detta till hjärnan så vill att hjärnans hårdvara sak bestå av moduler, syn, hörsel, minne m.m. som en generisk mjukvara använder.. dock verkar hjärnan inte vara sådan. samma funktion kan utföras av olika moduler, förstörs en koppling mellan olika moduler kan andra kopplingar utnyttjas, detta brukar kallas hjärnas plasticitet. Mjukvaran kan så att säga bygga om hårdvaran, och hårvaran kan orsaka ändringar i mjukvaran.. och igen är vi fast i en dualitet.. (Modul tänket lockar oss också att se medvetandet som en modul vilket vi idag VET att den inte är, varken sedd som hård eller mjukvara)
Det verkar trots allt som om vi inte tydligt kan skilja mjuk från hårdvara i hjärnan, annat är som GROV förenkling. Jag tror att denna förenkling hindrar oss från att förstå hjärnan tror jag, den leder oss att alltid fråga, har detta med mjuk eller hårdvara att göra, och den frågan är oftast inte en fråga som alls hjälper oss att förstå vad som händer, eftersom vi inte kan skilja mjuk från hårdvara.
Eller en annan ingång känslan av glädje är like fysiskt som känslan av hunger, om vi kan förstå hunger så ger det också en insikt i känslan av glädje (eller sorg, stolthet, ånger, skam)... VAD i en viss kultur som räknas som skamligt och indirekt hos individer i den kulturen ger upphov, orsakar, skamkänslor, är en annan fråga som inte löses med hjärnforskning eller spekulationer om medvetande

Patrik Lindenfors sa...

Mjukvaran bygger om hjärnans hårdvara, visst är det så. Detta borde dock gå att simulera på en dator.

Anders Bergdahl sa...

Men Patrik vad jag vet finns ingen mjukvara som kan bygga om sin hårdvara, om det ska simuleras måste hårdvaran också simuleras.
Vidare, om medvetandet är en "mjukvara" så hanterar den enbart symboler, alltså kan vi, enligt kinesiska rummet, inte VETA om den är medveten vilket i lindrigaste tolkningen innebär att CTOM, Computational Theory Of Mind, inte kan testas vetenskapligt, det är alltså inte en vetenskaplig teori utan på samma plan so teorin att medvetandet är vår icke materiella ande..

Patrik Lindenfors sa...

Anders,
Det går utmärkt att simulera hårdvara som bygger om sig självt, det är ett programmeringsproblem, inte ett konceptuellt problem. Vad gäller din observation om att vi inte kan veta om mjukvaru-/hårdvarukombinationen vi tittar på är medveten eller inte så gäller samma sak mänskligt medvetande. Det är grundproblemet som är i vägen för vår forskning hela tiden.

Pike sa...

Jag tycker inte att Searles tankeexperiment är speciellt bra.

Det finns flera problem med det, som många andra har pekat på, men det som sänker det i mina ögon är att det är en grov förenkling.

Rummet är en analogi till ett slags datorsystem som de flesta känner igen: Givet en viss input så returnerar det en viss förväntad output. Ett sådant system skulle bara kunna simulera de enklaste funktionerna i en människas hjärna/nervsystem – sådant vi gör reflexmässigt, i princip.

För att simulera högre funktioner i hjärnan måste systemet konstrueras så att det inte bara tar hänsyn till en given mängd indata. De processer som leder fram till responsen måste ta hänsyn till hela systemets tillstånd. Detta är komplexiteten i en mänsklig hjärna som vi ännu inte kan simulera effektivt. Anledningen: tillståndet representerar dels de ”medfödda” fysiska strukturerna i hjärnan, dels individens samlade erfarenhet (som även kan modifiera de fysiska strukturerna) och dels saker som kan tyckas vara irrelevanta för ”uppgiften” som exempelvis hunger, stress, trötthet eller distraktioner i omgivningen som ger andra associationer.

Ett sådant system skulle naturligtvis kunna utföra samma funktion som människan i det kinesiska rummet utan att systemet ”förstår” kinesiska, och det gör experimentet ganska meningslöst i mina ögon. Det enda man kan visa med det är att vad som nu än finns bakom dörren kan lura den som står utanför att det kan kinesiska – eller inte. Hur bra det funkar blir också en subjektiv bedömning av den som står utanför.

Så det kinesiska rummet är inte en test av ”förståelse” utan bara ett test av förmågan att kunna producera utdata baserat på ett visst indata.

Ulf Gustafsson sa...

Jag funderar över om inte medvetandet ge en för stor betydelse.

En teori om hur medvetande och "känsla för sin egen status" utvecklats är att denna funktion i hjärnan först nyttjades för att förstå andras intentioner och deras "känsla för sin egen status". Denna funktion fungerade dock även för introspektion och då skapas något som vi kallar vårt medvetande.

Utifrån detta resonemang blir medvetande något som vi känner igen från oss själva. Om människor, varelser, ting, maskiner och AI som uppvisar intention och "känsla för sin egen status" som i tillräcklig utsträckning liknar vår egen bedöms ha medvetande. De som för oss i stort är helt förutsägbara eller helt oförutsägbara uppfattar vi saknar medvetande.

Stämmer detta så drar jag slutsatsen att den mänskliga hjärnan är väsentlig som måttstock för vad medvetande är, men inte nödvändig för medvetande.

I ett större perspektiv (bortom människan) blir då frågan om medvetande av mindre betydelse. En superintelligens skulle kanske utifrån sitt perspektiv uppfatta människan som i stort helt förutsägbar och därför bedömas sakna medvetande.

 
Religion Blogg listad på Bloggtoppen.se