Hvordan datamaskinen slo eksperten
For et par uker siden sto det en artikkel i Financial Times kalt “How computers killed the expert”. Artikkelen har som utgangspunkt et forsøk som ble gjort i USA, nærmere bestemt på det juridiske fakultetet på Universitetet i Pennsylvania.
Professor Ted Ruger hørte på et foredrag av to statsvitere, Andrew Martin og Kevin Quinn, som påsto de hadde en modell som kunne forutse hvilke avgjørelser presedensgivende saker i amerikansk høyesterett ville få. Modellen var basert på noen ganske få variable. Dette trodde ikke Ruger noe på, og utfordret Martin og Quinn til å gjøre en test. For de hadde foreløpig brukt modellen på historiske saker. Ruger ville teste modellens prediksjonsevne, opp mot prediksjonsevnen til et ekspertpanel.
Som sagt, så gjort. Og det viste seg altså at den statistiske modellen klarte å spå hva høyesterettsdommerne ville stemme, enn hva ekspertpanelet klarte. 75% av gangene hadde modellene rett avgjørelse, 59% av gangene hadde ekspertene det.
Og det er ikke bare i dette tilfellet at “Machine outperforms man”. Innenfor min bransje er det titt og ofte slik at programmerte trading-modeller gjøre det bedre enn fysiske mennesker som tar avgjørelser. Det brukes bølgeanalyser (Elliot Wave), Fobonacci-tall og andre modeller som alltid har fått det til å protestere i meg. Maskiner er ikke smartere enn mennesker. Eller?
Siden jeg leste denne artikkelen har jeg fundert og tenkt på hvorfor det er slik at maskinene ofte gjør det bedre enn mennesker. For det er nok et faktum. Det er mange flere eksempler enn det.
Men hvorfor?
Noe av det tror jeg kommer av at datamaskiner kan behandle mye mer informasjon på en gang enn mennesker kan. Fra en tråd jeg skrev om beslutninger:
“Studier har vist at de fleste bare kan forstå eller prosessere syv informasjonsbiter på en gang. Denne begrensningen i kognitativ evne og evne til å prosessere informasjon gjør det vanskelig å forstå problemet fullstendig. Da vil man forsøke å redusere kompleksiteten og dermed risikere å overforenkle det.”
Datamaskinen har selvsagt ikke denne begrensningen, og vil dermed ikke overforenkle på samme måte.
I tillegg tror jeg noe ligger i det jeg skrev om forrige fredag. Altså det faktum at vi ikke klarer å fri oss fra kunnskap vi allerede har. Og kanskje er det slik at vi legger svært stor vekt på det vi kan godt, kontra det vi ikke kan. Datamaskinen er nøytral i så måte.
I tillegg kommer vår evne til å håpe og tro. Den så jeg titt og ofte da jeg satt i valutamarkedet, med til dels store posisjoner. Det som ofte skjer er at en forvalter er rask til å ta gevinster (“penger i banken er bra”) og sen med å ta tap (“jeg håper det snur”). I sum gjør det at du fort ender opp med tap i porteføljen selv om du har rett mye mer enn 50% av gangene. Løsningen vi implementerte, var helt strikte og metodiske nivåer både for å ta gevinster og tap. Først da materialiserte gevinstene seg. Vi lot altså maskinene bestemme. Vi hadde stop loss ordre og take profit ordre liggende 24 timer i døgnet. For vi forsto at menneskelig håp og tro forkludret mulighetene. Maskinene er nøytrale, og har ikke håp eller tro.
Maskiner og modeller er rasjonelle. Mennesker er styrt av preferanser, tro, håp og manglende evne til å kombinere mange inntrykk på en gang. Vi er dessuten opptatt av å ikke betraktes som kyniske, og da er det slik at det er noen sannheter vi ikke vil se, fordi det ikke er politisk eller menneskelig akseptabelt. Vi mennesker er i større eller mindre grad irrasjonelle, uansett hvor rasjonelle vi mener å være. Vi kan ikke fri oss fra oss selv, våre erfaringer, preferanser og vår kunnskap.
Nå er de fleste slike modeller basert på historiske data. De vil derfor vanskelig kunne fange opp store uventede endringer. Enten det er eksogene sjokk (ting som skjer utenfor modellen) eller paradigme-skifter (et systematisk skifte i måte å tenke på som er av betydelig størrelse og rekkevidde). Modeller fanger ikke opp innovasjoner. Men gjør vi mennesker det? Nei, vi gjør gjerne ikke det.
Artikkelen i FT gjør meg litt desillusjonert på menneskets vegne. Jeg vil gjerne at mennesket skal være smartere enn maskiner. Men er vi det?
En jeg har jobbet mye sammen med når jeg har utviklet modeller, sier at mens modellene er teknologi og vitenskap, er tolkningen av modell-resultater kunst. I tillegg klarer ikke en modell å lage seg selv. Noen må styre den mot det som er viktig. Om du sitter med milliarder av tallrekker som kan forklare noe, er det den menneskelige kunnskap, intuisjon og forståelse som ser skogen for bare trær. Men her skal vi også passe oss, for det kan være sammenhenger vi ikke ønsker å se, og dermed ikke vil inkludere. Boken Freakonomics er full av slike.
Likevel; mennesker må til. Vi lager modellene, finner variablene og vi må til for å tolke resultatene. Men det som ligger i mellom, tror jeg vi i stor grad kan overlate til maskinene. Fordi de er så mye bedre enn oss til å kombinere store mengder data.
Forøvrig tror jeg det er når vi virkelig bruker intuisjonen at vi er nærmest å fungere som en datamaskin. Intuisjon er prosessering av store mengder data som ligger i hukommelsen. Akkurat slik en datamaskin jobber. Intuisjon er ansett som irrasjonelt mumbo jumbo. Men det er rett og slett det motsatte. Det er “Man as a machine”. Problemet er bare at vi ikke kan dokumentere det slik en maskin kan.
Category: Statistikk og analyse