Tekoäly ei seuraa tieteen edistyksen logiikkaa
Olemme kirjoittaneet monta kertaa MT:ssä tutkijoista ja ammattilaisista, jotka julistavat koneoppimisjärjestelmiä "mustiksi laatikoiksi" (1) jopa niiden rakentajille. Tämä vaikeuttaa tulosten arvioimista ja uusien algoritmien uudelleenkäyttöä.
Neuroverkot - tekniikka, joka antaa meille älykkäitä muunnosbotteja ja nerokkaita tekstigeneraattoreita, jotka voivat jopa luoda runoutta - on ulkopuolisille tarkkailijoille käsittämätön mysteeri.
Ne kasvavat ja monimutkaistuvat, käsittelevät valtavia tietojoukkoja ja käyttävät valtavia laskentataulukoita. Tämä tekee saatujen mallien replikaatiosta ja analysoinnista kalliita ja joskus mahdottomia muille tutkijoille, lukuun ottamatta suuria keskuksia, joilla on valtavat budjetit.
Monet tutkijat ovat hyvin tietoisia tästä ongelmasta. Heidän joukossaan on Joel Pino (2), NeurIPS:n, uusittavuutta käsittelevän konferenssin, puheenjohtaja. Hänen johtamansa asiantuntijat haluavat luoda "toistettavuuden tarkistuslistan".
Pinon mukaan ideana on rohkaista tutkijoita tarjoamaan muille tiekartta, jotta he voivat luoda ja käyttää jo tehtyä työtä. Voit ihmetellä uuden tekstigeneraattorin kaunopuheisuutta tai videopelirobotin yli-inhimillistä näppäryyttä, mutta parhaimmillakaan asiantuntijoilla ei ole aavistustakaan näiden ihmeiden toiminnasta. Siksi tekoälymallien jäljentäminen on tärkeää paitsi uusien tutkimustavoitteiden ja -suuntien tunnistamisessa, myös puhtaasti käytännön oppaana.
Muut yrittävät ratkaista tämän ongelman. Googlen tutkijat tarjosivat "mallikortteja" kuvaamaan yksityiskohtaisesti, kuinka järjestelmiä testattiin, mukaan lukien tulokset, jotka viittaavat mahdollisiin virheisiin. Allen Institute for Artificial Intelligence (AI2) -tutkijat ovat julkaisseet paperin, jonka tavoitteena on laajentaa Pinotin uusittavuuden tarkistuslista koskemaan muita kokeellisen prosessin vaiheita. "Näytä työsi", he kehottavat.
Joskus perustiedot puuttuvat, koska tutkimusprojekti on varsinkin yrityksessä työskentelevien laboratorioiden omistuksessa. Useimmiten se on kuitenkin merkki kyvyttömyydestä kuvailla muuttuvia ja yhä monimutkaisempia tutkimusmenetelmiä. Neuroverkot ovat erittäin monimutkainen alue. Parhaiden tulosten saavuttamiseksi tarvitaan usein tuhansien "nuppien ja painikkeiden" hienosäätöä, jota jotkut kutsuvat "mustaksi magiaksi". Optimaalisen mallin valintaan liittyy usein suuri määrä kokeita. Taikuudesta tulee erittäin kallista.
Esimerkiksi kun Facebook yritti jäljitellä DeepMind Alphabetin kehittämän AlphaGon työtä, tehtävä osoittautui erittäin vaikeaksi. Valtavat laskentavaatimukset, miljoonat kokeilut tuhansilla laitteilla useiden päivien aikana yhdistettynä koodin puutteeseen tekivät järjestelmän "erittäin vaikeaksi, ellei mahdottomaksi, uudelleenluomisen, testaamisen, parantamisen ja laajentamisen", Facebookin työntekijöiden mukaan.
Ongelma näyttää olevan erikoistunut. Kuitenkin, jos ajatellaan pidemmälle, ilmiö tulosten ja toimintojen toistettavuudesta tutkimusryhmän välillä horjuttaa kaikkea meille tuttua tieteen ja tutkimusprosessien toimintalogiikkaa. Pääsääntöisesti aikaisemman tutkimuksen tuloksia voidaan käyttää pohjana jatkotutkimukselle, joka edistää tiedon, teknologian kehitystä ja yleistä edistystä.
