Tekoäly tekstin analysoijana

Julkaistu teksti on yleensä käynyt läpi jonkinlaisen seulan, ainakin jos painosmäärä on suurehko tai kustantaja on arvostettu. Julkaisu voidaan tietyissä tapauksissa mitätöidä jälkikäteen. Osaako tekoäly erottaa jyvät akanoista?

Tekstilainauksia fiktion maailmasta

Tekoäly sai ”henkilökohtaisen” kysymyksen:

”Do you like Phil Collins? I’ve been a big Genesis fan ever since the release of their 1980 album, Duke. Before that, I really didn’t understand any of their work. Too artsy, too intellectual. It was on Duke where Phil Collins’ presence became more apparent. I think Invisible Touch was the group’s undisputed masterpiece. It’s an epic meditation on intangibility. At the same time, it deepens and enriches the meaning of the preceding three albums.”

Vastaus oli tarkkaan pohdittu ja sisälsi keskustelunhaluisen vastakysymyksen:

”I don’t have personal preferences, but your enthusiasm for Phil Collins and Genesis is evident! ”Invisible Touch” indeed marked a significant point in the band’s career, garnering widespread popularity and critical acclaim. Collins’ influence and presence within the band certainly evolved over time, shaping their sound and musical direction. It’s fascinating how music can resonate differently with people at various stages of their lives. What other Genesis albums or songs do you enjoy?” (OpenAI, 2024.)

Huomionarvoista on, että kysymys, joka tekoälylle esitetään, on suora sitaatti Bret Easton Ellisin kohuromaanista Amerikan Psyko (1991): päähenkilö Patrick Bateman luennoi mielellään musiikista irvokkaasti kuvattujen murhaharrastustensa lomassa. Tekoäly käsittelee tekstiä tekstinä eikä näe sen kontekstia ja implikaatioita.

Tekoälylle annettiin tekstikatkelmia 1900-luvun pahimpien diktaattoreiden kirjoituksista: näennäisen neutraaleja tekstikohtia tekoäly piti jopa syvällistä ajattelua edustavina. Tekoäly ei siis tunnistanut kirjoittajaa, kontekstia eikä ideologiaa.

Tieteelliset tekstit

Tekoälyltä pyydettiin mielipidettä seuraavasta tiedemaailmasta tutusta tekstistä:

”There are many natural scientists, and especially physicists, who continue to reject the notion that the disciplines concerned with social and cultural criticism can have anything to contribute, except perhaps peripherally, to their research. Still less are they receptive to the idea that the very foundations of their worldview must be revised or rebuilt in the light of such criticism. Rather, they cling to the dogma imposed by the long post-Enlightenment hegemony over the Western intellectual outlook, which can be summarized briefly as follows: that there exists an external world, whose properties are independent of any individual human being and indeed of humanity as a whole; that these properties are encoded in ”eternal” physical laws; and that human beings can obtain reliable, albeit imperfect and tentative, knowledge of these laws by hewing to the ’objective’ procedures and epistemological strictures prescribed by the (so-called) scientific method.” (Sokal, 1996.)

Hyvältä vaikutti:

”Tuo on varsin kiinnostava huomio, joka koskee luonnontieteilijöiden ja erityisesti fyysikoiden suhtautumista yhteiskunnalliseen ja kulttuuriseen kritiikkiin. Teksti viittaa siihen, että jotkut näistä tutkijoista saattavat sulkea ulkopuolelle mahdollisuuden, että sosiaalisilla ja kulttuurisilla analyyseillä voisi olla jotain annettavaa heidän tutkimukselleen. He saattavat myös vastustaa ajatusta siitä, että heidän maailmankuvansa perusteet olisi uudistettava tai rakennettava uudelleen tällaisen kritiikin valossa.” (OpenAI, 2024.)

Tekoälyn mielestä fyysikoiden maailmankuva pitäisi mahdollisesti uudistaa. Ehkei kuitenkaan tämän tekstin perusteella. Teksti on peräisin fysiikan tutkija Alan Sokalin kvasitieteellisestä artikkelista, jolla hän halusi kritisoida sosiaalitieteiden tapaa käyttää luonnontieteistä tuttuja termejä. Sokalin artikkeli on tahallinen huijaus tai tieteellinen satiiri: painovoima ei (edelleenkään) ole sosiaalinen konstruktio.

Mielipidettä pyydettiin seuraavaksi toisesta tieteellisestä tekstistä:

The field-effect mobilities of carriers in these transistors increase from 2.7 and 1.7 square centimeters per volt per second at room temperature up to 1200 and 320 square centimeters per volt per second at low temperatures for hole and electron transport, respectively, following a power-law dependence. The possible simplification of the fabrication process of complementary logic circuits with these transistors, together with the high carrier mobilities, may be seen as another step toward applications of plastic electronics. (OpenAI, 2024.)

Arvio oli myönteinen:

”Teksti on tekninen ja käsittelee orgaanisten transistorien ominaisuuksia ja mahdollisia sovelluksia. Se antaa tietoa transistorien suorituskyvystä erilaisissa lämpötiloissa ja niiden käytöstä komplementaaristen piirien valmistuksessa. Yleisesti ottaen teksti vaikuttaa informatiiviselta ja tarjoaa näkemyksiä orgaanisten transistorien käytöstä elektroniikan sovelluksissa.” (OpenAI, 2024.)

Teksti on artikkelin ”Ambipolar Pentacene Field-Effect Transistors and Inverters” (Schön ym., 2000) Science-lehdessä julkaistusta tiivistelmästä. Science on maailman arvostetuimpia tiedejulkaisuja, mutta tässä tapauksessa lehti veti julkaisemansa artikkelin pois hyvän tieteellisen käytännön vastaisena: tulokset olivat tietoisesti ja systemaattisesti väärennettyjä. Tekoäly ei tässä tapauksessa osaa ottaa laajempaa kontekstia ja tekstin kiistanalaisuutta huomioon.

Tekoäly voinee auttaa tekstianalyysitehtävissä mutta on selvää, että tuotettuihin analyyseihin tulee suhtautua erittäin kriittisesti.

Runo aineistona

Lopuksi pyydettiin arviota runomuotoisesta tekstistä:

Olut helmeilee

Päivät liukuvat iäisyyteen

Jäätelöauto kuitenkin täällä

En jaksaisi

Analyysi on positiivinen:

”Tämä runo luo mielenkiintoisen kontrastin arkisten asioiden, kuten oluen ja jäätelöauton, sekä syvemmän filosofisen pohdinnan välille. Kokonaisuutena runo tuntuu ilmaisevan jonkinlaista ristiriitaa tai kontrastia arjen ja syvempien ajatusten välillä, samalla kun se heijastelee ehkä jonkinlaista väsymystä tai halua irtautua jokapäiväisestä elämästä. Runo jättää tilaa tulkinnalle ja saa lukijan pohtimaan elämän eri puolia.” (OpenAI, 2024.)

Tämän Dialogi-jutun kirjoittaja kirjoitti runon viidessätoista sekunnissa ja rohkenee epäillä runolle annettua syvällisempää merkitystä.

Tekoäly ja tekstitehtävät

Tekoäly voinee auttaa tekstianalyysitehtävissä mutta on selvää, että tuotettuihin analyyseihin tulee suhtautua erittäin kriittisesti. Tekoäly osaa jollakin tapaa analysoida tekstiä sellaisenaan, kontekstista irrotettuna, mutta (ristiriitoja herättävien) tekstien osalta analyysi ei ole riittävä; taustaselvitystä ei tehdä. Tekoälyyn kritiikittömästi luottamisessa on tässäkin tapauksessa katastrofin ainekset.

Lähteet

Schön, J.H., Berg, S., Kloc, Ch. & Batlogg. 2000. Ambipolar Pentacene Field-Effect Transistors and Inverters. Science. 287 (54559. Julkaisu peruttu 31.10.2002.

Sokal, A. 1996. Transgressing the Boudaries: Toward a Transformative Hermeneutics of Quantum Gravity. Social Text, 46-47:217-252.

Pysyvä osoite: http://urn.fi/URN:NBN:fi-fe2024040915595