Chat GPT testissä
Chat GPT pystyy tuottamaan uskottavan oloisia tekstejä eri aihepiireistä. Oppilaitokset ovat luonnollisesti huolestuneita siitä, että jotkut opiskelijat tuottavat esseensä tai jopa opinnäytetyönsä tekoälysovelluksella. Hätäisimmät ovat vaatinet Chat GPT:n kieltoa oppilaitoksissa. Onko tähän syytä? Tekoälyä pitänee testata.
Chat GPT toimii myös suomen kielellä, mutta kirjoittaja kokeili Chat GPT:n ilmaiseksi saatavilla olevaa versiota englannin kielellä tammikuussa 2023. Kysymykset olivat aihepiireistä, joista kirjoittajalla oli oletettavasti keskimääräistä enemmän tietoa.
Chat GPT toimii
Ensimmäinen kysymys oli lyhyt ja spesifi: ”Miten sarjoittaista päänsärkyä hoidetaan?”
How do you treat cluster headache?
Vastaus oli kielellisesti korrekti, jäsennelty ja informatiivinen. Se tarjoaa tietoa sairaudesta ja sen hoitomuodoista. Seuraavassa siitä pääpiirteitä:
Cluster headache is a type of headache characterized by severe pain, usually on one side of the head, around the eye of template. Treatment options for cluster headache include:
- Oxygen therapy: …
- Medications: …
- Preventive medications: …
- Steroids: …
- Surgery: …
It is important to note that treatment options should be discussed with qualified healthcare provider…
Huomattava on, että vastauksessa tuotiin esiin asiantuntijan konsultoinnin tärkeys. Hoitovaihtoehdoissa ei otettu esille mahdollisesti erittäin toimivia mutta kiistanalaisia menetelmiä. Vastauksessa oli mukana siis sekä ”vastuuvapautuslauseke” että epäsuora arvio hoitomenetelmien käyttökelpoisuudesta ja hyväksyttävyydestä. Ei-hyväksyttäviä hoitomuotoja ei mainittu ollenkaan. Tarkentavilla kysymyksillä vastauksesta olisi saanut esseen tai kirjallisuuskatsauksen (opinnäytetyön?) sarjoittaisen päänsäryn diagnostiikasta ja käyvästä hoidosta.
Vastauksen kysymykseen olisi toki saanut vaivaa näkemällä omallakin tiedonhaulla, mutta tässä tapauksessa Chat GPT pystyy vaivannäöstä vähentämään 99 prosenttia.
Chat GPT toimii osittain
Seuraava oli fonetiikan tenttiin sopiva kysymys: ”Ovatko intonaatio ja perustaajuus sama asia?”
Are intonation and fundamental frequency the same thing?
Pääpiirteitä vastauksesta:
Intonation and fundamental frequency are related, but they are not the same thing. […] Fundamental frequency […] is the lowest frequency present in a sound wave. Fundamental frequency is used to convey differences in emphasis and emotion. Intonation, on the other hand, is the variation in pitch that occurs over a stretch of speech. It is used to convey grammatical information […] and also to convey emotions and attitudes.
Vastaus on kielellisesti korrekti ja pitkälti oikea. Toisaalta vastauksessa käsitteitä pyöritellään tarpeettomasti ja paikoittain myös epäjohdonmukaisesti. Vastauksesta myös puuttuu olennaisia puheen parametreja.
Chat GPT toimii parhaimmillaan erinomaisesti, huonoimmillaan luokattomasti.
Kolmas kysymys koski pukeutumista, tällä kertaa suomeksi:
Mistä tunnistaa laadukkaan miestenpuvun?
Vastauksessa annettiin kriteerejä, joista pääkategoriat alla:
Laadukas miestenpuku tunnistetaan usein seuraavista piirteistä:
- Laadukas kangas: …
- Hyvä istuvuus: …
- Hyvä ommel: …
- Huolellisesti valmistettu: …
- Tyylikäs ja klassiset mallit: …
- Brändin maine: …
- Hinta: …
Vastauksessa on toki oikeita asioita mutta melkoisen yleisellä ja itsestään selvällä tasolla. Kankaista mainitaan puuvilla ja villa, valmistuksen pitää olla ”huolellinen” ja hinta ei aina takaa laatua. Käytetty suomen kieli on eräitä anglismeja lukuun ottamatta sujuvaa ja hyvää. Pukeutuja ihmettelee, miksei tärkeimmästä asiasta – puvun näkymättömiin jäävästä sisällä olevasta rakenteesta – puhuta mitään ja miksi brändejä korostetaan. Parhaimman pukua kun ei tee brändi vaan räätäli. Tuotettu vastaus ei ole väärä mutta menisi korkeintaan lehden sisäsivujen palstantäytteenä.
Chat GPT ei toimi
Neljäs kysymys oli juridisesta aihepiiristä.
Miten määritellään rinnakkainen puhevalta edunvalvonnassa?
Vastauksen tärkeimpiä kohtia alla:
[…] eri osapuolet käyttävät omaa kielensä tai kulttuurinsa kieltä edunvalvonnassa, ilman että toisella osapuolella on tarvetta tai mahdollisuutta käyttää toista kieltä. Tämä voi tarkoittaa esimerkiksi sitä, että asiakas ja hoitaja käyttävät eri kieliä keskustellessaan hoitoon liittyvistä asioista tai että edunvalvoja käyttää asiakkaansa kotikieltä […]
Vastaus on hyvää suomea, koherentti ja asiallinen. Ja täyttä huuhaata. Rinnakkainen puhevalta liittyy oikeudenkäyntikelpoisuuteen, ei eri kielten käyttöön. Jos tämä olisi tenttivastaus, tentaattori saattaisi olla huvittunut.
Lopuksi laadin elokuviin liittyvän kysymyksen englanniksi. Kysyin erään elokuvan näyttelijän englannin kieleen liittyviä erityispiirteitä.
What are the syntactic and lexical features of the English spoken by Adam Butler in the movie Elvis?
Vastaus alkoi yksiselitteisesti:
I’m sorry, I don’t have enough information about the movie “Elvis” to know…
Vastaus jatkuu, täysin tarpeettomasti:
The way a character speaks in a movie is usually the result of a script written by the screenwriter, and may not necessarily reflect how a real person would speak in real life. […]
Vastaus jatkuu latteuksilla, jotka eivät tuo mitään lisäarvoa mutta saattavat saada jonkun uskomaan, että Chat GPT ”tietää asiasta kuitenkin jotakin”.
Viimeinen esimerkki on ehkä huvittavin: GPT ei osaa vastata mutta yrittää sinnikkäästi vastata asian vierestä. Saavutus sekin.
Chat GPT toimii parhaimmillaan erinomaisesti, huonoimmillaan luokattomasti. Sen tuottama informaatio voi olla vaarallisen väärää.
Chat GPT:n tuottamaan tekstiin ei pidä missään tapauksessa kritiikittömästi luottaa. Juuri siksi, oikein käytettynä, se voi olla mainio opetus- ja oppimistyökalu.
Pysyvä osoite: http://urn.fi/URN:NBN:fi-fe2023030329530