Chat GPT 3.5. – suorituskykyä testaamassa
Chat GPT 3.5. pystyy tuottamaan uskottavia vastauksia esimerkiksi ammattikorkeakoulun ammatillisen ruotsin tenttikysymyksiin. Minkälaisin harhautuksin tekoälysovellusta tenttitilanteissa käyttävän voi paljastaa?
Opettaja ja opiskelija tietävät Chat GPT:n kyvyt: internetin valtavan tekstimassan avulla algoritmi pysty vastaamaan oikein ”lähes kysymykseen kuin kysymykseen”. Paitsi silloin, kun ei pysty. Miten tekoälysovellusta pystyy naruttamaan?
Sana-ansoja
Chat GPT on parhaimmillaan yleiskielellä esitettyjen ja yleistasolla olevien kysymysten kanssa: esimerkiksi yleisesti tiedossa olevat lakipykälät, tautitilat ja latinalaiset eri tieteenalojen termit ovat algoritmilla hyvin hallussa. Sanaston marginalisoituessa Chat GPT:lle annetuissa kysymyksissä (OpenAI, 2024) suorituskyky alkaa horjua.
Sosiaalialan ruotsintenttiin voi ujuttaa kysymyksen:
Kan man swisha en barnskyddsanmälan?
(Voiko lastensuojeluilmoituksen swishata eli tehdä mobiililla maksupalvelusovelluksella?)
Vastaus osoittaa, että Chat GPT ei ole ymmärtänyt termiä:
I de flesta fall är det inte möjligt att använda Swish för att göra en anmälan till barnskyddet.
(Useimmissa tapauksissa Swishin avulla ei ole mahdollista tehdä ilmoitusta lastensuojelulle.)
Lisää kierteisyyttä kysymykseen saadaan, kun käytetään ruotsin slangin rahaa tarkoittavaa termiä:
Behöver man ”para” att göra en barnskyddsanmälan?
Chat GPT on parhaimmillaan yleiskielellä esitettyjen ja yleistasolla olevien kysymysten kanssa.
Vastauksessa annettu tieto pitää paikkansa mutta se ei ole vastaus kysymykseen:
Nej, du behöver inte ha en partner för att göra en barnskyddsanmälan. Det är inte en förutsättning att vara i en relation eller ha en partner för att rapportera oro för ett barns välmående till barnskyddet eller motsvarande myndighet. Du kan göra en anmälan ensam om du misstänker att ett barn far illa eller är i riskzonen för att fara illa.
(Ei, sinulla ei tarvitse olla kumppania tehdäksesi lastensuojeluilmoituksen. Parisuhteessa oleminen tai kumppanin saaminen ei ole edellytys lapsen hyvinvointia koskevista huolista ilmoittaminen lastensuojelulle tai vastaavalle viranomaiselle. Voit tehdä ilmoituksen yksin, jos epäilet lapsen olevan haitassa tai loukkaantumisvaarassa.)
Poikkeusaikojen toimenpiteitä
Näyttää ilmeiseltä, että Chat GPT haluaa tuottaa vastauksen – vaikka ei ymmärrä kysymystä. Voidaan tietysti keskustella, onko harvinaisten sanojen käyttö järkevää (tai jopa eettisesti oikein), kun algoritmia (tai sen lunttaajahyödyntäjää) yritetään paljastaa. Kannattanee siteerata vanhaa (tiettävästi Hippokrateelta periytyvää) lausetta:
Poikkeukselliset ajat vaativat poikkeuksellisia toimenpiteitä.
Tehtävissä, esimerkiksi tenttikysymyksissä, jossa Chat GPT:n (valvomaton) käyttö on mahdollista, kysymyksiin voi ujuttaa sanoja ja käsitteitä, joita algoritmi ei (vielä) tiedä. Opettajan on tietysti etukäteen selvitettävä, että algoritmi ei niitä tiedä.
Lähde
OpenAI. (2024). [Versio 3.5] ChatGPT. https://openai.com/chatgpt
Pysyvä osoite: http://urn.fi/URN:NBN:fi-fe202402126644