Objektiivi toimetaja Martin Vaher vaatleb oma kolmeosalises artiklisarjas tehisintellekti kiirest arengust tulenevaid võimalusi ja ohte ning analüüsib nende võimalikku mõju meie digitaalsele, füüsilisele ja poliitilisele turvalisusele. Sarja esimeses artiklis käsitletakse põhjalikumalt tehisintellekti aktuaalset ja potentsiaalset ründe- ja kaitsevõimekust digitaalsel maastikul.

Mainekatest ekspertidest ja teadlastest koosnev töörühm avaldas käesoleva aasta veebruaris raporti “The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation” (“Tehisintellekti pahatahtlik kasutamine: prognoosimine, ennetamine ja kahju leevendamine”), mille eesmärgiks oli vaadelda võimalikke turvaohte tehisintellekti pahatahtliku kasutuse perspektiivist ning pakkuda välja viise nende ohtude paremaks prognoosimiseks, ennetamiseks ja nendest tulenevate kahjude leevendamiseks.

Tehisintellekti turvalisuse, droonide, küberturvalisuse, surmavate autonoomsete relvasüsteemide ja vastuterrorismi valdkondade spetsialistid tuvastasid 2017. aastal Oxfordi ülikooli juures läbiviidud seminari raames, millel see raport ka põhineb, kolm peamist turvalisuse valdkonda, mida tehisintellekti kiire areng ilmselt tugevalt ohustab: digitaalne turvalisus, füüsiline turvalisus ja poliitiline turvalisus. Käesolevas artiklis vaatleme esmalt põgusalt tehisintellekti arengu hetkeseisu ning võimalikke üldisi tulevikuprognoose ning seejärel lähemalt sellest tulenevaid ohte digitaalsele turvalisusele.

Tehisintellekt (TI) ja masinõpe (MÕ) on viimastel aastatel jõudsalt edenenud, pakkudes laialdaselt kasulikke rakendusvõimalusi nagu näiteks automaatne kõnetuvastus, masintõlge, rämpspostifiltrid ja otsingumootorid. Paljulubavaid tulemusi on andnud ka teadus- ja arendustöö selliste võrdlemisi uute tehisintellektile ja masinõppele tuginevate tehnoloogiate kallal nagu isesõitvad sõidukid, arstide ja õdede digitaalsed assistendid, tehisintellektiga droonid. Positiivse külje pealt vähendavad sellised arengud vajadust ebasoovitavate tööde järele, kiirendavad teadusarengut ning parandavad haldussuutlikust.

Samas kujutab tehisintellekt, nagu enamus uusi tehnoloogiaid, endast kahe teraga mõõka, mida on võimalik kasutada nii hüvelistel kui ka pahatahtlikel eesmärkidel, mistõttu on inimkonna tuleviku huvides oluline sellest tehnoloogiast tulenevaid riske üksikasjalikult, põhjalikult ja adekvaatselt analüüsida, kuna need kujutavad endast potentsiaalselt ka väga tõsiseid turvariske kodanike, organisatsioonide ja riikide jaoks.

Tehisintellekti pahatahtlik kasutamine võib ohustada nii digitaalset, füüsilist kui ka poliitilist turvalisust, mida saab küll tinglikult üksteisest eraldada, kuid mis on fundamentaalselt siiski omavahel tugevalt läbi põimunud. Seetõttu sõltub tehisintellekti pahatahtlikest kasutusvõimalustest suuresti ka see, kuidas me rajame ja haldame oma digitaalset infrastruktuuri, kuidas ehitame ja jaotame TI-süsteeme ning milliseid seadusandlikke ja institutsionaalseid meetmeid peame meie ühise turvalisuse tagamiseks rakendama.

Olemasolevad ohud

Tehisintellekti areng võimendab esmalt juba eksisteerivaid ohte, nagu näiteks (suunatud) andmepüügi, lunavara ja muu pahavara tõhusam kasutamine, suurendades ühtlasi isikute hulka, kes on võimelised selliseid rünnakuid sooritama, rünnakute teostamise sagedust ning võimalike sihtmärkide ulatust.

TI-süsteemide tõhususe, skaleeritavuse ja levitamise lihtsuse tõttu võib muutuda mõttekaks ka selliste sihtmärkide ründamine, mida ei olnud eelnevalt mõistlik selle madala prioriteedi või kehva tasuvuse pärast rünnata.

Samas ei ole olemasolevate ohtude laienemine tingitud pelgalt TI arengust, vaid sellele aitavad kaasa ka olulised arengud robootika vallas ning arvutite ja robotite riistvara hindade langus, kuid see aspekt leiab põhjalikumat käsitlemist juba järgmises artiklis. Digitaalse turvalisuse seisukohast on aga kõige murettekitavamaks tohutu kvalitatiivne ja kvantitatiivne arenguhüpe teabehanke võimekuse osas.

Olemasolevate ohtude laiendamine

Näitlikustamaks seda, kuidas juba olemasolev turvaoht võib mastaapsuselt ja tõhususelt laieneda, vaatlen lähemalt sellist pahatahtlikku praktikat nagu suunatud andmepüük (spear phishing), mis kujutab endast katset petta oma sihtmärk usaldusväärsena näiva fassaadi abil ära, eesmärgiga hankida temalt informatsiooni või panna ta sooritama mõnda tegu. Selleks esineb ründaja sageli ohvri sõbra, tuttava, kolleegi või mõne ametiisikuna.

Usutava maskeeringu jaoks on aga vaja eelnevalt uurida sihtmärgi sotsiaalseid ja tööalaseid suhtlusvõrgustikke ning koostada sõnumeid, mis mõjuksid asjakohaste ja veenvatena. See protsess nõuab aga üsna suurel määral oskuslikku tööjõudu, kuna ründaja peab esmalt leidma väärtuslikud sihtmärgid, uurima nende sihtmärkide sotsiaalseid ja tööalaseid võrgustikke, koguma asjakohaseid andmeid (nt nimi, sugu, organisatsioonilised kuuluvused, huvipakkuvad valdkonnad jne) ning looma kogutud andmete põhjal tõetruu pöördumise, milles küsitakse pahaaimamatult ohvrilt näiteks pangakonto sisselogimisandmeid või palutakse teha ülekanne “sõbra” või “pereliikme” kontole. Kui selliseid uurimis- ja sünteesimisülesandeid on aga võimalik tehisintellekti abil automatiseerida, siis võimaldab see selliseid rünnakuid palju tõhusamalt ja suuremas mastaabis läbi viia.

Uued ohud

Tehisintellekti areng muudab võimalikuks uut tüüpi rünnakuid, mida TI-süsteemid võivad sooritada edukamalt kui ükski inimene seda suudaks või mis kasutavad hoopiski ära TI-süsteemide haavatavusi ja nõrkusi, mis inimestel puuduvad.

Kuna TI-süsteemid ei ole esiteks piiratud inimvõimete poolt, on nende abil võimalik sooritada rünnakuid, mis oleksid muidu võimatud – kasutades näiteks ülimalt realistlikku imiteerimist või robotite ja pahavara üleinimlikult tõhusat ja kiiret juhtimist, seda ka situatsioonides, kus see poleks inimestele võimetekohane või kus juhtsignaalid oleksid lihtsalt tõkestatud.

Teisalt on aga uued TI-süsteemid ka ise haavatavad, näiteks kui neile antakse pahatahtlikult sisendeid, mis võivad inimsilmale märkamatuks jääda (nt stopp-märgi modifitseerimine viisil, mis on inimsilmale tuvastamatu, kuid mis võib saata isesõitva auto TI-süsteemile vale signaali).

Kolmandaks tasuks arvestada ka sellega, et kui üks keskserveril asuv TI-süsteem juhib mitmeid roboteid või muid seadmeid või kui mitmeid roboteid juhitakse identse TI-süsteemi poolt, siis võib üksainus rünnak tekitada samaaegseid rikkeid tavajuhul mõeldamatus ulatuses. Halvim seesugune stsenaarium oleks näiteks rünnak serveri vastu, mida kasutatakse autonoomsete relvasüsteemide juhtimiseks, mis võib endaga kaasa tuua ulatusliku rünnaku enda vägede (friendly fire) või tsiviilisikute vastu. Selline võimalik oht kuulub aga juba rohkem füüsilise turvalisuse valdkonda, mida käsitlen põhjalikumalt juba järgmises artiklis.

Ohtude teisenemine

Ühest küljest muutub ohumaastik seega juba olemasolevate ohtude laienemise, kuid teisalt ka uute ohtude esilekerkimise tõttu. Samas usuvad raporti koostajad, et ka ohtude senine iseloom muutub mitmel olulisel viisil. Eeldatavasti muutuvad tehisintellekti arengu tõttu rünnakud tulevikus eriti efektiivseteks, täpselt sihituteks ja raskesti omistatavateks ning ühtlasi võimelisteks kasutama ära TI-süsteemide haavatavusi.

  • Tehisintellekti tõhusus, skaleeritavus ja inimvõimete ületamine paljudes aspektides annavad alust kartuseks, et äärmiselt tõhusad rünnakud muutuvad üha tavapärasemateks. Praegu peavad ründajad tegema enamasti kompromissi ühest küljest oma rünnakute sageduse ja ulatuse ning teisalt nende tõhususe osas. Näiteks on suunatud andmepüük (spear phishing) tõhusam kui tavaline andmepüük (phising), mis ei kätke endas spetsiaalsete isikute jaoks kohandatud sõnumeid, kuid teisalt on see suhteliselt kulukas ning seda ei ole võimalik massiliselt ellu viia. Samas on üldisema iseloomuga andmepüügi rünnakud vaatamata oma madalale õnnestumistõenäosusele kasumlikud pelgalt rünnaku suure ulatuse tõttu. TI-süsteemid on aga võimelised seda kompromissivajadust ületama, kuna on suutelised läbi viima sihitud rünnakuid oluliselt kõrgema sageduse ja suurema ulatusega.
  • Kuna ründajad soovivad sageli piirduda vaid kindlate omadustega sihtmärkidega (nt jõukad või poliitiliselt mõjuvõimsad isikud) ning kohandada oma rünnakuid vastavalt sihtmärkide omadustele, siis aitab tehisintellekt ajamahust ja tööjõukulust tingitud pudelikaela ületada ning muuta massrünnakuid ühtlasi oluliselt spetsiifilisemateks.
  • Anonüümsuse suurenemine viitab sellele, et ka rünnakute omistamine muutub üha keerulisemaks. Näiteks kui ründajad hakkavad kasutama oma rünnakute toestamiseks autonoomseid relvasüsteeme. Samuti on ootuspärane, et mida laiemalt TI-süsteemid levivad, seda suurem on tõenäosus, et nende haavatavusi hakatakse pahatahtlikult ära kasutama.

Digitaalne turvalisus

Kokkuvõtvalt aitab TI-kasutuselevõtmine automatiseerida küberrünnaku teostamiseks vajalikke ülesandeid ja ületada seeläbi kompromissivajadust rünnakute ulatuse ja tõhususe vahel. See võib laiendada töömahukatest küberrünnakutest tulenevat ohtu (nt suunatud andmepüük), kuid samuti luua uusi rünnakuviise, mis kasutavad ära inimlikke haavatavusi (nt kõnesünteesi kasutamine jäljendamiseks), olemasolevaid tarkvara haavatavusi (nt läbi automatiseeritud häkkimise) või TI-süsteemide haavatavusi (nt konkureerivate näidete ja andmemürgituse kaudu).

Näiteks loob sotsiaalsel manipulatsioonil põhinevate rünnakute automatiseerimine olukorra, kus ohvri veebiinfot kasutatakse selliste pahatahtlike veebilehtede/e-kirjade/linkide automaatseks loomiseks, millele ta tõenäoliselt vajutaks, seda enam, et kirja saatnud tehisintellekt on suutnud end seejuures edukalt mõne tema tuttavana esineda ning ühtlasi tema kirjaviisi imiteerida. Tehisintellekti arenedes võivad aga veenvad juturobotid (chatbots) võita inimeste usalduse juba läbi pikemate vestluste ning ehk isegi visuaalselt usutavalt maskeeruda mõneks isikuks videovestluses.

Pilt 1: vastandgeneratiivsete võrkude abil (Generative Adversarial Network ehk GAN) on tehisintellekt võimeline looma üha realistlikumaid sünteetilisi nägusid.

Selline audiovisuaalne maskeerimisvõime on üheks väga ilmekaks näiteks sellest, kuidas tehisintellekt on võimeline inimvõimekust mäekõrguselt ületama. Väga vähesed inimesed on võimelised kellegi häält piisavalt veenvalt jäljendama või vajaliku visuaalse usutavusega kellekski teiseks ümber kehastuma, kuid häälesünteesi ja inimkujutise sünteesimise tehnoloogia abil on juba praegu võimalik saavutada tulemusi, mis on originaaliga äravahetamiseni sarnased, nagu ka alljärgnev video demonstreerib.

Video 1: Arvutitehnoloogia arenedes peame endilt viimaks küsima, kas saame üldse enam oma silmi uskuda?

Kuna sellised arengud võivad olla problemaatilised ka poliitilise turvalisuse seisukohast, siis käsitlen seda teemat pikemalt selle artikliseeria kolmandas artiklis.

Kuigi TI-süsteemid toimivad tänapäeval hästi ainult suhteliselt väheste ülesannete puhul, mida inimesed on võimelised sooritama, laieneb TI võimekus ning haardeulatus pidevalt ning üha kiiremas tempos. Samuti on märkimisväärne, et kui TI-süsteemid saavutavad mõnes ülesandes inimvõimekuse (nt males), ületavad nad seejärel selles vallas peagi ka kõige andekamad inimesed. Enamus tehisintellekti uurijaid on veendunud, et TI-süsteemid ületavad viimaks inimvõimekuse pea-aegu kõikides ülesannetes ning et see saab tõenäoliselt juhtuma järgneva viiekümne aasta jooksul. Samas on sellise arengu tagajärgi hetkel veel üsna raske täpselt prognoosida.

Praegustest tehisintellekti ohtudest väärivad kindlasti äramainimist:

  • Tarkvarasüsteemide haavatavuste tuvastamise automatiseerimine – koodi haavatavuse ajaloolisi mustreid kasutatakse uute haavatavuste tuvastamiseks ning uue koodi loomiseks, mis neid haavatavusi ära kasutaks;
  • Häkkimise täiustatud automatiseerimine – tehisintellekti kasutatakse (autonoomselt või koostöös inimestega) sihtmärkide valimise parandamiseks ja prioritiseerimiseks, tabamise vältimiseks ning loominguliseks reageerimiseks sihtmärgi käitumise muutumisele;
  • Küberrünnaku sihtmärkide automaatne prioritiseerimine – suuri andmekogumeid kasutatakse ohvrite tõhusamaks tuvastamiseks, nt läbi nende isikliku vara või maksevalmiduse hindamise nende veebikäitumise põhjal;
  • Tööülesannete automatiseerimine kriminaalses küberrünnakus – rünnaku põhiülesannete automatiseerimine, nt maksete töötlemine või suhtlus lunavara ohvritega.

Tänapäeva TI-süsteemidel on aga ka mitmeid uusi ja lahendamata haavatavusi. Nende seas näiteks avatus andmemürgitusrünnakutele (pahatahtlik väärade õppeandmete sisestamine, mis kutsub õppesüsteemides esile vigu), konkureerivatele näidetele (adversarial examples – sihilikult loodud sisendid, mida masinõppesüsteemid valesti klassifitseerivad) ning vigade ärakasutamisele autonoomsete süsteemide eesmärkide arhitektuuris.

Kuigi TI-süsteemid on võimelised ületama inimvõimekust paljudel viisidel, võivad need ka eksida viisidel, kuidas inimene iial ei eksiks (nt käsuarhitektuurist tulenev suutmatus olukorda adekvaatselt hinnata). Teisalt on aga süsteemiturbe puhul inimtegur sageli kõige nõrgem lüli, kuna inimene teeb vigu, mida jällegi TI-süsteemid iial ei teeks (nt jätab märkmepaberile kirjutatud parooli lauale vedelema). Kokkuvõtvalt eksisteerib seega erinevatel lähenemistel ja süsteemidel erinevaid haavatavusi ning mida suuremaks ja hõlmavamaks sellised süsteemid paisuvad, seda olulisem on nende haavatavuste õigeaegne tuvastamine ja adekvaatne kõrvaldamine või vähemalt ohu minimeerimine.

Kontrollpunktid ja vastumeetmed

Kuigi küberriske on raske täielikult vältida, on siiski võimalik neid leevendada ning selleks eksisteerib mitmeid kontrollpunkte, kus sekkumine võib turvalisust suurendada. Kuna tehisintellekti saab kasutada nii rünnakuks kui kaitseks, siis usuvad raporti koostajad, et tehisintellekt ja küberturvalisus arenevad lähiaastatel kiiresti tandemina koos ning selleks, et motiveeritud ründajatest ees püsida on vaja ennetavat pingutust. Võimalike kaitsemeetmetena toonitavad spetsialistid järgnevaid punkte:

Tarbijateadlikkus – teadlikumad tarbijad on võimelised teatud rünnakuid ära tundma, nagu näiteks halvasti teostatud andmepüügi katseid ning omavad paremaid turvaharjumusi, kasutades näiteks keerulisi salasõnu ja kaheastmelist autentimist.

Valitsused ja teadlased – kuigi juriidiline jõustamine on rahvusvaheliselt eriti keeruline, aitavad sellised normid nagu näiteks haavatavuste vastutustundlik avalikustamine samuti küberrünnakute vastu võidelda, kuna vähendavad tõenäosust, et äsja avalikustatud haavatavust kasutatakse enne parandamist suure arvu ohvrite vastu. Konkreetse näitena meenub siinkirjutajale näiteks Eesti ID-kaartide turvavea enneaegne avalikustamine.

Digitaalse turvalisuse seisukohalt on oluline ka küberturbe teadlaste poolt teostatavad kontrollid, mille eesmärgiks on tuvastada koodis haavatavusi, mis võimaldab tarnijatel oma toodete turvalisust suurendada.

Selleks kasutatakse erinevaid meetodeid, nagu näiteks:

  • Preemiate maksmine vigade tuvastamise eest.
  • Fuzzing ehk automatiseeritud haavatavuste tuvastamise meetod, mille käigus proovitakse programmi sisestada võimalikult palju kehtetuid, ootamatuid või juhuslikke sisendeid, et tuvastada muuhulgas programmi kokkujooksmisi, vigast koodi või potentsiaalseid mälulekkeid.
  • Juba olemasolevate masinõppel põhinevate toodete kasutamine, et tuvastada, kas lähtekoodis on haavatavusi.

Tööstuse tsentraliseerimine – rämpspostifiltrid on heaks näiteks sellest, kuidas ühe TI-süsteemi tsentraliseerimine aitab küberturvalisusele kaasa. Üksikud kasutajad saavad kasu Google’i rämpspostifiltrist, eriti paljude lihtsamate rünnakute tõrjumisel, ning see filter on tõhus, kuna Google kasutab paljude kasutajate andmeid selle pidevaks täiustamiseks. Samuti teostavad paljud suured võrgustikud pidevalt seiret anomaaliate suhtes, kaitstes seeläbi kasutajaid. Sellised süsteemid võidavad eelkõige mastaabisäästu tõttu, kuna on mõistlikum pidevalt täiendada ühte rämpspostifiltrit paljude kasutajate jaoks, kui lasta igal kasutajal oma filter ehitada või arvutisse paigaldada.

Veel üheks näiteks süsteemi tasemel toimivast kaitsest on IP-aadresside musta nimekirja koostamine, kust rünnakuid tavaliselt algatatakse, kuigi oskuslikud ründajad võivad ka oma rünnaku jälgi peita. Tsentraliseerimine ja mastaabisääst võivad samuti lihtsustada TI-põhiste kaitsete rakendamist küberrünnakute vastu, võimaldades suurte andmehulkade koondamist ning turbealase tööjõu ning teadmiste kontsentreerimist.

Samas eksisteerib tsentraliseerimisel ka oma pahupool, kuna eduka kesksüsteemi rünnaku korral on potentsiaalne kahju oluliselt suurem kui väikese mastaabiga süsteemide puhul. Samuti võivad ründajad ka süsteemitasandi kaitsetest kõrvale hiilida, nt ostes viirustõrjetarkvara ning analüüsides selle kaitseprotokolli uuendusi, et näha, millised ohud on uuenduste poolt kaetud ning millised mitte.

Tehnilised küberturvalisuse kaitsed – mitmed ettevõtted pakuvad erineva iseloomu ja tõhususega küberturvalisuse lahendusi, alates tarkvara “lappimisest” (patching) kuni konkreetsetele intsidentidele reageerimise ja konsultatsiooniteenusteni. Tarkvara tasandil keskendutakse eelkõige järelvalvega või järelvalveta masinõppimisele, esimesel puhul eesmärgiga õppida tuntud ohtudest ning üldistada õpitut uutele ohtudele ning teisel puhul eesmärgiga tuvastada anomaaliaid programmi töös.

Kokkuvõte

Kuna tehnoloogia, eriti aga tehisintellekti valdkonnas on äärmiselt raske pikaajalisi prognoose teha, siis keskendusid nimetatud raporti koostajad tehisintellekti hetkeseisule ning potentsiaalsele lähitulevikule (kuni 5+ aastat praegusest hetkest). Usutakse, et sellel ajaperioodil kasutatakse TI-süsteeme aktiivselt nii ründe- kui ka kaitsetegevuses, kuid need pole jõudnud veel sellise tasemeni, et olla täiesti autonoomsed ehk siis toimida täiesti sõltumatult ründaja või kaitsja poolsetest sisenditest.

Hetkeseisuga kasutatakse tehisintellekti küll nii rünnakute läbiviimiseks (vähemalt katsetustena kuid ilmselt ka juba pahatahtlikel eesmärkidel) kui ka nende tõrjumiseks (nt rämpsposti, pahavara, andmepüügi tuvastamine), kuid arvestades selle tehnoloogia potentsiaali, ollakse selle väljatöötamisel hetkel veel suuresti lapsekingades, kuigi suurkorporatsioonid nagu Google, Amazon, Apple, Facebook, IBM ja Microsoft on suunanud sellesse väga ulatuslikke ressursse.

Arvestades, et juba viimasel kümnendil ning ka viimastel aastatel on teostatud väga kõrge ohupotentsiaaliga küberrünnakuid[1], saab tõhusate TI-põhiste kübertõrjesüsteemide välja töötamine olema määrava tähtsusega. Kuigi paljud küberturbe spetsialistid on TI-põhiste süsteemide tõrjevõimekuse osas hetkel veel skeptilised, on samas selge, et kui kõrgetasemelisi TI-süsteeme hakatakse kasutama ründe ja küberkuritegevuse eesmärkidel, pole pelk inimvõimekus kaitsetegevuse jaoks enam piisav.

Kuigi 2016. aastal DARPA pool korraldatud Cyber Grand Challenge[2] näitas, et parim TI-süsteem ei olnud inimturvaekspertidega võrreldes veel kuigi edukas, olid ürituse korraldajad siiski seda meelt, et arvestades hiljutisi edusamme TI-valdkonnas (nt sügav stiimulõpe ehk deep reinforcement learning) kasvab TI-küberturbevõimekus lähiaastatel eksponentsiaalselt.

Tehisintellekti sügava stiimulõppe võimekus aitab koostöös suurte andmebaasidega pahavara koodi pidevalt kohandada, et leida parim viis konkreetsetest küberturbetööriistadest mööda hiilimiseks – selline TI-süsteemide kohandumisvõime suudab ilmselt üle mängida praeguseid küberkaitsesüsteeme, mis on suunatud eelkõige tüüpilise inimtekkelise pahavara vastu ning muudab seeläbi suure tõenäosusega küberturvalisuse strateegilist maastikku ning küberründe/-kaitse tasakaalu seni ettenägematul viisil.

Märkused

[1] Näiteks Stuxneti uss Iraanis ja Crash Override Ukrainas – kuigi need paiknevad digitaalse ja füüsilise rünnaku piirimail, käsitlen ma neid ilmselt põhjalikumalt siiski järgmises füüsilist turvalisust käsitlevas artiklis.

[2] Üritus, kus küberturvalisuse teadlased võistlesid üksteisega programmide loomisel, mis on võimelised autonoomselt teisi süsteeme ründama, samaaegselt ennast kaitstes.

Kui peate Objektiivi tegevust oluliseks, siis toetage seda annetusega! Annetuse vormistamine annetustelehel võtab vaid mõne hetke. Täname!

Aidake viia artikli sõnum palju suurema hulga inimesteni, jagades artiklit sotsiaalmeedia kaudu oma sõprade ja tuttavatega!
JAGA
Martin Vaher
Marin Vaher on teoloog, katoliiklane ja portaali Objektiiv kolumnist. Ta on õppinud Tartu Ülikoolis filosoofiat ja teoloogiat ning jätkab magistriõpinguid religiooniuuringute alal.