Taikomoji kalbotyra, 14: 33–38, eISSN 2029-8935
https://www.journals.vu.lt/taikomojikalbotyra, DOI: https://doi.org/10.15388/Taikalbot.2020.14.3
Loreta Vilkienė
Vilniaus universitetas
loreta.vilkiene@flf.vu.lt
Laura Vilkaitė-Lozdienė
Vilniaus universitetas
laura.vilkaite@flf.vu.lt
Rita Juknevičienė
Vilniaus universitetas
rita.juknevičiene@flf.vu.lt
Justina Bružaitė-Liseckienė
Vilniaus universitetas
justina.bruzaite-liseckiene@flf.vu.lt
Kinga Geben
Vilniaus universitetas
kinga.geben@flf.vu.lt
Birutė Ryvitytė
Vilniaus universitetas
birute.ryvityte@flf.vu.lt
Summary. The idea of this paper arose in a reading group of several colleagues at the Faculty of Philology of Vilnius University after a discussion of a review article published by the editors of Language Teaching. Titled ‘Replication studies in language learning and teaching’ (2008), the paper focuses on replication studies and argues that they should be promoted and valued no less than original research. The participants of the reading group agreed that replication studies, understood here primarily as replications of quantitative research, are indeed an important issue that could be of interest to the broader community of applied linguists in Lithuania. The present paper argues that attempts to replicate earlier studies, which are very scarce or non-existent in Lithuania, deserve more attention both from novice and mature researchers. Replications are particularly valuable in developmental studies where replicating a study over a period of time allows the researcher to obtain data for continued analysis. Furthermore, a replication of a published study that deals with data collected in one country offers an opportunity to verify its findings in a different context and this way consolidates our understanding of phenomena under study. Finally, replication is an invaluable learning method to a novice linguist, be it a senior undergraduate or postgraduate student. Thus the authors of this paper would like to promote the idea of replication research in our community as well as encourage everyone interested make use of the increasingly growing amount of open access data available on the internet.
Copyright © 2020 Loreta Vilkienė, Laura Vilkaitė-Lozdienė, Rita Juknevičienė, Justina Bružaitė-Liseckienė, Kinga Geben, Birutė Ryvitytė. Published by Vilnius University Press.
This is an Open Access article distributed under the terms of the Creative Commons Attribution Licence, which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited.
________
Šio teksto atsiradimą paskatino grupės VU Filologijos fakulteto dėstytojų diskusija apie mokslinio žurnalo „Language Teaching“ redaktorių kolegijos apžvalginį straipsnį „Replication studies in language learning and teaching“ (2008), kuriame aptariama, kas yra tyrimų pakartojimai (angl. replication study, replication), kodėl jie svarbūs ir reikalingi. Kadangi diskusijoje dalyvavusios mokslininkės vieningai sutarė, kad Lietuvoje apie tai dar per mažai kalbama, buvo nuspręsta atkreipti Taikomosios kalbotyros tyrėjų bendruomenės dėmesį į kiekybinių tyrimų pakartojamumo problemą. Todėl ir atsirado šis tekstas. Pabrėžtina – kalbama išimtinai apie kiekybinius tyrimus.
Kiekvienam mokslininkui yra gerai žinoma, kad teikiant straipsnius moksliniams žurnalams iš autoriaus reikalaujama, jog publikuojamas tyrimas būtų naujas ir originalus. Tai privalu pagrįsti, o ir recenzijose neretai toks kriterijus vienas iš pirmųjų. Tačiau vis plačiau prabylama apie tai, kad tyrimų pakartojimai turėtų būti įprasta mokslinės praktikos dalis. Kaip pastebi Felipe Romero (2019), pakartojamumas (angl. replicability), kitaip tariant, tai, kad konkretaus tyrimo rezultatai gali būti gauti dar kartą kitų mokslininkų, yra priežastis, kodėl iš viso pasitikima moksliniais tyrimais: jei, pavyzdžiui, tokiomis pačiomis sąlygomis dar kartą atlikto eksperimento rezultatai yra tokie patys, vadinasi, jie patikimi. Kitaip rezultatai gali kelti įvairių klausimų. Pavyzdžiui, nemažai svarbių šiuolaikinių teorijų gana dažnai yra grįstos senokai su palyginti nedidele respondentų imtimi atliktų tyrimų rezultatais ir jų interpretacijomis. Vadinasi, turėtų būti net ir siekiama pakartoti tuos tyrimus, kad būtų įsitikinta, jog tiesa yra tokia, kokia deklaruojama. Kitas dalykas – tyrimai turi būti kartojami, kai būtina stebėti tam tikrų reiškinių raidos tendencijas. Pavyzdžiui, 2007–2009 m. vykdytas projektas „Kalbų vartojimas ir tautinė tapatybė Lietuvos miestuose“ (vadovė Meilutė Ramonienė) ir buvo tirtas Vilniaus, Kauno ir Klaipėdos atvejis. Vėliau, 2010–2012 m., vyko projektas „Sociolingvistinis Lietuvos žemėlapis: miestai ir miesteliai“ – tai buvo tam tikras ankstesnio projekto pakartojimas, kad būtų galima atskleisti visos Lietuvos miestų ir miestelių situaciją. Abiejų projektų duomenys buvo publikuoti kolektyvinėse mokslo monografijose (žr. Ramonienė 2010, 2013). Taigi pirmasis tyrimas pakartotas, kad būtų surinkta daugiau duomenų ir atsiskleistų platesnis Lietuvos sociolingvistinis vaizdas. Tačiau po šių projektų jau praėjo nemažai laiko, situacija Lietuvoje galėjo pakisti, tad norint ją stebėti, kad vėliau būtų galima priimti tam tikrus, pavyzdžiui, kalbų politikos, kalbų mokymo ir pan., sprendimus, tyrimas turi būti kartojamas.
Jau nuo 2010 m. imta plačiai kalbėti apie mokslinių tyrimų pakartojimo krizę (angl. replication crisis). Ką tai reiškia konkrečiau? Būta įvairių mokslininkų iniciatyvų, kurių tikslas buvo pakartoti kai kurių socialinių, kognityvinių mokslų ar biomedicinos srities tyrimus, tačiau tokie bandymai parodė, kad didelė dalis net ir klasikinių, plačiai cituojamų tyrimų ar jų rezultatų, nėra pakartojama. Kitaip tariant, mokslininkų grupės, bandžiusios pakartoti plačiai pripažintus tyrimus, kurių rezultatais grindžiamos ištisos teorijos, negavo tokių pačių rezultatų, kokie buvo pradiniame tyrime. Žinoma, tai iškėlė klausimą, kiek pirminiai rezultatai patikimi. Apie šią tyrimų pakartojimo krizę daug rašoma, apie tai pasisako didelės mokslininkų grupės (plačiau žr., pvz., Camerer et al. (2018) ar Romero (2019)).
Kodėl kyla tokia tyrimų pakartojimo krizė? Romero (2019) pateikia bent kelias priežastis, iš kurių esminės įžvelgiamos tokios:
• mokslo žurnalai linksta publikuoti statistiškai reikšmingus rezultatus, todėl priešingi rezultatai nėra skelbiami; taigi dešimtis kartų gautas neigiamas rezultatas nebūtų skelbiamas, o atsitiktinai reikšmingą (angl. significant) efektą atskleidęs tyrimas gali būti publikuojamas;
• kai kada siekdami reikšmingų rezultatų mokslininkai manipuliuoja surinktais duomenimis ar duomenų analize – atmeta atvejus, be kurių rezultatai tampa geresni, arba duomenų analizę atlieka skirtingais būdais, o tada pasirenka ir aprašo sau palankiausią rezultatą ir t. t.;
• atlikę kelis eksperimentus mokslininkai publikuoja tik tuos, kurie davė reikšmingų rezultatų;
• pripažinimo sulaukia tik pirmasis mokslininkas, padaręs atradimą, o tokia sistema neskatina toliau kelti klausimus, gilintis į problemas ar kartoti tyrimus.
Taigi akivaizdu, kad ir mokslo rezultatų publikavimo prioritetai, o platesne prasme net ir mokslo politika, prisideda prie tyrimų pakartojimo krizės. Tačiau vis dėlto mokslo bendruomenės suprantama, kad tyrimų pakartojamumas, kaip jau buvo minėta, yra svarbus bet kokių kiekybinių tyrimų patikimumui užtikrinti arba įvairių reiškinių raidos tendencijoms atskleisti. Todėl vis garsiau pradedama kalbėti apie tai, kaip labiau paskatinti mokslininkus kartoti tyrimus.
Vienas neretai siūlomų sprendimų yra žurnalų kvietimas, kad mokslininkai iš anksto registruotų savo tyrimo planą ir jo laikytųsi – taip gali būti išvengta manipuliacijos duomenimis. Kita iniciatyva – daryti mokslą kiek įmanoma atviresnį, t. y. viešinti tyrimo instrumentus, duomenis, analizės būdus ir visą papildomą medžiagą, kad kiti mokslininkai galėtų patikimiau įvertinti atliktą tyrimą, kilus klausimų dar kartą išanalizuoti duomenis ar pakartoti visą tyrimą.
Taikomojoje kalbotyroje tyrimų kartojimo idėją aktyviai skleidžia žurnalas „Language Learning“. Šis leidinys publikavo vedamąjį straipsnį „Introducing Registered Reports at Language Learning: Promoting Transparency, Replication, and a Synthetic Ethic in the Language Sciences“ (Marsden et al. 2018), siekdamas skatinti atvirojo mokslo praktiką ir ragindamas autorius pateikti registruotą savo tyrimo ataskaitą (angl. registered report) – atskleisti detalų tyrimo ir analizės planą, kuris yra recenzuojamas, tad straipsnis iš principo gali būti priimtas dar prieš pradedant atlikti tyrimą. Jei pats tyrimas ir duomenų analizė vykdomi remiantis šia registruota tvarka, straipsnis vėliau publikuojamas, nesvarbu, ar gauti rezultatai statistiškai reikšmingi.
Žurnalo „Language Teaching“ redaktorių kolegija 2008 m. parengė apžvalginį straipsnį apie tyrimų pakartojimo svarbą ir iššūkius, su kuriais susiduriama atliekant tokius tyrimus (Replication studies in language learning and teaching, 2008). Šiame straipsnyje taip pat kalbama apie tai, kad tyrimai gali būti pakartoti įvairiai, tai gali būti:
• tikslūs pakartojimai (angl. exact, literal),
• apytiksliai pakartojimai (angl. approximate, systematic),
• konceptualūs pakartojimai (angl. constructive, conceptual)
Jei tyrimas pakartojamas visiškai tiksliai, t. y. laikantis visų pirminio tyrimo sąlygų, o mokslininkai gauna tokius pačius rezultatus, kokie buvo gauti pirminio tyrimo atveju, tai labai padidina paties tyrimo patikimumą. Tačiau tikslus pakartojimas ne visada yra įmanomas. Pavyzdžiui, kalbos išmokimo tyrimai negali būti tiksliai pakartoti, nes tokio pakartojimo atveju niekas neturėtų būti keičiama, net dalyviai turėtų būti tie patys ir tokie patys, o tai yra neįmanoma, nes mokantis kalbų daroma pažanga arba vyksta atžanga, tad bent jau tiriamieji bus ne tokie, kokie buvo pirminiame tyrime. Taigi tikslus tyrimo pakartojimas būna retai.
Apytiksliame tyrimo pakartojime vienas esminis kintamasis gali būti keičiamas. Pavyzdžiui, kalbos išmokimo tyrimų atveju gali kisti dalyvių pirmoji kalba (K1) ar mokymosi kontekstas. Gavus tokius pat rezultatus, kaip pradiniame tyrime, būtų galima tvirtinti, kad rezultatai apibendrinami plačiau, įvairesnėms populiacijoms.
Konceptualūs pakartojimai tikrina pradinį tyrimą, bet taip pat gali tikrinti siūlomus rezultatų paaiškinimus, interpretacijas. Jei pradinis tyrimas pateikė kelis galimus paaiškinimus, konceptualiame pakartojime galima keisti neesminius kintamuosius ir tai, kaip jie matuojami, norint įvertinti pateiktus paaiškinimus. Konceptualiu pakartojimu galima laikyti ir tokius tyrimus, kurie skirti tam tikro reiškinio raidos tendencijoms stebėti.
Visų trijų tipų tyrimų pakartojimai vertinami vienodai teigiamai. Tačiau atliekant ir vėliau aprašant konkretaus tyrimo pakartojimą svarbu nurodyti ne tik tai, koks tyrimas kartojamas, bet ir tai, kokio pobūdžio yra pakartojimas. Taip pat straipsnyje, studijoje ar monografijoje būtina tiksliai aprašyti, kuo pakartotas tyrimas skiriasi nuo pirminio, ir pateikti visas konteksto detales. Tai leidžia kitiems mokslininkams vertinti tyrimo rezultatų ir jų interpretacijų pagrįstumą bei patikimumą.
Taigi pakartojamumas yra dar vienas tyrimo kokybės rodiklis, o ne paprastas kopijavimas. Kaip teigia Luke Plonsky (2019), pakartojimai leidžia patikrinti vieno tyrimo metodus ar rezultatus naudojant kitokią imtį, suteikia progą plačiau apibendrinti rezultatus ir taip pat moko pradedančiuosius tyrėjus vykdyti mokslinį darbą. Turbūt todėl Amerikos taikomosios kalbotyros asociacijos tinklalapyje skelbiamose rekomendacijose numatyta, kad kokybiškai atlikti pakartojimo tyrimai turi būti prilyginami originaliems tyrimams (žr. https://www.aaal.org/promotion-and-tenure-guidlines).
Taikomosios kalbotyros mokslininkai aktyviai raginami pakartoti ankstesnius tyrimus. Pavyzdžiui, 2019 m. mokslo žurnale „Language learning“ buvo paskelbtas kvietimas jungtis prie didelės apimties iniciatyvos, siekiančios pakartoti įvairius antrosios kalbos įsisavinimo (angl. SLA) tyrimus (Andringa & Godfroid 2019). Mokslininkai buvo skatinami siūlyti savo tyrimus, kurių pakartojimas su kitomis tiriamųjų grupėmis juos domintų, nes, pavyzdžiui, daugybė kalbos įsisavinimo tyrimų yra grįsti duomenimis, surinktais iš labai aukštą išsilavinimą turinčių dalyvių, o tai neleidžia išsamiai atsakyti į išsikeltus klausimus. Kol kas ši iniciatyva vis dar vyksta.
Taip pat žurnale „Language learning“ jau yra publikuotas ne vienas pakartotas tyrimas. Pavyzdžiui, buvo paskelbti rezultatai labai apgalvoto didelės apimties kelių institucijų pakartoto tyrimo „Multisite Replication in Second Language Acquisition Research: Attention to Form During Listening and Reading Comprehension“ (Morgan-Short et al., 2018), kuriame analizuoti klausymo ir skaitymo supratimo mokantis svetimosios kalbos, klausimai. Taip pat buvo publikuotas didelės apimties konceptualus tyrimo pakartojimas apie vizijos svarbą K2 mokymosi motyvacijai „Reexamining the Role of Vision in Second Language Motivation: A Preregistered Conceptual Replication of You, Dörnyei, and Csizér (2016)“ (Hiver & Al-Hoorie, 2019). Šiame žurnale taip pat galima rasti ir konceptualiai pakartotą kolokacijų mokymosi tyrimą „The Development of Implicit and Explicit Knowledge of Collocations: A Conceptual Replication and Extension of Sonbul and Schmitt (2013)“(Toomer & Elgort, 2019). Taigi įvairių kalbų mokslininkai gręžiasi į iniciatyvą imtis tyrimų pakartojimų.
Be jau minėtų pakartotų tyrimų, pasirodė nemažai straipsnių, kuriuose aptariami verti pakartojimo tyrimai, ir net patys straipsnių autoriai pateikia pasiūlymų, ką būtų galima keisti ar pagerinti atliekant tyrimo pakartojimą. Štai keli tokių kvietimų pavyzdžiai:
• buvo kviečiama pakartoti tyrimus apie pedagogines prieigas, kaip mokyti pastoviųjų žodžių junginių: „Replication research in pedagogical approaches to spoken fluency and formulaic sequences: A call for replication of Wood (2009) and Boers, Eyckmans, Kappel, Stengers & Demecheleer (2006)“ (Thomson et al., 2019);
• raginta pakartoti kolokacijų apdorojimo greičio tyrimus: „Research on the on-line processing of collocation: Replication of Wolter and Gyllstad (2011) and Millar (2011)“ (Sonbul & Siyanova-Chanturia, 2019);
• skatinta pakartoti tyrimą apie darbinės atminties vaidmenį rašant svetimąja kalba „Testing a threshold: an approximate replication of Johnson, Mercado & Acevedo 2012“ (Johnson & Nicodemus, 2016);
• kviesta pakartoti užduotimis grįsto kalbos mokymo veiksmingumą: „Replication in task-based language teaching research: Kim (2012) and Shintani (2012)“ (Révész, 2019).
Ir tai tik keli pavyzdžiai. Nors tokių straipsnių vien jau žurnale „Language Teaching“ pasirodė nemažai, o dalis jų parašyta žinomų, autoritetingų mokslininkų, vis dėlto dažniausiai apsiribota tuo, kad konkretus pakartojimo vertas tyrimas aptartas, raginta imtis jo kartojimo, tačiau tolesnis žingsnis žengiamas nebuvo.
Dar viena svarbi iniciatyva – IRIS duomenų bazė (https://www.iris-database.org/iris/app/home/index). Šioje duomenų bazėje skelbiami įvairių tyrimų instrumentai, duomenų kodavimo schemos, analizės įrankiai, kurie buvo naudoti tiriant svetimųjų kalbų įsisavinimą, vartojimą ar apdorojimą. Šie ištekliai gali būti laisvai naudojami kitų mokslininkų tyrimuose. Toks įrankių viešinimas irgi gali būti laikomas savotišku skatinimu pakartoti jau įvykdytus tyrimus, kad būtų sukaupti patikimesni rezultatai. Tačiau pamėginus įgyvendinti tokią iniciatyvą paaiškėjo, kaip rašo Plonsky et al. (2015), kad ne visi taikomosios kalbotyros straipsnių autoriai yra pasirengę „žaisti atviromis kortomis“. Kai buvo kreiptasi į mokslininkus prašant pasidalyti savo duomenimis pakartojimo tyrimams, tik 14 proc. tyrėjų sutiko tai daryti, iš jų 10 proc. turėjo aiškiai ir suprantamai sukauptą medžiagą, kuri galėtų būti naudojama pakartojant tyrimą. O 62 proc. tyrėjų į prašymą iš viso nereagavo, 24 proc. medžiagos pateikti nesutiko dėl įvairių priežasčių: etinių, laiko stokos ar dėl to, kad duomenys prarasti. Kai kurie pažadėjo medžiagą paviešinti, bet savo pažado netesėjo. Visa tai vienaip ar kitaip gali būti siejama su tyrimų kokybe: neatvėrus duomenų niekas negali patikrinti, kiek pagrįsti autoriaus teiginiai ar išvados. O tyrimo pakartojimas tai galėtų atskleisti.
Baigiant galima pasakyti, kad kol kas Lietuvoje taikomosios kalbotyros srities tyrimų kartojama mažai. O tai galėtų būti kur kas dažnesnė praktika. Jau nekalbama apie tai, kad tyrimai turi būti konceptualiai kartojami tuomet, kai reikia stebėti įvairių kalbinių reiškinių raidos tendencijas ar sukaupti daugiau duomenų, įrodymų. Kita vertus, svarbaus ir plačiai cituojamo kitų kalbų tyrimo pakartojimas ir publikavimas gali leisti tyrėjui lengviau įeiti į tarptautinį tyrimų kontekstą: pavyzdžiui, duomenys, kitų kalbų tyrėjų gauti analizuojant konkrečius kalbos įsisavinimo aspektus, gali būti prasmingai papildyti lietuvių kalbos įsisavinimo tyrimų rezultatais ir pan. Be to, tyrimo kartojimas gali būti puikus būdas pradedančiam tyrėjui mokytis, kaip vyksta tyrimas ir kokia turėtų būti jo eiga. Ypač tai pravartu rašantiems bakalauro ar magistro pakopos darbus. Taigi palaikydamos tyrimų pakartojimo iniciatyvą ragintume kolegas aktyviau įsitraukti į tyrimų pakartojimus ir naudotis atvertais ištekliais, įgalinančiais profesionalų pakartojimą.
Andringa, S., & Godfroid, A. 2019. Call for participation. Language Learning, 69(1), 5–10.
Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., Wu, H. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644. https://doi.org/10.1038/s41562-018-0399-z
Hiver, P., & Al-Hoorie, A. H. 2019. Reexamining the role of vision in second language motivation: a preregistered conceptual replication of you, Dörnyei, and Csizér (2016). Language Learning, n/a(n/a). https://doi.org/10.1111/lang.12371
Johnson, M. D., & Nicodemus, C. L. 2016. Testing a threshold: an approximate replication of Johnson, Mercado & Acevedo 2012. Language Teaching, 49(2), 251–274. https://doi.org/10.1017/S0261444815000087
Marsden, E., Morgan-Short, K., Trofimovich, P., & Ellis, N. C. 2018. Introducing registered reports at language learning: promoting transparency, replication, and a synthetic ethic in the language sciences. Language Learning, 68(2), 309–320. https://doi.org/10.1111/lang.12284
Marsden, E., Mackey A., & Plonsky, L. 2016. The IRIS repository: advancing research practice and methodology. In A. Mackey & E. Marsden (Eds.), Advancing methodology and practice: The IRIS Repository of Instruments for Research into Second Languages (pp. 1–21). New York: Routledge.
Morgan-Short, K., Marsden, E., Heil, J., Ii, B. I. I., Leow, R. P., Mikhaylova, A., Mikołajczak, S., Moreno, N., Slabakova, R., & Szudarski, P. 2018. Multisite replication in second language acquisition research: attention to form during listening and reading comprehension. Language Learning, 68(2), 392–437. https://doi.org/10.1111/lang.12292
Plonsky, L., Egbert, J. & Laflair, G. T. 2015. Bootstrapping in applied linguistics: assessing its potential using shared data. Applied Linguistics, 36(5), 591–610.
Plonsky, L. 2019. Methodological reform and learner corpus research. Plenarinis pranešimas, Learner Corpus Research 2019, Varšuva, 2019 m. rugsėjo 13 d.
Ramonienė, M. (moksl. red.) 2010. Miestai ir kalbos. Vilnius: VU leidykla.
Ramonienė, M. (moksl. red.) 2013. Miestai ir kalbos II. Sociolingvistinis Lietuvos žemėlapis. Vilnius: VU leidykla.
Registered Replication Reports. (n. d.). Association for Psychological Science – APS. Retrieved 30 December 2019, from https://www.psychologicalscience.org/publications/replication
Replication studies in language learning and teaching: Questions and answers. 2008. Language Teaching, 41(1), 1–14. https://doi.org/10.1017/S0261444807004727
Révész, A. 2019. Replication in task-based language teaching research: Kim (2012) and Shintani (2012). Language Teaching, 52(3), 374–384. https://doi.org/10.1017/S0261444817000283
Romero, F. 2019. Philosophy of science and the replicability crisis. Philosophy Compass, 14(11), e12633. https://doi.org/10.1111/phc3.12633
Sonbul, S., & Siyanova-Chanturia, A. 2019. Research on the on-line processing of collocation: replication of Wolter and Gyllstad (2011) and Millar (2011). Language Teaching, 1–9. https://doi.org/10.1017/S0261444819000132
Thomson, H., Boers, F., & Coxhead, A. 2019. Replication research in pedagogical approaches to spoken fluency and formulaic sequences: a call for replication of Wood (2009) and Boers, Eyckmans, Kappel, Stengers & Demecheleer (2006). Language Teaching, 52(3), 406–414. https://doi.org/10.1017/S0261444817000374
Toomer, M., & Elgort, I. 2019. The development of implicit and explicit knowledge of collocations: a conceptual replication and extension of Sonbul and Schmitt.2013). Language Learning, 69(2), 405–439. https://doi.org/10.1111/lang.12335
Įteikta 2020 m. vasarį