Archaeologia Lituana ISSN 1392-6748 eISSN 2538-8738

2019, vol. 20, pp. 151–166 DOI: https://doi.org/10.15388/ArchLit.2019.20.7

Nekilnojamojo kultūros paveldo monitoringas taikant 3D ir dirbtinio intelekto technologijas¹

Rimvydas Laužikas
Komunikacijos fakultetas, Vilniaus universitetas
Saulėtekio al. 9, LT-10222 Vilnius, Lietuva
Vilnius University, Lithuania
rimvydas.lauzikas@kf.vu.lt

Albinas Kuncevičius
Archeologijos katedra, Vilniaus universitetas
Universiteto g. 7, LT-01513 Vilnius, Lietuva
Vilnius University, Lithuania
a.kuncevicius@gmail.com

Darius Amilevičius
Informatikos fakultetas, Vytauto Didžiojo universitetas
Vileikos g. 8, LT-44404 Kaunas, Lietuva
Vytautas Magnus University, Lithuania
daramilas@gmail.com

Tadas Žižiūnas
Komunikacijos fakultetas, Vilniaus universitetas
Saulėtekio al. 9, LT-10222 Vilnius, Lietuva
Vilnius University, Lithuania
tadas.ziziunas@gmail.com

Ramūnas Šmigelskas
Archeologijos skyrius, Lietuvos istorijos institutas
Kražių g. 5, LT-01108 Vilnius, Lietuva
Lithuanian Institute of History, Lithuania
ramunas.smigelskas@gmail.com

Anotacija. Kultūros paveldo apsauga yra vienas iš šiuolaikinės visuomenės iššūkių. Tačiau kultūros paveldo išsaugojimo organizacijos neturi pakankamai žmogiškųjų, technologinių ir finansinių išteklių, kurie yra gyvybiškai svarbūs norint sėkmingai įgyvendinti kultūros paveldo apsaugą.
Šiai problemai spręsti gali būti pasitelkta automatinė monitoringo ir jo rezultatų analizės sistema, grindžiama trimačio vaizdo ir dirbtinio intelekto technologijų taikymu. Tokia idėja remiasi teoriniu požiūriu, kad yra galimybė, naudojantis dirbtinio intelekto technologijomis, tiksliai identifikuoti to paties nekilnojamojo kultūros paveldo objekto dviejų skirtingų laikotarpių 3D taškų debesų skirtumus, kurie parodo per atitinkamą laikotarpį įvykusius pokyčius. Pasiūlytas sprendimas įgyvendinamas Lietuvos mokslo tarybos finansuojamame projekte „Urbanizuotų vietovių paveldo automatinis monitoringas panaudojant 3D vaizdo technologijas“. Straipsnyje pristatomi pirmieji projekto rezultatai.
Reikšminiai žodžiai: nekilnojamasis paveldas, 3D skenavimas, dirbtinis intelektas, paveldo monitoringas.

Monitoring of Immovable Cultural Heritage Implementing 3D and Artificial Intelligence Technologies

Abstract. Preservation of immovable cultural heritage is one of the main challenges for contemporary society. Nowadays very often organizations responsible for heritage management constantly have to deal with lack of resources, which are crucial for proper heritage preservation, maintaining and protection.
The possible solution of these problems could be automated heritage monitoring, based on the 3D and AI technologies. 3D scanning technology is the most accurate method to capture the situation of an evolving cultural heritage object or complex at a given time. As a cultural heritage object or complex is evolving continuously, AI based comparison of two 3D point clouds created at different time allow to reliably trace potential changes. Proposed solution is realized by project financed by Research Council of Lithuania „Automated monitoring of urban heritage implementing 3D technologies”. The first results of the project are presented at this article.
Keywords: immovable heritage, 3D scanning, artificial intelligence, monitoring of cultural heritage.

Received: 10/01/2020. Accepted: 21/01/2020
Copyright © 2019 Rimvydas Laužikas, Albinas Kuncevičius, Darius Amilevičius, Tadas Žižiūnas, Ramūnas Šmigelskas. Published by Vilnius University Press
This is an Open Access article distributed under the terms of the Creative Commons Attribution Licence, which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited.

Įvadas

Nekilnojamojo kultūros paveldo (archeologinio, architektūrinio, urbanistinio ir kt.) tvarkyba apima daug sudėtingų, laikui ir finansams imlių procesų. Šių procesų realizavimo problemos išryškėja paveldo ir šiuolaikinės infrastruktūrų plėtros sankirtoje (miestų, kelių, geležinkelių, energetikos infrastruktūros plėtra, pastatų pritaikymas šių laikų poreikiams, turizmo paslaugų plėtra, nelegalūs archeologiniai kasinėjimai, karo veiksmai ir kt.). Panašias problemas ir poreikį akcentuoja ir Lietuvos institucijos. Pavyzdžiui, Valstybinės paveldosaugos komisijos pažymoje ,,Lietuvos urbanistikos paveldas: apskaita, planavimas, paveldosauginių reikalavimų taikymas, tvarkybos skatinimas ir ankstesnių komisijos sprendimų įgyvendinimas“ nurodoma, kad didžiųjų miestų senamiesčius ir jų istorines dalis labiausiai žaloja kaita, kuriai turi įtakos ir netinkamas jų naudojimas.

Paveldo priežiūros ir tvarkybos institucijos, naudodamosi turimais ištekliais ir technologijomis, negali nuolat stebėti kintančio nekilnojamojo paveldo didelėse teritorijose. Tarptautinės organizacijos Global Heritage Fund požiūriu, viena svarbiausių grėsmių paveldui yra nepakankamas jo valdymas ir efektyvaus monitoringo trūkumas. Taip pat pažymima, kad esamos monitoringo priemonės yra neefektyvios, o efektyviai paveldosaugai užtikrinti pirmiausia reikalinga sistemiška, metodiškai pagrįsta esminių vertingųjų savybių bei dalių, elementų stebėsena (Managing…, 2010). Ir tam taikytini kitokie, inovatyvūs technologiniai sprendimai. UNESCO ,,Strategy for Reducing Risks from Disasters at World Heritage Properties“ požiūriu, viena svarbiausių rizikas mažinančių priemonių yra inovatyvių technologijų taikymas (Strategy…, 2007).

Atsižvelgiant į šiuolaikinių technologijų galimybes, nekilnojamojo paveldo problemų sprendimui gali būti pasitelkta monitoringo ir jo rezultatų analizės sistema, grindžiama trimačio vaizdo ir dirbtinio intelekto technologijų taikymu. Ši idėja grindžiama teoriniu požiūriu, kad yra galimybė, naudojantis dirbtinio intelekto technologijomis, tiksliai identifikuoti to paties nekilnojamojo kultūros paveldo objekto dviejų skirtingų laikotarpių 3D taškų debesų skirtumus, kurie parodo per atitinkamą laikotarpį įvykusius pokyčius. Tokie sprendimai gali būti taikomi visiems nekilnojamojo paveldo objektams, kurių pokyčiai susiję su tūrio ar paviršiaus kontūrų pasikeitimu (nelegalūs kasinėjimai archeologijos paveldo objektuose, perstatymai senamiesčiuose, žemės darbai kultūriniame kraštovaizdyje).

Lietuvoje archeologijos srityje pirmieji bandymai atlikti 3D fiksaciją tyrimų metu įvyko 2007 m., kai šiuo metodu buvo fiksuoti Rokantiškių piliavietė (archeologas Zenonas Baubonis) ir buvusių bažnyčių pamatai Dubingių piliavietėje (archeologai Albinas Kuncevičius, Rimvydas Laužikas). Trimačio nuskaitymo darbus abiejuose objektuose atliko UAB „Terra Modus“ specialistas Renatas Mažeika (Kuncevičius ir kt., 2009, p. 126; Kuncevičius ir kt., 2012, p. 10). Vėliau tokių bandymų buvo Trakų miesto parapinės bažnyčios, Senųjų Trakų piliavietės, Klaipėdos piliavietės, Vilniaus didžiosios sinagogos, Vilniaus aukštutinės pilies gynybinės sienos tyrimų metu ir kitur. Gana plačiai taikoma 3D metodika kraštovaizdžio ir archeologinių objektų aplinkos tyrimuose – LIDAR (Light Detection and Ranging) skaitytuvas iš oro. Būta bandymų netgi sukurti automatizuotą pilkapių paieškos įrankį, panaudojant LIDAR technologija sukauptus duomenis (Laužikas ir kt., 2017, p. 160–179). Nors dirbtinio intelekto naudojimas archeologijoje jau turi kelių dešimtmečių istoriją (Patel, 1989; Puyol-Gruart, 1998; Dries, 1998; Barcelo, 2008; Gardin, 2009), 3D duomenų analizei šios, dirbtinio intelekto technologijos su giliuoju mokymusi ir giliųjų neuroninių tinklų modelių architektūra, pradėtos taikyti tik palyginti neseniai (Gualandi ir kt., 2016; Palma, 2019; Pirotti ir kt., 2019).

Vis tobulesnės analizės technologijos, ypač nuo 2012 m. pradėjus taikyti dirbtinio intelekto technologijas – giliuoju apsimokymu ir giliaisiais neuroniniais tinklais grįstą kompiuterio regą – ir gerokai sumažėję duomenų rinkinių formavimo kaštai sudaro sąlygas mokslininkų ir tyrėjų bendruomenei atlikti kokybiškai naujus 3D informacijos tyrimus, ieškant kompiuterio regos problemų, susijusių su 3D aplinkos supratimu, efektyvesnio sprendimo. Žmogus gyvena ir veikia 3D aplinkoje, todėl ir efektyvioms dirbtinio intelekto sistemoms reikia suteikti kuo geriausią 3D erdvės supratimą. Informacija apie gelmę ir pilnas 3D geometrijos nustatymas leidžia geriau atpažinti 3D objektus, juos klasifikuoti ir semantiškai segmentuoti, geriau nustatyti 3D formas. Šių problemų sprendimų pažanga, kai kuriais atvejais jau prilygstanti žmogaus galimybėms, o atskirais atvejais jas jau viršijanti, leidžia kurti ir įgyvendinti efektyvius praktinių panaudos atvejų sprendimus. Šiame straipsnyje pristatomas pirmasis nekilnojamojo kultūros paveldo monitoringo sistemos, taikant 3D ir dirbtinio intelekto technologijas, kūrimo etapas: 1) paveldo kaitą lemiančių gamtinių ir antropogeninių veiksnių, reikšmingų kuriant automatinio monitoringo metodologiją, analizė ir 2) tolesnėse tyrimų veiklose naudojamo fiksuotų pažaidos veiksnių kriterijų, su jais susijusių paveldo objektų bei jų komponentų aprašo parengimas. Nors tyrimų ir monitoringo objektu (dėl itin didelės kaitos ir potencialios pažaidos galimybių) pasirinktas urbanistinis paveldas, straipsnyje pristatomi sprendimai taikytini visoms nekilnojamojo paveldo rūšims, taip pat ir archeologijos paveldui. Tikimasi, kad šis straipsnis ir jame pristatomos idėjos paskatins archeologų domėjimąsi šiandienos teikiamomis 3D bei dirbtinio intelekto technologijų galimybėmis ir naujų idėjų kūrimą. Taip pat šis straipsnis yra gera proga dar kartą susipažinti su Lietuvos paveldosaugos sistemos dalimi, nuo kurios neatsiejama yra ir archeologų bendruomenė.

Urbanistinio kultūros paveldo vertingosios savybės

Urbanistinio kultūros paveldo vertingųjų savybių aibės apibrėžimas priklauso nuo taikomo koncepto (teorinio požiūrio). Lietuvos teisės aktuose šis paveldas suvokiamas taikant istorinį konceptą, pagal kurį akcentuojamas saugotinų miesto erdvių istoriškumas (istorinis pobūdis) ir istorinis autentiškumas, įskaitant istoriškai susiklosčiusius: miesto struktūras (gatvės, erdvės); ryšius, siejančius pastatus ir žaliąsias bei atvirąsias erdves; formalią išvaizdą (pastatų interjerus ir eksterjerus, apibrėžiamus dydžiais, architektūriniais stiliais, medžiagomis, spalvomis, puošyba); ryšius tarp miesto ir jį supančios aplinkinės gamtinės ir kultūrinės erdvės; įvairias funkcijas, kurios skirtingais laikais buvo vykdomos mieste (Charter for the Conservation, 1987). Lietuvos nekilnojamojo kultūros paveldo klasifikacijoje urbanistinis paveldas – reikšmingomis pripažintos istorinės miestų dalys, miesteliai ir panašios vietos bei vietovės (Lietuvos Respublikos, 1994), o jo vertingosios savybės apibrėžiamos kaip „kultūros paveldo objekto, vietovės, jų dalies ar elemento bruožas, vertingas etniniu, istoriniu, estetiniu ar moksliniu požiūriu“. Nekilnojamojo paveldo objektai yra klasifikuojami pagal vertingųjų savybių pobūdį ir jų derinį (Lietuvos Respublikos, 1994). Pastatų vertingosios savybės nustatomos, kai ruošiamasi atlikti tvarkybos darbus ar griauti pastatus, kuriems yra daugiau kaip 50 metų (išskyrus Vilniaus senamiestį, kuriame galioja Vilniaus senamiesčio apsaugos reglamentas). Pagal įstatymą „kultūros paveldo objektų ar vietovių vertingąsias savybes nustato ir jų teritorijų bei kultūros paveldo objektų apsaugos zonų ribas apibrėžia Kultūros paveldo departamento ir savivaldybių sudarytos nekilnojamojo kultūros paveldo vertinimo tarybos“, kurių kompetencijos ribos apibrėžiamos per paveldo reikšmingumo lygmenis. „Savivaldybės ar kelių savivaldybių sudarytos vertinimo tarybos sprendžia dėl savivaldybės teritorijoje esančio vietinio reikšmingumo lygmens nekilnojamojo kultūros paveldo vertingųjų savybių ir vietinio reikšmingumo lygmens nustatymo, vietinio reikšmingumo lygmens nekilnojamojo kultūros paveldo teritorijos ribų apibrėžimo ir apsaugos reikalingumo, apsaugos vietinio reikšmingumo lygmens nekilnojamosioms kultūros vertybėms netaikymo ar tokių vertybių apskaitos duomenų tikslinimo. Departamento vertinimo tarybos sprendžia dėl Lietuvos Respublikos teritorijoje esančio nekilnojamojo kultūros paveldo vertingųjų savybių nustatymo, teritorijos ribų apibrėžimo ir nacionalinio, regioninio ar vietinio reikšmingumo lygmens nekilnojamosioms kultūros vertybėms nustatymo, apsaugos reikalingumo, apsaugos nekilnojamosioms kultūros vertybėms netaikymo ar tokių vertybių apskaitos duomenų tikslinimo“ (ten pat).

Taigi paveldo (taip pat ir urbanistinio) išsaugojimas iš esmės yra objektams ir jų kompleksams priskirtų vertingųjų savybių išsaugojimas. Urbanistinio paveldo atveju Lietuvoje skiriamos kelios vertingųjų savybių grupės. „Nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašo“ 1 priede yra apibrėžtos vertinamų objektų ar vietovių, jų dalių ir elementų pavyzdinės vertingosios savybės. Remiantis šių savybių sąrašu, rengiami Nekilnojamojo kultūros paveldo tarybų aktai ir pateikiami duomenys Kultūros vertybių registre (Kultūros vertybių registras).

Remiantis šiuo „Nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašo“ 1 priede pateiktu sąrašu (Įsakymas, 2015) buvo atrinktos urbanistinio paveldo vertingosios savybės, kurias potencialiai turi būti siekiama fiksuoti ir atlikti jų monitoringą:

1. Vietovės vertingosios savybės:

a) plano struktūra (planinės struktūros tipas (radialusis, žiedinis, reguliarus, linijinis, mišrus); planinės struktūros tinklas (kelių, gatvių, aikščių, pėsčiųjų takų, valdų (posesijų)); kvartalai; valdos (posesijos); keliai, gatvės, aikštės, įvažiavimai, pervažiavimai, takai; gamtiniai elementai);

b) tūrinė erdvinė struktūra (tūrinės erdvinės struktūros sandara; atviros erdvės (gatvės, aikštės, skverai, parkai); uždaros erdvės (kiemai, praėjimai); panoramos; siluetai; perspektyvos; išklotinės; dominantės; užstatymo bruožai (stogų formos, fasadų, stogų detalės, jų apdailos medžiagos ir spalvos, tvoros, arkos, tarpuvartės, vartai).

2. Pastato vertingosios savybės:

• aukštis ir (ar) aukštingumas;

• tūrinė erdvinė kompozicija, tūris, stogo forma, stogo elementai (stoglangiai, liukai, ugniasienės, dūmtraukiai, apžvalgos aikštelės);

• fasadų architektūrinis sprendimas, fasadų kompozicija, fasadų architektūros tūrinės detalės (akroterijai, frontonai, stoginės, erkeriai, balkonai ir jų turėklai, išorės laiptai ir nuovažos, kolonos ir kolonados), fasadų puošyba (skulptūros), kitos fasadų funkcinės detalės (kritulių nuvedimo sistema, priešgaisrinės kopėčios, kėlimo įrenginiai);

• konstrukcijos stalių ir kitų medžiagų gaminiai (langai ir langinės, durys).

Išvardytos savybės apibrėžiamos (terminologijos požiūriu), remiantis Nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašu (ten pat).

Gamtiniai ir antropogeniniai veiksniai, lemiantys urbanistinio paveldo pažaidą

Remiantis tarptautine praktika urbanistinio paveldo pažaida suprantama kaip „pokytis, dėl kurio mažėja paveldo objekto ar vietovės reikšmingumas ar patvarumas“ (Tarptautinis…, 2012). Pažaidos veiksnių identifikavimas yra vienas iš svarbiausių paveldo valdymo proceso etapų (Pedersoli, Antomarchi, Michalski, 2016). Aptardami urbanistinio paveldo pažaidą, galime skirti dvi pagrindines – gamtinę ir antropogeninę – veiksnių grupes. Bene detaliausiai jos aptartos UNESCO tyrimo ataskaitoje „List of factors affecting the properties“, kurioje skiriama 14 pirminių veiksnių, o šie dar skaidomi į smulkesnius (UNESCO. List of factors, 2008). Remdamiesi šiuo dokumentu galėtume išskirti tokius Lietuvos urbanistinio (senamiesčių) paveldo pažaidą lemiančius antropogeninius veiksnius:

1. Statyba ir plėtra (apimanti naujų gyvenamųjų namų statybą, komercinės paskirties statybą (dangoraižiai, didelės prekybos zonos), industrinių teritorijų plėtrą, turistų apgyvendinimo ir su turizmu susijusios infrastruktūros (funikulieriai, stebėjimo aikštelės) plėtrą, paveldo komunikacijos ir lankymo infrastruktūrą (lankytojų centrai, maršrutų ženklinimas, informacijos taškai, poilsio zonos).

2. Transporto infrastruktūra (apimanti antžeminio transporto infrastruktūrą (kelius, automobilių stovėjimo aikšteles, geležinkelius, transporto aptarnavimo infrastruktūrą); oro transporto infrastruktūrą (oro uostus, lėktuvų ir sraigtasparnių pakilimo ir nusileidimo aikšteles); vandens transporto infrastruktūrą (uostai, prieplaukos); požeminio transporto infrastruktūrą ir transporto infrastruktūros plėtros sukeliamus efektus).

3. Komunalinių paslaugų ir aptarnavimo infrastruktūra (apimanti energetinę (dujų, elektros, vandens tiekimo) infrastruktūrą, atsinaujinančios energijos gaminimo įrangą, vietinę komunikacijos infrastruktūrą (mobiliojo ryšio, radijo, televizijos bokštai ir kiti transliavimo ir priėmimo įrenginiai)).

4. Tarša (apimanti visas taršos rūšis, atsirandančias dėl komercinės ar gyvenamosios veiklos (paviršinio ar požeminio vandens taršą, rūgštųjį lietų, oro taršą dūmais, dulkėmis, šiukšlinimą, šviesos taršą, šildymo sukeliamus šiluminės taršos efektus)).

5. Sociokultūrinis paveldo naudojimas (apimantis visus socialinius veiksnius, sukeliančius paveldo pažaidą, paveldo pažaidą renginių metu, pažaidą dėl konkrečių objektų verčių kaitos, verčių konfliktiškumo ar verčių atsisakymo, tradicinių gyvenimo būdų kaitos, tradicinių žinių praradimo, bendruomenės tapatumo, vertybių ar socialinės sanglaudos kaitos, laisvalaikio ir turizmo sukeliamus efektus (neadekvačią interpretaciją, didelius lankytojų srautus)).

6. Kitos žmonių veiklos (apimančios nelegalius veiksmus (nelegalius kasinėjimus, statybos, perstatymo, rekonstrukcijos veiklas, lobių paiešką), vandalizmą, grafičius, politiškai motyvuotas veiklas, padegimus, karą, terorizmą, pilietinius neramumus).

7. Valdymo ir instituciniai veiksniai (apimantys netinkamai funkcionuojančias paveldo valdymo ir valdymo planavimo sistemas, nacionalinę teisinę bazę, valdymo veiklas, finansus, žmogiškuosius išteklius, menką tyrimų lygį ir menką tyrimų poveikį sprendimams, valdymo struktūras, destruktyvių metodų taikymą tyrimams).

Taip pat Lietuvos urbanistinio (senamiesčių) paveldo pažaidą lemiančius gamtinius veiksnius, kaip antai:

8. Mikroklimato sąlygos, sukeliančios pažaidą (apimančios vėjo sukeliamą vibraciją ir eroziją, santykinės oro drėgmės, temperatūros, šviesos, lietaus sukeliamą pažaidą).

9. Klimato kaita ir nepalankios gamtinės sąlygos (apimančios vėtras, uraganus, potvynius, žaibų, krušos, kaitros ar ekstremalių šalčių sukeltas pažaidas).

Kitų autorių atlikti tyrimai leidžia sąrašą papildyti:

10. Biologiniais veiksniais (augalijos augimas ant paveldo objektų, gyvūnų apsigyvenimas paveldo objektuose ir jų sukelta tarša) (Kanani, Zandi, 2011, p. 1018–1023).

Greta šio, UNESCO tyrimo ir pažaidos veiksnių išskyrimo, yra nemažai tyrimų, mokslinių publikacijų ir gerosios praktikos vadovų, skirtų konkretiems pažaidos veiksniams: oro taršai (Allen ir kt., 2000, p. 35–38), klimato kaitai (Carroll, Aarrevaara, 2018), gamtiniams kataklizmams (Drdácký ir kt., 2007; Tandon, 2017), geo­loginiams veiksniams (Cristaras, 2003, p. 37–55).

Pažaidą lemiančių veiksnių poveikis urbanistiniam paveldui: komponentai, kriterijai ir rodikliai

Skirtingų pažaidos veiksnių poveikis konkretiems paveldo objektams ir jų komponentams skiriasi. Kai kurie autoriai išskiria ilgalaikio (iš esmės – nuolatinio) poveikio gamtinius pažaidos veiksnius, apibrėždami juos kaip iš esmės nuolatinius ir neišvengiamus (vėjas, lietus, saulės šviesa ir radiacija) ir susiedami juos su ardomais paveldo objektų elementais (Žarnić, Rajčić, Skordaki, 2015, p. 389–394; Kanani, Zandi, 2011, p. 1018–1023). Kitos metodikos vertina pažaidos veiksnių (rizikų) paplitimo ir poveikio galimybes (Pedersoli, Antomarchi, Michalski, 2016). Įgyvendinant paveldo automatinį monitoringą taikant 3D vaizdo technologijas, yra svarbu susieti pažaidos veiksnius ir vertingąsias urbanistinio paveldo objektų bei vietovių savybes, siekiant toliau šią matricą naudoti pusiau automatiniam paveldo monitoringui. Šiame kontekste vertingosios urbanistinio paveldo objektų bei vietovių savybės yra suvokiamos kaip potencialiai pažeidžiami objektų ir vietovių komponentai. Pažaidos veiksnių ir vertingųjų savybių sąsajos pateikiamos 1 lentelėje. Rizikos lygis įvertintas naudojantis ICCROM 2016 m. metodika (ten pat).

1 lentelė. Pažaidos veiksnių ir vertingųjų savybių sąsajos
Table 1. Relations of heritage’s valuables and its alterations

Vertingoji savybė (komponentas)	Pažaidos veiksnio poveikis
	Retai pasikartojantis poveikis	Dažnai pasikartojantis poveikis	Kaupiamasis poveikis
Vietovės plano struktūra	Kitos žmonių veiklos	Komunalinių paslaugų ir aptarnavimo infrastruktūra	Statyba ir plėtra Transporto infrastruktūra Valdymo ir instituciniai veiksniai
Vietovės tūrinė erdvinė struktūra	Kitos žmonių veiklos	Komunalinių paslaugų ir aptarnavimo infrastruktūra	Statyba ir plėtra Transporto infrastruktūra Valdymo ir instituciniai veiksniai
Pastato aukštis ir aukštingumas	Komunalinių paslaugų ir aptarnavimo infrastruktūra Sociokultūrinis paveldo naudojimas Klimato kaita ir nepalankios gamtinės sąlygos Biologiniai veiksniai	Statyba ir plėtra Kitos žmonių veiklos Valdymo ir instituciniai veiksniai	–
Pastato tūrinė erdvinė kompozicija	Komunalinių paslaugų ir aptarnavimo infrastruktūra Sociokultūrinis paveldo naudojimas Klimato kaita ir nepalankios gamtinės sąlygos Biologiniai veiksniai	Statyba ir plėtra Kitos žmonių veiklos Valdymo ir instituciniai veiksniai	–
Pastato fasadų architektūrinis sprendimas	Komunalinių paslaugų ir aptarnavimo infrastruktūra Sociokultūrinis paveldo naudojimas Klimato kaita ir nepalankios gamtinės sąlygos Biologiniai veiksniai	Statyba ir plėtra Kitos žmonių veiklos Valdymo ir instituciniai veiksniai	Tarša Mikroklimato sąlygos
Pastato konstrukcijos	Sociokultūrinis paveldo naudojimas Biologiniai veiksniai	Statyba ir plėtra Kitos žmonių veiklos Valdymo ir instituciniai veiksniai	Tarša Mikroklimato sąlygos

Įgyvendinant paveldo automatinį monitoringą yra taikomi erdviniai kriterijai ir rodikliai, sietini su trimačio vaizdo technologijų fiksavimo galimybėmis. Mokslinių tyrimų požiūriu 3D skaitmeniniai objektai gali būti analizuojami kaip geografinių duomenų sankaupa (paprastai taikoma nekilnojamojo paveldo objektams) arba kaip vaizdinis objektas (paprastai taikomas kilnojamiesiems artefaktams ir nekilnojamajam paveldui). Pirmuoju atveju taškų debesis yra traktuojamas kaip GIS duomenys (x, y, z koordinatės), antruoju – kaip vizualus objektas. Urbanistinio paveldo atveju naudojamas kompleksinis variantas – 3D traktuojamas kaip vizualus objektas, turintis savo formą (angl. shape), tačiau kartu – susietas su geografinėmis koordinatėmis tam, kad būtų galima identifikuoti pokyčio lokaciją ir taip patikrinti atribucinę informaciją (pavyzdžiui, buvusį pastato aukščio pasikeitimą pagal koordinates). 3D objekto formos erdvinis pokytis (padidėjimas arba sumažėjimas) yra vertinamas kaip potenciali pažaida. Taigi formos pokytis (dviejų skirtingu laikotarpiu atliktų 3D vaizdo fiksacijų sutapimas ir (ar) nesutapimas) laikomas pagrindiniu pažaidos fiksavimo ir įvertinimo kriterijumi.

Pokyčiui matuoti naudojami matematiniai rodikliai, kurie yra apibrėžiami per 3D vaizdo raišką, leidžiančią fiksuoti pokyčio dydį. Įgyvendinant paveldo automatinį monitoringą, rodikliai fiksuoja pokyčius, didesnius nei 30 cm. Pokyčio rodikliai skiriasi savo absoliučia išraiška, nes priklauso nuo objektų ir vietovių, kurių monitoringas atliekamas, dydžio. Todėl, paveldosauginiu požiūriu, negalime jų matuoti pagal santykių skalę, nes ta pati, pavyzdžiui, 10 cm dydžio pokyčio potenciali pažaida pastato lango kontūrui ar gatvės išklotinei yra skirtingos. Dėl šios priežasties pokyčio matavimui taikomi intervalų skalėje matuojami kriterijai – vietovės ar objekto pokyčio (potencialios pažaidos) procentinė išraiška, kai 0 % reiškia pažaidos nebuvimą, o 100 % – objekto ar vietovės visišką sunaikinimą.

Fiksuotų pažaidos veiksnių kriterijų, su jais susijusių urbanistinio paveldo objektų ir jų komponentų aprašas

Fiksuotų pažaidos veiksnių kriterijų, su jais susijusių urbanistinio paveldo objektų (pastatų ir kt.) bei jų komponentų aprašo paskirtis yra, ruošiant medžiagą matematinių (statistinių) pažaidos automatinės paieškos algoritmų taikymui, susieti detalius pažaidos veiksnius ir konkrečius urbanistinio paveldo objektus (pastatus ir kt.) bei jų komponentus (stoglangius, langų angas ir kt.).

Nors kiekvieno konkretaus paveldo objekto vertingųjų savybių rinkinys yra individualus, dėl panašių objektų gausos Vilniaus senamiestyje galima išskirti ir algoritmais aprašyti konkrečių paveldo objektų grupei būdingų vertingųjų savybių rinkinius (aibes), pavyzdžiui, gyvenamajam namui, bažnyčiai, aikštei, parkui ir kt. Tokius rinkinius galima skaidyti į komponentus, kurių skaitmeninė stebėsena yra susijusi tiek su didelės geometrijos (pavyzdžiui, stogo forma, pastato aukštingumas), tiek su nedidelių gabaritų (pavyzdžiui, lango sandrikas, durys) vertingosiomis savybėmis. Automatiniam monitoringui svarbu tai, kad analizuojami ir lyginami paveldo objektai ir jų komponentai būtų tokie, kuriuos, pagal išskirtas metodologines prielaidas, galima aprašyti matematiškai arba išreikšti plokštuminėmis ir tūrinėmis geometrinėmis figūromis.

Skaitmeninė stebėsena (monitoringas) remiasi prielaidomis, kad:

• visi tiriamieji kultūros paveldo objektai yra fiziniai objektai (materialaus kultūros paveldo kategorija);

• fizinės objektų vertingosios savybės gali būti išreikštos nesudėtingomis geometrinėmis formomis² ir (ar) pateikta matematine išraiška.

Fiksuotų pažaidos veiksnių poveikis konkretiems urbanistinio paveldo objektams bei jų komponentams ir jų geometriniai aprašymai yra pateikiami 2 lentelėje.

Kitame žingsnyje yra tikrinamas duomenų patikimumas pagal turimus palydovinius ar LIDAR duomenis arba tikrinant detekcijas realybėje. Besimokančio algoritmo atveju vertinamas detekcijos reikšmės pokytis (loginiai operatoriai ir santykis su pokyčio detekcija, 3 lentelė) ir jos tikimybė (pavyzdžiui, stogas→padidėjo→86,7%).

 

2 lentelė. Pažaidos veiksnių poveikis konkretiems urbanistinio paveldo objektams ir jų komponentams
Table 2. Impact of alterations for objects of urban heritage and its elements

Nr.	Vertingoji savybė	Paveldo objekto komponentas ir (ar) objektas	Dažniausiai pasitaikančios geometrinės formos	Fiksuotino kaitos fakto aprašymas (kriterijus)	Geroji patirtis
1	Pastato konstrukcijos	Langas	Stačiakampis	Kraštinių sutrumpėjimas, pailgėjimas, užmūrijimas, angos padarymas	Nguatem, Drauschke, Mayer, 2014
2	Pastato konstrukcijos	Durys	Stačiakampis	Kraštinių sutrumpėjimas, pailgėjimas, užmūrijimas, angos padarymas	Nguatem, Drauschke, Mayer, 2014
3	Pastato aukštis ir aukštingumas Pastato tūrinė erdvinė kompozicija	Stogas	Stačiakampis, trikampis, kūgis	Kraštinių sutrumpėjimas, pailgėjimas, užmūrijimas, angos padarymas	Rottensteiner, Sohn, ..., 2012
4	Pastato tūrinė erdvinė kompozicija	Stoglangis	Stačiakampis gretasienis, stačiakampis	Kraštinių sutrumpėjimas, pailgėjimas, nuardymas, sumontavimas	Laužikas, Žižiūnas, ..., 2017
5	Pastato aukštis ir aukštingumas Pastato tūrinė erdvinė kompozicija	Sienos (jų aukščio ir pločio santykis)	Stačiakampis gretasienis, cilindras, daugiakampis	Kraštinių sutrumpėjimas, pailgėjimas, nuardymas, sumontavimas	Yu, Xiao, ..., 2015
6	Pastato fasadų architektūrinis sprendimas	Sandrikai (trikampiai), frontonai	Trikampis	Kraštinių sutrumpėjimas, pailgėjimas, nuardymas, sumontavimas, x ar y koordinačių parametro pokyčiai trikampio viduje	Meschini, Petrucci, ..., Italy, 2014
7	Vietovės plano struktūra Vietovės tūrinė erdvinė struktūra	Dabartinis sklypas, istorinė posesija	Stačiakampis, daugiakampis	Užstatymas, kai yra didesnis nei 3 m aukščio parametro skirtumas (eliminuojant automobilius)	Yu, Xiao, ..., 2015
8	Vietovės plano struktūra	Senamiesčio planinės struktūros tinklas	Netaisyklingas daugiakampis	Netaisyklingų daugiakampių konfigūracijos (formos) pasikeitimas; kraštinių pailgėjimas, sutrumpėjimas; daugiakampių išnykimas (buvusio planinės struktūros objekto sunaikinimas); naujų daugiakampių atsiradimas (naujo planinės struktūros objekto atsiradimas)
9	Vietovės tūrinė erdvinė struktūra	Senamiesčio užstatymo bruožai	Netaisyklingas daugiakampis	Netaisyklingų daugiakampių konfigūracijos (formos) pasikeitimas; kraštinių pailgėjimas, sutrumpėjimas; daugiakampių išnykimas (buvusio planinės struktūros objekto sunaikinimas); naujų daugiakampių atsiradimas (naujo planinės struktūros objekto atsiradimas)
10	Vietovės tūrinė erdvinė struktūra	Senamiesčio panoramos, perspektyvos, dominantės, užstatymo bruožai	Netaisyklingas daugiakampis	Netaisyklingų daugiakampių konfigūracijos (formos) pasikeitimas

3 lentelė. Vertingųjų savybių monitoringo loginiai operatoriai ir jų santykis su pokyčio detekcija^*
Table 3. Relations of logical operators for digital monitoring of heritage‘s valuables and its alterations

Loginis operatorius	Ankstesnės chronologijos duomenys	Vėlesnės chronologijos duomenys	Vertingosios savybės pokyčio operatoriaus seka	Eiliškumas
Sunaikinimas	XYZ	–XYZ	yra → nėra	pirmas
Sukūrimas	XYZ	XYZ + 1 s. d.	nėra → yra	pirmas
Ploto ir (ar) tūrio padidėjimas	XYZ	XYZ + 1 s. d.	yra → yra (padidėjo)	antras
Ploto ir (ar) tūrio sumažėjimas	XYZ	XYZ – 1 s. d.	yra → yra (sumažėjo)	antras
Išlikimas	XYZ	XYZ	yra → yra	pirmas

Lentelės paaiškinimai:
• XYZ – pradinės informacijos dydis pagal ilgį, plotį ir aukštį (atitinkamai X, Y, Z);
• s. d. – santykinis dydis, pasirenkamas atsižvelgiant į tyrimo metodiką;
• eiliškumas reiškia pradinį loginio operatoriaus taikymą pagal priskirtą vertingosios savybės pokyčio svarbą (pirmas), ir vėliau einantį duomenų analizės žingsnį (antras). Optimizuojant tyrimą galima nevertinti (neskaičiuoti) antrinių operatorių.

Statistiniu požiūriu visos pokyčių vietos yra nepriklausomieji kintamieji. Statistiniai nuokrypio skaičiavimai yra tikslingi tik vykdant monitoringą neturint pradinių duomenų ir naudojant vertingųjų savybių modelius kaip taisykles, kurių atitikimą tikslinga vertinti renkant statistinius duomenis. Bendruoju pokyčio fiksavimo atveju įvertinimo tikimybė skaičiuojama pagal identifikuotų vertingųjų savybių ir jų pokyčių santykį su realybėje fiksuojamų vertingųjų savybių teisingu identifikavimu ir pokyčių įvertinimu, pavyzdžiui, kiek pastato langų ir durų pavyko identifikuoti, kiek programiškai identifikuoti langų ir durų pokyčiai atitiko realybėje fiksuojamus pokyčius.

Dirbtinio intelekto technologijų taikymas urbanistinio kultūros paveldo stebėsenos srityje

Kompiuterio regos technologijose objektų atpažinimas ir (ar) klasifikavimas priskiriamas prie mažiau sudėtingų technologinių sprendimų, semantinis segmentavimas – prie sudėtingų, kuris iki šiol yra gana probleminis, o kartais – tikras iššūkis mokslininkams ir tyrėjams. Geras analizuojamo vaizdo supratimas labai svarbus tobulinant sistemas, kurios naudojamos savaeigėse transporto priemonėse, atpažįstant ir lokalizuojant kelio ženklus, virtualios ir papildytos realybės sprendimuose, medicinoje (atpažįstant auglius, medicinos įrankius operacinėje) ir t. t. Giliojo mokymo technologijų taikymo 3D vaizdų analizei galimybės ypatingą proveržį patyrė 2012 m., kai AlexNet modelis parodė puikius analizės rezultatus per ImageNet varžybas. Kadangi dirbtinio intelekto technologijos yra universalios, jos tuo pačiu metu buvo pradėtos sėkmingai taikyti ir kitose srityse (teksto analizė, šnekos atpažinimas, mašininis vertimas ir t. t.).

Vienus pirmųjų 3D vaizdų klasifikavimo panaudojant dirbtinio intelekto technologijas tyrimų rezultatus paskelbė Princetono universiteto, Kinų Honkongo universiteto ir Massachusettso technologijos instituto mokslininkų komanda (Wu ir kt., 2015). Jų pasiūlytas sprendinys pavadintas 3D ShapeNets, jo įeigoje pateikiamos 3D formos (3D vokselių tinklelis). Autoriai panaudojo sąsūkio 3D filtrų sistemą. Modeliui buvo panaudotas išankstinio apmokymo matematinių svorių modelis, o pagrindinis mokymasis vyko optimizuojant svorių sistemą backpropagation būdu. Pasiūlytas modelis puikiai atliko 3D objektų klasifikavimo užduotį ir parodė kur kas geresnius objektų klasifikavimo rezultatus, nei kiti tuo metu egzistavę modeliai. Dar geresnius tikrųjų 3D duomenų analizės rezultatus ir inovatyvius sąsūkio tinklų modifikavimo sprendimus vėliau pateikė kiti mokslininkai – jie pasiekė 86 % 3D objektų klasifikavimo tikslumą (Qi ir kt., 2016; Brock ir kt., 2016; Song ir kt., 2016). Atkreiptinas dėmesys, kad 3D analizės rezultatams esminę įtaką daro 3D objektų skenavimo taškų tankis, todėl, siekiant įgyvendinti projekto uždavinius, pirmiausia buvo sprendžiamas duomenų bazės kūrimo charakterizavimas. 2019 m. buvo atliktas Vilniaus senamiesčio dalies (1 pav.) 3D lazerinis skenavimas, sujungtas su dronu gautų fotonuotraukų fotogrametriniais taškų masyvais, taip pat atliktas pirminis Vilniaus ir Kauno senamiesčių pastatų fasadų fotofiksavimas (2 pav.). 3D skenavimo ir fotofiksavimo metu buvo gauti tų pačių senamiesčių objektų 2D ir 3D duomenys, kurie buvo naudojami tolesniame DI mokymų procese (3 pav.).

 

1 pav. 2019 m. skenuota Vilniaus senamiesčio dalis ir jos skenavimo tinklas
Fig. 1. 2019 scanned part of Vilnius Old Town and its scanning network.

 

2 pav. Vilniaus ir Kauno senamiesčių pastatų fotofiksavimo vietos
Fig. 2. Photo fixation sites of Vilnius and Kaunas.

 

 

3 pav. Vilniaus ir Kauno senamiesčių pastatų fasadų 2D ir 3D atvaizdai
Fig. 3. 2D and 3D images of facades of Vilnius and Kaunas old town buildings.

Apytikriai 2,9 mlrd. taškų masyvas generuotas su ~ 4 cm RMS paklaida (vidutinė kvadratinė prognozės paklaida), koordinuotais pasitelkus kontūrženklių sistemą sujungiant 16 skirtingų fiksavimo vietų, bendrai sudarančių ≈ 21 ha plotą (≈ 13 400 taškų/1 M²). 2D fasadų duomenų bazę (sudaro beveik 650 fotonuotraukų, vidutiniškai turinčių po 12 megapikselių skiriamąją gebą). Taškų masyvo duomenų tikslumas ir kiekis yra pakankami tolesniems eksperimento etapams vykdyti, tačiau 2D duomenų yra per mažai patikimam dirbtinio intelekto apmokymo procesui užtikrinti, todėl projekte taikoma duomenų priauginimo metodika (angl. data augmentation), kai ta pati nuotrauka naudojama skirtingais rakursais, kurie fiksuojami kaip skirtingi ištekliaus duomenys. Šitaip turimus išteklius galima išplėsti iki bent 10 000 semantiškai segmentuotų nuotraukų.

2D ir 3D semantinio segmentavimo technologiniai sprendimai ir algoritmai panašūs. 3D vaizdų segmentavimo metu kiekvienas 3D vaizdo taškas žymimas ir priskiriamas tam tikrai analizuojamų objektų klasei arba fono objektų klasei. 3D vaizdų segmentavimas dar vadinamas semantiniu segmentavimu arba žymėjimu (angl. labeling). Semantinis segmentavimas artimas 3D vaizdų klasifikavimui, nes turi tinkamai atpažinti klases, kurioms priklauso 3D vaizde esantys objektai. 3D vaizdų segmentavimas kilęs iš 2D vaizdų segmentavimo, todėl technologiniai sprendimai yra panašūs: 1) regiono augimas (angl. region growing) (pavyzdžiui, Vo ir kt., 2015); 2) grafu grįstas (pavyzdžiui, Sima ir kt., 2013); 3) superpikseliais grįstas (pavyzdžiui, Papon ir kt., 2013; Aijazi ir kt., 2013). Šiuo metu semantinio segmentavimo srityje pasaulyje geriausi rezultatai pasiekti naudojant sąsūkio neuroninius tinklus (įvairius jų struktūrinius sprendinius ir modifikacijas), kurie tampa standartu semantinio segmentavimo problemoms spręsti prižiūrimo giliojo apmokymo būdu, nors tyrimai ir eksperimentai vyksta ir menkai prižiūrimo ir neprižiūrimo giliojo apmokymo kryptimis.

2014 m. bendrovės „Google“ tinklas GoogLeNet laimėjo ImageNet varžybas, pasiekęs 93,3 % semantinio segmentavimo tikslumą. „Google“ tinklas susidėjo iš sąsūkio neuroninio tinklo 22 giliųjų sluoksnių ir greta kitų inovatyvių sprendimų tinklo architektūroje buvo panaudotas „Google“ sukurtas inovatyvus inception modulis, kuris buvo įdiegtas tinklas tinkle principu (Szegedy ir kt., 2015). 2016 m. bendrovės „Microsoft tinklas“ ResNet laimėjo ImageNet varžybas, pasiekęs 96,4 % semantinio segmentavimo tikslumą. „Microsoft“ tinklas tapo žymus ir dėl jo išties didelio gylio – 152 sluoksniai.

Pasiekti rezultatai semantinio segmentavimo srityje mokslininkams leido pradėti formuluoti teiginius, kad siauroje vaizdų analizės srityje kompiuteris jau viršijo žmogaus gebėjimus. Tačiau turime sutikti su O. Russakovsky’io nuomone, kad kompiuteris geba priskirti nuotrauką ar vaizdą tik vienai iš tūkstančio kategorijų, o žmogus – kur kas didesniam kategorijų skaičiui, be to, žmogus geba įvertinti vaizdo kontekstą, ko vis dar nesugeba kompiuteris, todėl žmogaus lygio mašina dar nepasiekė.

Dirbtinio intelekto technologijų taikymą urbanistinio kultūros paveldo stebėsenos srityje apsunkina giliajam mokymuisi reikalingų duomenų masyvų stygius, nes šie algoritmai veiksmingai mokosi tik iš labai didelių, žmogaus eksperto rankiniu būdu ženklintų duomenų kiekių. Šiuo metu atviroje prieigoje pateikiami tik keli mažos apimties ženklintų duomenų rinkiniai, kurie tinkami nedideliems laboratoriniams eksperimentams, bet ne taikomojo pobūdžio kompiuterinei sistemai kurti (CMPF Facade…, 2015). Todėl vienas iš iššūkių, su kuriuo susidūrė projekto vykdytojai, – kuo skubesnis pakankamai didelių, algoritmų mokymuisi tinkamų duomenų masyvų sukaupimas ir juose esančių objektų ženklinimas rankiniu būdu, pasitelkiant žmones ekspertus. Pirmųjų laboratorinių eksperimentų rezultatai, kai naudojamas pirminis kaupiamo duomenų ištekliaus variantas – pasiekiant dviejų objektų klasių (langų ir durų) 80 % tikslumo semantinį segmentavimą – leidžia teigti, kad pasirinkti technologiniai sprendimai ir sukurta metodologija bus sėkmingai pritaikyti, siekiant projekto tikslų.

Laboratoriniam eksperimentui buvo panaudotas bendrovės „Google“ sukurtas atvirojo kodo nemokamas infrastruktūrinis sprendimas Tensorflow ir vaizdų semantiniam segmentavimui skirtas tos pačios bendrovės sukurtas Tensorflow priedas DeepLab v. 3+, kuris naudoja pažangią giliųjų sąsūkio tinklų architektūrą (prieiga per internetą: <https://ai.googleblog.com/2018/03/semantic-image-segmentation-with.html>) (Liang-Chieh Chen ir kt., 2017). Pagrindinis skirtumas tarp DeepLab v.3 ir v. 3+ yra tas, kad bendrovė naujoje DeepLab versijoje panaudojo esmiškai naują neuroninio tinklo architektūrinį sprendimą Xception (Chollet, 2017), kuris pakeitė iki tol DeepLab sprendime naudotą architektūrinį sprendimą RestNet. Eksperimentui buvo naudojami gamintojo nustatyti standartiniai parametrai. Apmokymui papildomai buvo panaudotas projekto vykdytojų surinktas Vilniaus senamiesčio pastatų fasadų nuotraukų rinkinys, kuris buvo rankomis sužymėtas pagal PASCAL VOC 2012 standartą. Eksperimentai keičiant parametrus numatyti tolesniuose projekto etapuose, kai apmokymo duomenų rinkinys bus papildytas visomis projekto tikslams pasiekti reikalingomis semantiškai segmentuojamomis klasėmis. Bendrovės „Google“ kompleksinis sprendimas buvo pasirinktas dėl trijų pagrindinių priežasčių: 1) tai atvirojo kodo nemokamas programinės įrangos sprendimas, nereikalaujantis didelių skaičiavimo pajėgumų, lyginant su analogais; 2) minimo sprendimo, kaip aprašyta pirmiau, tikslumo rodikliai buvo labai geri; 3) dėl aukštos kokybės ir inovatyvių technologijų taikymo sprendimas turi didelę vartotojų bendruomenę, todėl yra platus jo palaikymo tinklas.

Rezultatai ir diskusija

Nekilnojamojo kultūros paveldo apsauga yra vienas iš šiuolaikinės visuomenės iššūkių ir tokia situacija suponuoja poreikį kurti pažangias, efektyvias ir sąlyginai nebrangias technologijas, kurios padėtų efektyviai stebėti ir analizuoti kultūros paveldo būklę ir jos raidą. Straipsnyje kaip tik pristatomas vienas tokių technologinių sprendimų – nekilnojamojo paveldo automatinis monitoringas, taikant 3D vaizdo skenavimo ir dirbtinio intelekto technologijas.

Įgyvendinant šį technologinį sprendimą atliekami nuoseklūs veiksmai, kurie pasiūlytą monitoringo sprendimą paverčia pakankamai universaliu. Jei straipsnyje aptartas monitoringo sprendimas būtų taikomas kitiems nekilnojamojo kultūros paveldo objektams (pavyzdžiui, archeologijos), reikėtų atlikti tuos pačius aprašytus veiksmus, pritaikant juos šiam konkrečiam paveldo tipui. Tai yra 1) atrinkti vertingąsias savybes, kurias potencialiai turi būti siekiama fiksuoti ir kurių monitoringą rengiamasi atlikti; 2) nustatyti pažaidos veiksnius, naikinančius šias konkrečias vertingąsias savybes; 3) konkrečias paveldo vertingąsias savybes susieti su konkrečiais jas pažeidžiančiais veiksniais, siekiant toliau šią matricą naudoti pusiau automatiniam paveldo monitoringui; 4) nustatyti pokyčiui matuoti taikytinus matematinius rodiklius; 5) išskirti ir algoritmais aprašyti konkrečių paveldo objektų grupei būdingų vertingųjų savybių rinkinius (aibes); 6) atlikti duomenų patikimumo patikrą; 7) atlikti dirbtinio intelekto sistemos apmokymus.

Dirbtinio intelekto technologijų taikymą nekilnojamojo kultūros paveldo stebėsenos srityje apsunkina giliajam mokymuisi reikalingų duomenų masyvų stygius, nes šie algoritmai veiksmingai mokosi tik iš labai didelių, žmogaus eksperto rankiniu būdu ženklintų duomenų kiekių. Todėl vienas iš sunkumų, su kuriuo susidūrė projekto vykdytojai, – kuo skubesnis pakankamai didelių, algoritmų mokymuisi tinkamų urbanistinio paveldo duomenų masyvų sukaupimas ir juose esančių objektų ženklinimas rankiniu būdu, pasitelkiant žmones ekspertus.

Tolesniuose technologinio sprendimo realizavimo etapuose yra numatyta sukurti programinę įrangą (įskaitant jos gamybinę versiją) ir ją išbandyti įvairiuose scenarijuose, siekiant identifikuoti pačią tiksliausią, efektyviausią ir pigiausią 3D duomenų rinkimo ir jų analizės strategiją.

Literatūra

Aijazi A. K., Checchin P., Trassoudaine L. 2013. Segmentation based classification of 3D urban pointclouds: A super-voxel based approach with evaluation. Remote Sensing, 5 (4), p. 1624–1650. https://doi.org/10.3390/rs5041624

Allen G. C., El-Turki A., Hallam K. R., McLaughlin D., Stacey M. 2000. Role of NO₂ and SO₂ in degradation of limestone. British Corrosion Journal, 35, p. 35–38 [interaktyvus]. Prieiga per internetą: <https://www.researchgate.net/publication/233693788_Role_of_NO2_and_SO2_in_degradation_of_limestone> [žiūrėta 2018 m. rugsėjo 14 d.]. https://doi.org/10.1179/000705900101501047

Barcelo J. A. 2008. Computational intelligence in archaeology. State of the art. B. Frischer, J. Webb Crawford, D. Koller (eds.) Making History Interactive. Computer Applications and Quantitative Methods in Archaeology (CAA). Proceedings of the 37^th International Conference, Williamsburg, Virginia, United States of America, March 22–26, Oxford, p. 11–21.

Brock A., Lim Th., Ritchie J. M., Weston N. 2016. Generative and discriminative voxel modeling with convolutional neural networks. 3D Deep Learning Workshop at NIPS 2016, Barcelona, Spain. [interaktyvus]. Prieiga per internetą: <http://3ddl.cs.princeton.edu/2016/papers/Brock_et_al.pdf> [žiūrėta 2020 m. sausio 2 d.].

Carroll P., Aarrevaara E. 2018. Review of potential risk factors of cultural heritage sites and initial modelling for adaptation to climate change. Geosciences, 8 (322) [interaktyvus]. Prieiga per internetą: <https://www.preprints.org/manuscript/201807.0068/v1> [žiūrėta 2018 m. spalio 1 d.]. https://doi.org/10.20944/preprints201807.0068.v1

Charter for the Conservation of Historic Towns and Urban Areas (Washington Charter 1987) [interaktyvus]. Prieiga per internetą: <https://www.icomos.org/charters/towns_e.pdf> [žiūrėta 2018 m. rugpjūčio 20 d.].

Chen L., Zhy Y. 2018. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. Prieiga per internetą: <https://arxiv.org/pdf/1606.00915.pdf> [žiūrėta 2020 m. sausio 10 d.].

Chollet F. 2017. Xception: Deep Learning with Depthwise Separable Convolutions [interaktyvus]. Prieiga per internetą: <https://arxiv.org/pdf/1610.02357.pdf> [žiūrėta 2020 m. sausio 10 d.].

Christaras B. 2003. Cultural Heritage and Engineering Geological Factors of Damage. Engineering Geological Factors of Damage at Greek Monuments and Sites included in the World Heritage List of UNESCO [interaktyvus]. Prieiga per internetą: <http://library.tee.gr/digital/techr/2003/techr_2003_2_36.pdf> [žiūrėta 2018 m. spalio 1 d.].

CMP Facade Database. 2015. [interaktyvus]. Prieiga per internetą: <http://cmp.felk.cvut.cz/~tylecr1/facade/; http://www.ipb.uni-bonn.de/projects/etrims_db/> [žiūrėta 2018 m. spalio 1 d.].

Čepaitienė R. 2004. Istoriniai miestai paveldosaugos akiratyje. Miestų praeitis, Vilnius, Nr. 1, p. 43–78.

Drdácký M., Binda L., Herle I., Lanza L .G., Maxwell I., Pospíšil S. 2007. Protecting the cultural heritage from natural disasters. Brussels, European Parliament [interaktyvus]. Prieiga per internetą: <http://www.europarl.europa.eu/RegData/etudes/etudes/join/2007/369029/IPOL-CULT_ET(2007)369029_EN.pdf> [žiūrėta 2018 m. spalio 1 d.].

Dries, van den M. H. 1998. Archaeology and the Application of Artificial Intelligence: Case-Studies on Use-Wear Analysis of Prehistoric Flint Tools. Doctoral thesis. Faculty of Archaeology, Leiden University. Prieiga per internetą: <https://www.narcis.nl/publication/RecordID/oai:openaccess.leidenuniv.nl:1887%2F13148> [žiūrėta 2018 m. spalio 1 d.].

Gardin, J. C. 1989. Artificial intelligence and the future of semiotics: An archaeological perspective. Journal of the International Association for Semiotic Studies, Vil. 77, Issue 1–3. DOI: https://doi.org/10.1515/semi.1989.77.1-3.5.

Gualandi M. L., Scopigno R., Wolf L., Richards J., Buxeda i Garrigos J., Heinzelmann M., Hervas M. A., Vila L., Zallocco M. 2016. ArchAIDE – archaeological automatic interpretation and documentation of ceramics. EUROGRAPHICS Workshop on Graphics and Cultural Heritage. Prieiga per internetą: <https://arpi.unipi.it/retrieve/handle/11568/863393/229085/ArchAIDE_short-final.pdf> [žiūrėta 2018 m. spalio 1 d.].

ICCROM Working Group „Heritage and Society“. 2005. Definition of Cultural Heritage References to Documents in History. Selected by J. Jokilehto (Originally for ICCROM, 1990). Revised for CIF: 15 January 2005 [interaktyvus]. Prieiga per internetą: <http://cif.icomos.org/pdf_docs/Documents%20on%20line/Heritage%20definitions.pdf> [žiūrėta 2018 m. gegužės 16 d.].

International Charter for the Conservation and Restoration of Monuments and Sites (The Venice charter 1964) [interaktyvus]. Prieiga per internetą: <https://www.icomos.org/charters/venice_e.pdf> [žiūrėta 2018 m. birželio 8 d.].

Įsakymas dėl nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašo patvirtinimo. 2005. Valstybės žinios, Nr. 52-1756.

Kanani S., Zandi H. 2011. A study of the damages to historical monuments due to climatic factors and air pollution and offering solutions. World Academy of Science, Engineering and Technology International Journal of Humanities and Social Sciences, 5 (8), p. 1018–1023 [interaktyvus]. Prieiga per internetą: <https://waset.org/publications/6941/a-study-of-the-damages-to-historical-monuments-due-to-climatic-factors-and-air-pollution-and-offering-solutions> [žiūrėta 2018 m. rugsėjo 14 d.].

Kultūros vertybių registras [interaktyvus]. Prieiga per internetą: <http://kvr.kpd.lt/heritage/> [žiūrėta 2018 m. rugsėjo 27 d.].

Kuncevičius A., Jankauskas R., Laužikas R., Stankevičiūtė D., Rutkauskaitė I. 2009. Radvilų tėvonija Dubingiuose. Vilnius.

Kuncevičius A., Laužikas R., Šmigelskas R., Augustinavičius R. 2012. Erdvės užkariavimas: 3D technologijos taikymo galimybės ir problemos Lietuvos archeologijoje Archaeologia Lituana, 130, p. 7–29. https://doi.org/10.15388/archlit.2012.0.1188.

Laužikas R., Šmigelskas R., Kuncevičius A., Augustinavičius R., Kurauskas V., Žilinskas E., Žižiūnas T. 2017. Informacinės technologijos, kultūros paveldo informacijos pusiau automatinis valdymas ir tyrimai naudojant 3D technologijas. Informacijos mokslai, Vilnius, p. 160–179.

Lietuvos Respublikos nekilnojamojo kultūros paveldo apsaugos įstatymas. 1994. Valstybės žinios, Nr. 3-37.

Managing Disaster Risks for World Heritage. 2010. UNESCO. [interaktyvus]. Prieiga per internetą: <http://whc.unesco.org/uploads/activities/documents/activity-630-1.pdf> [žiūrėta 2018 m. rugsėjo 27 d.].

Palma V. 2019. Towards deep learning for architecture: A monument recognition mobile app. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. XLII-2/W9, p. 551–556 [interaktyvus]. Prieiga per internetą: <https://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XLII-2-W9/551/2019/isprs-archives-XLII-2-W9-551-2019.pdf> [žiūrėta 2018 m. rugsėjo 27 d.]. https://doi.org/10.5194/isprs-archives-xlii-2-w9-551-2019

Papon J., Abramov A., Schoeler M., Worgotter F. 2013. Voxel Cloud Connectivity Segmentation – Supervoxels for Point Clouds. IEEE Conference on Computer Vision and Pattern Recognition, p. 2013–2034 [interaktyvus]. Prieiga per internetą: <https://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Papon_Voxel_Cloud_Connectivity_2013_CVPR_paper.pdf> [žiūrėta 2018 m. rugsėjo 27 d.].

Patel J., Stutt A. 1989. Beyond classification: The use of artificial intelligence techniques for the interpretation of archaeological data. Computer Applications and Quantitative Methods in Archaeology 1989 [interaktyvus]. Prieiga per internetą: <https://publikationen.uni-tuebingen.de/xmlui/bitstream/handle/10900/60942/30_Patel_Stutt_CAA_1989.pdf?sequence=2> [žiūrėta 2018 m. rugsėjo 27 d.].

Pedersoli J. L., Antomarchi C., Michalski S. 2016. A Guide to Risk Management of Cultural Heritage. ICCROM [interaktyvus]. Prieiga per internetą: <https://www.iccrom.org/wp-content/uploads/Guide-to-Risk-Managment_English.pdf> [žiūrėta 2018 m. rugsėjo 14 d.].

Pirotti F., Zanchetta C., Previtali M., Della Torre S. 2019. Detection of building roofs and facades from aerial laser scanning data using deep learning. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. XLII-2/W11 [interaktyvus]. Prieiga per internetą: <https://re.public.polimi.it/retrieve/handle/11311/1090187/376920/isprs-archives-XLII-2-W11-975-2019.pdf> [žiūrėta 2018 m. rugsėjo 14 d.]. https://doi.org/10.5194/isprs-archives-xlii-2-w11-975-2019.

Puyol-Gruart J. 1998. Computer science, Artificial intelligence and archaeology. New Techniques for Old Times. Computer Applications in Archaeology 1998 [interaktyvus]. Prieiga per internetą: <https://pdfs.semanticscholar.org/40d6/918b00a576174092b29dbc8b8919bebcdca5.pdf> [žiūrėta 2018 m. rugsėjo 14 d.].

Qi C. R., Su H., Niessner M., Dai A., Yan M., Guibas L. J. 2016. Volumetric and multi-view CNNs for object classification on 3D data. arXiv preprint arXiv:1604.03265v2 [interaktyvus]. Prieiga per internetą: <http://openaccess.thecvf.com/content_cvpr_2016/papers/Qi_Volumetric_and_Multi-View_CVPR_2016_paper.pdf> [žiūrėta 2020 m. sausio 2 d.]. https://doi.org/10.1109/cvpr.2016.609.

Sima M. C., Nuchter A. 2013. An extension of the Felzenszwalb-Huttenlocher segmentation to 3D point clouds. Proc. SPIE 8783, Fifth International Conference on Machine Vision (ICMV 2012): Computer Vision, Image Analysis and Processing, 878302 (13 March 2013). https://doi.org/10.1117/12.2010527.

Song S., Xiao J. 2016. Deep sliding shapes for amodal 3D object detection in RGB-D images. Proceedings of the 29^th IEEE Conference on Computer Vision and Pattern Recognition [interaktyvus]. Prieiga per internetą: <http://dss.cs.princeton.edu/paper.pdf> [žiūrėta 2020 m. sausio 2 d.]. https://doi.org/10.1109/cvpr.2016.94.

Strategy for Reducing Risks from Disasters at World Heritage Properties. 2007. UNESCO. [interaktyvus]. Prieiga per internetą: <https://whc.unesco.org/archive/2007/whc07-31com-72e.pdf> [žiūrėta 2018 m. rugsėjo 14 d.].

Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. 2015. Going Deeper with Convolutions. arXiv:1409.4842v1 [interaktyvus]. Prieiga per internetą: <https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf> [žiūrėta 2018 m. rugsėjo 14 d.]. https://doi.org/10.1109/cvpr.2015.7298594.

Tandon A. 2017. Post-disaster damage assessment of cultural heritage: Are we prepared? ICOM-CC 18^th Triennial Conference 2017 Copenhagen [interaktyvus]. Prieiga per internetą: <https://www.iccrom.org/sites/default/files/2017-12/tandon_2017_post-disaster_damage_assessment_icomcc_2017.pdf> [žiūrėta 2018 m. spalio 1 d.].

Tarptautinis standartas. LST EN 15898:2012. Kultūros vertybių išsaugojimas. Pagrindiniai bendrieji terminai ir jų apibrėžtys.

UNESCO. 2008. List of Factors affecting the Properties, 2008 [interaktyvus]. Prieiga per internetą: <https://whc.unesco.org/en/factors/> [žiūrėta 2018 m. rugsėjo 14 d.].

Vo A. V., Truong-Hong L., Laefer D. F., Bertolotto M. 2015. Octree-based region growing for point cloudsegmentation. ISPRS Journal of Photogrammetry and Remote Sensing, vol. 104, p. 88–100. https://doi.org/10.1016/j.isprsjprs.2015.01.011.

Wu Z., Song S., Khosla A., Yu F., Zhang L., Tang X., Xiao J. 2015. 3D shapenets: A deep representation for volumetric shapes. IEEE Conference on Computer Vision and Pattern Recognition, p. 1912–1920. https://doi.org/10.1109/cvpr.2015.7298801.

Žarnić R., Rajčić V., Skordaki N. 2015. A contribution to the built heritage environmental impact assessment, ISPRS Annals of the Photogrammetry. Remote Sensing and Spatial Information Sciences, vol. II-5/W3, 2015 25^th International CIPA Symposium 2015, 31 August–04 September 2015, Taipei, Taiwan, p. 389–394 [interaktyvus]. Prieiga per internetą: <https://bib.irb.hr/datoteka/817134.isprsannals-II-5-W3-389-2015.pdf> [žiūrėta 2018 m. spalio 1 d.]. https://doi.org/10.5194/isprsannals-ii-5-w3-389-2015.

Monitoring of Immovable Cultural Heritage Implementing 3D and Artificial Intelligence Technologies

Rimvydas Laužikas, Albinas Kuncevičius, Darius Amilevičius, Tadas Žižiūnas, Ramūnas Šmigelskas

Abstract³

The management of immovable cultural heritage (archaeological, architectural, urban, etc.) involves a number of complex processes that are time and finance intensive. The problems of realization of these processes become apparent at the intersection of heritage and modern infrastructure development (cities, roads, railways, development of energy infrastructure, adaptation of buildings to modern needs, development of tourism services, illegal archaeological excavations, hostilities, etc.). Given the potential of modern technology, a system of monitoring and analysis of its results based on the application of 3D imaging and artificial intelligence technologies can be used to solve real estate problems. This idea is based on a theoretical approach of using artificial intelligence technology to identify accurately the differences in the same cultural heritage object and two 3D point clouds of different periods, which represent changes that have occurred during the relevant period. The article presents solutions applicable to urban heritage; however, analogous and similar solutions can be applied to all immovable heritage objects whose changes are related to changes in volume or surface contours (illegal excavations in archaeological heritage sites, remodelling in the old towns, earthworks in cultural landscapes).

Based on legal regulations effective in Lithuania, we can state that preservation of immovable heritage (including urban) in essence is preservation of valuable properties attributed to objects and their complexes. Thus, during the research presented in the article the following actions were taken:

(i) Selection of the valuable properties of urban heritage to be captured and monitored, and separation of valuable features of the two levels – location (plan structure, volumetric spatial structure) and building (height and / or altitude, volumetric spatial composition, facade architectural solution, etc.).

(ii) Identification of damage factors destroying valuable properties, and separation of damage factors of two groups – natural (climate change, microclimate conditions, etc.) and anthropogenic (construction and development, transport infrastructure, pollution, socio-cultural use of heritage, etc.).

(iii) Linking of specific valuable features of urban heritage to specific damaging factors in order to use further this matrix for semi-automatic heritage monitoring.

(iv) Determination of mathematical indicators applicable to the measurement of change. Given that the geometric values of heritage objects and their valuable properties differ, the criteria measured on an interval scale, i.e. the percentage of change in a site or object (potential damage), where 0% means no damage, and 100 percent – the complete destruction of the object or site, but not the absolute measurement of change, were applied.

(v) Exclusion of sets of valuable properties that are specific to a group of specific heritage objects and their description by algorithms. Although the set of valuable properties of each specific heritage object is individual; however, such sets (for example, a dwelling house, church, square, park, etc.) can be described due to the abundance of similar objects.

(vi) Verification of data reliability by available satellite or LIDAR data or by real-time detection. In the case of learning algorithms, the change in detection value (logical operators and relation to change detection) and its probability (for example, roof → increased → 86.7%) were evaluated. In the event of change capture, the likelihood of estimation was calculated based on the ratio of valuable properties identified and their changes to the correct identification of valuable properties captured in reality, and estimation of changes.

(vii) Application of artificial intelligence technology to the monitoring of urban cultural heritage is complicated due to the lack of data arrays required for deep learning since these algorithms effectively learn only from very large amounts of data manually tagged by human experts. Therefore, one of the challenges faced by the project managers was to build, as fast as possible, sufficiently large arrays of data suitable for learning algorithms, and to tag manually objects contained therein with the help of human experts.

The research project presented in the article is still at an early stage; however, the results of the first laboratory experiments with the primary version of the pooled data resource achieving 80 percent accuracy in semantic segmentation of objects into two classes (windows and doors) suggest that the chosen technology solutions and developed methodology will be adapted successfully to achieve project objectives.