Využití cenově dostupných senzorů pro přesnou klasifikaci materiálů ve stavebních sutích, část 2

1. Úvod

V krátkosti zrekapitulujme první část našeho příspěvku. V ní jsme shrnuli data, která v oblasti produkce ve stavebnictví publikuje Evropský statistický úřad Eurostat. Z uvedených informací je zřejmé, že až na malé odchylky stavebnictví v posledních deseti letech stále roste a s tím zvyšuje i ekonomický přínos, ze kterého těží celá EU. Jenže tento kýžený růst je doprovázen až neudržitelnou spotřebou surovin a produkcí stavebního a demoličního odpadu (SDO).

Zmiňovaný trend se pokouší mírnit evropská legislativa, která nařizuje zefektivnit recyklaci nejen SDO, čímž sleduje dva klíčové cíle: (i) redukovat, či v některých velmi odvážných plánech zcela eliminovat množství SDO ukládaného na skládku a ulehčit tak životnímu prostředí a (ii) zvýšením efektivity při nakládání s těmito odpady snížit materiálovou náročnost panenských surovin.

Tyto ambice ovšem nelze realizovat bez účasti vědy a techniky. V oblasti třídění a nakládání se SDO vyvstává mnoho komplikací technického charakteru, které je nutné pro dosažení vytyčených cílů postupně zdolávat. Mezi ně patří i automatická klasifikace (rozpoznání a určení) fragmentů SDO ve směsných stavebních sutích. Jedná se o velmi heterogenní směsi, ve kterých se běžně vyskytují beton, keramika, sádrokarton, dřevo (včetně materiálů na bázi dřeva), tepelné a akustické izolace, zeminy, asfaltové materiály atd. [1]. Jednotlivé fragmenty mají různé geometrické vlastnosti a často jsou kontaminovány nečistotami jak anorganického, tak i organického původu.

Je zřejmé, že zpětnému využití sutí musí předcházet pečlivé roztřídění a tomu zase přesná klasifikace jednotlivých materiálu. V první části článku jsme uvedli možnosti třídění a stručně zrekapitulovali několik desítek let starý vývoj, který má kořeny ve třídění směsných komunálních odpadů. Dále se budeme věnovat pouze nepřímým obrazovým metodám klasifikace, jejichž výzkumu a rozšíření do praxe se věnujeme.

2. Obrazové metody pro klasifikaci SDO

2.1 Hardware

V rámci evropského projektu RECONMATIC [2] na fakultách stavební a elektrotechnické ČVUT v Praze vyvíjíme modely strojového učení, které jsou schopny pomocí algoritmů počítačového vidění sledovat a na základě multikriteriálních definic klasifikovat fragmenty odpadu ve směsných sutích.

Obrazové metody jsou založeny na hodnocení obrazových dat, která jsou získávána pomocí běžných RGB kamer. V tom spočívá jejich první podstatná výhoda; kamery jsou levné jak na pořízení, tak i na provoz. Další výhodou je, že díky svému plošnému snímání (při zachování kvalitního rozlišení) až několika tisíc cm2 mohou v reálném čase hodnotit několik materiálů současně. Podmínkou je pouze jejich přímá viditelnost. Navíc pokud je současně použito více kamer ve vhodné konfiguraci, lze uplatnit principy stereoskopického snímání a pracovat tak nejen v rovinném poli, ale i s hloubkovými mapami. Kamery kromě materiálové klasifikace dokáží kvantifikovat zastoupení jednotlivých materiálů ve směsi i v rámci jednoho heterogenního vzorku. Pokud jde o kvantitu současně zpracovávaných dat, limitujícím faktorem je spíše výpočetní technika.

Mezi nevýhody patří především citlivost na čistotu optických členů kamer. Čočky objektivu nesmí být znečištěny či poškozeny. Uvědomujeme si, že zajistit čistotu prostředí v prašných třídírnách SDO je prakticky nemožné. Proto je nutné optiku šetrnými způsoby čistit (např. automatickým ostřikem stlačeného vzduchu). Další nevýhodou je závislost na konstantních světelných podmínkách. Jak si níže vysvětlíme, mezi hlavní, ovšem nikoliv jediná kritéria klasifikace materiálů patří hodnocení intenzity konkrétní barvy povrchu sledovaného vzorku. Jak známo, barvu předmětu určují především fyzikální vlastnosti povrchu, ale též světlo, které na ně dopadá. Z tohoto důvodu je nutné operovat za definovaných světelných podmínek, kterých lze nejlépe dosáhnout umělým osvětlením [3], [4].

2.2 Software

Z informací, které jsou získány pomocí RGB kamer, je sestaven vektor charakteristik. Efektivní využití multimodálních informací v klasifikační úloze totiž vyžaduje nejen jejich sběr z různých senzorů, ale také následné logické slučování. Samotný proces fúze kombinuje informace z jednotlivých senzorů za využití unikátních parametrů typických pro každý analyzovaný vzorek. Tímto přístupem jsou eliminovány nepřesnosti a informační mezery. Informační vektory jsou následně podrobeny klasifikátorům, což jsou v našem případě algoritmy rozhodovacích stromů (Decision Trees, DT) s gradientním posilováním (Gradient Boosting, GB) a vícevrstvými perceptrony (Multilayer Perceptron, MP) a konvoluční neuronové sítě (Convolutional neural networks, CNNs). Proces hodnocení je obdobný tomu, jak by materiály vizuálně určoval sám člověk na základě znalostí a zkušeností, které má. Podrobnějšímu popisu klasifikátorů je věnována kapitola 4.2.

3. Hodnocené materiály

Prvotní experimenty jsme prováděli na čtyřech běžných materiálech, které jsou typické pro stavební suti:

autoklávovaný pórobeton,
fragmenty asfaltových směsí,
stavební keramika (střešní tašky, pálené cihly a cihelné bloky)
a fragmenty běžného hutného betonu.

Různé vzorky o rozměrech od cca 30 do 250 mm byly foceny pomocí DSLR fotoaparátů. Rozlišení každého snímku bylo 1920×1280 px. Vzorky byly fotografovány za denního světla (ve stínu) v třídírně SDO v Kladně. Vzorky před fotografováním nebyly nijak upravovány ani čištěny, aby byla zachována autenticita reálných podmínek, viz Obrázek 1. Za zmínku stojí, že doposud publikované studie, které se věnovaly podobným tům, pracovaly vždy s čistými vzorky, což ovšem omezuje uplatnitelnost automatických procesů klasifikace v praxi [5], [6].

Obrázek 1: Modelové fotografie vzorků pro výzkum klasifikačních technik

4. Procesy zpracování a klasifikace dat

4.1 Konvoluce versus extrakce vybraných funkcí

Pořízeno bylo celkem více než 4000 fotografií různých vzorků. Tyto snímky byly nejprve manuálně roztříděny do materiálových tříd (Pórobeton, Asfalt, Keramika, Beton). Asfaltem rozumíme asfaltové směsi, resp. materiál označovaný jako znovuzískaná asfaltová směs. V případě keramiky se jedná o cihly a střešní tašky. Z každé třídy bylo následně 80 % snímku použito pro trénovací a zbývajících 20 % pro testovací sadu. Vzhledem k tomu, že klasifikační modely inklinují k učení se rozpoznávat materiál dle jeho tvaru (obrysu), bylo nutné z každého snímku vyjmout region 200×200 px, který obsahoval pouze informace o barvě a textuře povrchu, nikoliv o vzorku samotném, viz Obrázek 2.

Obrázek 2: Manuální extrakce výřezů 200×200 px z fotografií pro trénovací a testovací sadu vybraných klasifikátorů

4.2 Metriky

Každý výřez z fotografie obsahuje tři dimenze informací. Dvě dimenze geometrické (osy i, j) a jednu dimenzi určující intenzitu odrazivosti jednotlivých barevných kanálů (RGB). Pro charakterizaci barvy a textury povrchů byly vybrány následující metriky:

Střední intenzita
Střední intenzita (nebo též střední intenzita šedé barvy) je základní veličina, která určuje zastoupení šedé (ve fotografii základní) barvy sledovaného vzorku za konstantních podmínek osvětlení a parametrů expozice. Jakmile jsou za těchto okolností snímány různé vzorky SDO, je zřejmě, že fotografie různých materiálů bude obsahovat různé množství šedé barvy (poměřme např. bílý pórobeton a ěř černý asfalt). Samozřejmě se jedná o veličinu, kterou nelze použít jinak než pro velmi hrubé třídění materiálu, protože neumí říct víc, než jestli je hodnocený vzorek tmavý nebo světlý. Pro hrubou klasifikaci, na níž následně navazuje další hodnocení, to ovšem podstatné je. Jak již bylo řečeno, střední intenzita šedé barvy je průměrem dílčích intenzit šedé barvy, které jsou charakteristické pro jeden pixel. Matematicky lze tento vztah formulovat jako:

kde je

i a jsouřadnice konkrétního pixelu,
Njejich počet v řadě
Igrayintenzita šedé barvy konkrétního pixelu.

Střední intenzita vybraného kanálu barvy
Střední intenzita vybraného kanálu barvy popisuje poměrné zastoupení jedné konkrétní barvy ve snímku. I zde připomínáme nutnost konstantních světelných podmínek, ovšem již nikoliv bezpodmínečně. V našem případě jsme zvolili střední intenzitu červené barvy, protože tento parametr dokáže velice spolehlivě rozpoznat keramické vzorky a velkou vahou tak přispět do klasifikačního řetězce. Mnoho doposud publikovaných klasifikačních modelů své hodnocení opírá pouze o hodnocení barev [5]. Střední intenzita červené barvy popisuje zastoupení červeného kanálu napříč snímkem v poměru ke střední šedé barvě. Matematický zápis je následující:

kde Ired je intenzita červené barvy konkrétního pixelu a ostatní veličiny jsou shodné s těmi v rovnici č. (1).

Shannonova entropie
Shannonova entropie H výrazným způsobem posouvá přesnost výše uvedeného hodnocení založeného pouze na barvách. Soustředí se totiž na popis textury povrchu, přesněji řečeno na náhodnost povrchového vzoru hodnoceného materiálu [7]. Tento přístup přirozeně uplatňuje i člověk, který vizuálně poznává materiál, ovšem s tím rozdílem, že různou texturu povrchu hodnotí subjektivně a na základě svých zkušeností, aniž by k tomu používal exaktní matematické vztahy (texturu povrchu asfaltové směsi např. od keramické tašky dokáže rozpoznat, aniž by musel současně znát barvu vzorku). Shannonova entropie byla definována již na konci 40. let minulého století a postupně se začala uplatňovat i při klasifikaci materiálů [8], [9]. Její matematický zápis je následující:

kde (pro 8bitové snímky) je frekvence intenzity šedých pixelů a ostatní veličiny jsou shodně s těmi v rovnici č. (1). Doplňme, že vysoká hodnota H značí vysokou náhodnost signálu, tedy textury povrchu vzorku.

Střední gradient intenzity
Posledním parametrem je střední gradient intenzity , který indikuje kvalitu stochastického vzoru ve vztahu k měření v digitálně obrazové korelaci [10]. Hodnotí frekvenci a intenzitu nepravidelností v ploše snímku (v našem případě povrchu vzorku). Přímo souvisí s hrubostí textury a má podobnou vypovídající hodnotu jako Shannonova entropie [11]. V rámci naší studie byl střední gradient intenzity počítán následovně:

kde je modul lokální intenzity gradientu, Ii a Ij jsou odvozeniny Igray (i, j) ve smyslu směrů i a j v každé pozici pixelu.

4.3 Klasifikátory

Jakmile jsou získána a charakterizována obrazová data, na řadu musí přijít výpočetní modely, které je roztřídí a ke každému vzorku přiřadí predikci konkrétního materiálu. Výsledkem je klasifikace s přiřazenou mírou přesnosti. Jednotlivé klasifikační algoritmy jsou stručně popsány níže.

Gradientní posilování
Gradientní posilování je algoritmus strojového učení, který je velmi rozšířen především pro svoji efektivitu a spolehlivost. Typicky využívá princip rozhodovacích stromů (decision trees). Ty jsou v podstatě tvořeny vývojovým diagramem, ve kterém se na každém interním uzlu iterativně testuje sada atributů (viz metriky výše). Pakliže dojde k nálezu shody mezi sledovanou veličinou a veličinou uloženou v databázi, testovaný vzorek dostává štítek s materiálovou charakteristikou, na základě níž je klasifikován [12].

Víceúrovňová percepce
Víceúrovňová percepce je umělá neuronová síť, která sestává ze vstupní úrovně, specifického počtu skrytých úrovní a výstupní úrovně. Vstupní úroveň představuje vlastnosti vstupních dat, zatímco ta výstupní předpovídá pravděpodobnost zatřídění. Skryté úrovně jsou pak využity pro učení se nelineární transformace vstupních parametrů, které vedou k finální predikci, tedy předpovědi, o jaký materiál se jedná [13].

Konvoluční neuronová síť
Konvoluční neuronová síť je typ umělé neuronové sítě, která je navržena pro analýzu dat mřížkovou strukturou. Tato síť obsahuje několik vrstev (konvoluční, sdružovací, propojené). Narozdíl od GB a MLP klasifikátorů CNN využívá fotografii jako vstup, nikoliv extrahované parametry. Samotná konvoluční operace pak spočívá v tom, že konvoluční jádro postupně putuje napříč obrázkem po vytyčeném rastru a krok za krokem hodnotí parametry v dané pozici. Konvoluční vrstvu následuje aktivační funkce, která aplikuje nelineární transformaci do výstupní konvoluce. Plně propojené vrstvy pak kombinují vlastnosti naučené konvolučními a propojovacími vrstvami a na základě toho vytváří finální materiálovou predikci [14], [15].

V našem případě jsme použili síť se třemi konvolučními vrstvami. První a třetí vrstva obsahovaly 32 3×3 filtrů a totéž množství aktivačních funkcí. Druhá vrstva obsahovala 64 3×3 filtrů a aktivačních funkcí.

Při trénovacím procesu bylo dosaženo 100% přesnosti materiálové klasifikace na tréninkových datech po 30 cyklech. Ovšem nejvyšší přesnosti na testovacích datech, která lehce překonala 80 %, bylo dosaženo po 11 cyklech, poté docházelo k tzv. overfittingu. Pro materiálovou klasifikaci byl proto použit model trénovaných na 11 cyklech.

5. Výsledky a diskuse

Výsledky jednotlivých klasifikátorů shrnuje Obrázek 3. Z něj je patrné, že nejpřesněji klasifikovaným materiálem byla keramika. Všechny tři klasifikátory ji dokázaly určit s mírou přesnosti přes 96 % a zároveň ostatní materiály chybně označily za keramiku pouze v nízkých jednotkách procent. Takto příznivý výsledek lze přisuzovat velkému množství červené barvy, která je pro daný materiál typická a čím se odlišuje od trojice dalších hodnocených vzorků. Tato skutečnost potvrzuje, že i pouhé hodnocení odstínu barev bez zaměření na texturu povrchu, má při klasifikačních úlohách podstatný význam. Samozřejmě je nutné mít na paměti, že i keramika může mít jinou barvu než červenou. V takovém případě je nutné při klasifikačních procesech spoléhat na ostatní metriky.

Druhým nejpřesněji hodnoceným materiálem byly vzorky asfaltové směsi. Míra přesnosti se v případě gradientního posilování držela na hranici 88 %, zatímco víceúrovňová percepce a konvoluční neuronová síť tento materiál hodnotily s přesností lehce přes 90 %. V tomto případě docházelo nejčastěji k záměně s betonem, a to až v 8,4 % případů.

Pro všechny tři klasifikátory bylo obtížné rozlišit beton od pórobetonu. K jejich záměně docházelo až ve více než 20 % případů. Důvodem je velmi podobná barva a textura povrchů, zejména pokud byl vzorek hutného betonu vyroben z jemnozrnného kameniva. Míra přesnosti se pohybovala na neuspokojivých 68 až 80 %. V tomto případě je zřejmé, že obrazové metody bude nutné rozšířit o další typy senzorů, které se opírají o jiný fyzikální princip, než o hodnocení viditelných spekter světla.

Obrázek 3: Matice ukazující míru přesnosti klasifikace v závislosti na typu klasifikátoru a druhu hodnoceného materiálu

Podíváme-li se na výsledky obdobného výzkumu od jiných autorů, zjistíme, že míra přesnosti při klasifikačních úlohách často atakovala 100 %. Například Davis a kol. [16] testoval CNN klasifikátor na komunálních odpadech (papír, sklo, plasty, kovy, lepenka a nerecyklovatelné materiály). Dostal se na míru přenosnosti bezmála 96 %. Je ale nutné zmínit, že uvedené materiály mají více rozdílů v charakteristikách povrchů než SDO.

Výraznému posunu dosáhl Xiao a kol. [17], který klasifikoval SDO na základě dat z hyperspektrálních kamer. V případě rozpoznávání plastů, keramických cihel, betonu a dřeva dosáhl absolutní přesnosti.

6. Závěr a další potenciál nepřímých klasifikačních metod

Naše závěry a aktuální vědecké poznatky dalších autorských kolektivů ukazují, že pomocí čistě obrazových metod lze v oblasti SDO dosáhnout přesnosti klasifikace běžně 80 až 90 %. Jejich sofistikovaným cizelováním je možné získat několik dalších jednotek procent, často ovšem za cenu neefektivního přístupu (vysoké výpočetní nároky, pomalé získávání vstupních dat, obtížně dosažitelné okolní podmínky). Dalšího posunu lze dosáhnout integrací různých jiných typů senzorů, které umožňují bezkontaktní měření. Vedle RGB kamer se mohou instalovat například hyperspektrální kamery, které jsou citlivé na eletkromagnetické záření i dalece mimo viditelná spektra. Vhodnou alternativou se též zdají být ultrazvukové senzory. Ty snímají parametry ultrazvukového vlnění, které se odrazilo o povrch hodnoceného materiálu. V úvahu samozřejmě připadají i kontaktní čidla, např. hmotnostní, ale to už se dostáváme za rámec tohoto příspěvku.

7. Literatura

T. Pavlů and J. Pešta, Katalog výrobků a materiálů s obsahem druhotných surovin z průmyslových provozů a komunálních odpadů pro použití ve stavebnictví (2021) – Recyklujme stavby! ČVUT v Praze, 2021.
RECONMATIC, “Automated Solutions For Sustainable and Circular Construction and Demolition Waste Management”. Accessed: Aug. 20, 2024. [Online]. Available: https://www.reconmatic.eu/.
J. Trejbal, V. Nežerka, and T. Zbíral, „Strojová revoluce při třídění SDO se blíží“, Odpadové fórum, vol. 3, pp. 34–35, 2024.
T. Zbíral, V. Nežerka, J. Trejbal, M. Hužvár, and S. Vítek, „Pokročilé získávání datasetů pro přesnou klasifikaci stavebního a demoličního odpadu pomocí strojového učení“, in TVIP – Týden výzkumu a inovací pro praxi, konference Odpady ze a pro stavebnictví, Hustopeče: České ekologické manažerské centrum, z. s, 2023.
H. Son, C. Kim, and C. Kim, “Automated Color Model–Based Concrete Detection in Construction-Site Images by Using Machine Learning Algorithms”, Journal of Computing in Civil Engineering, vol. 26, no. 3, pp. 421–433, May 2012,
https://doi.org/10.1061/(asce)cp.1943-5487.0000141.
A. Dimitrov and M. Golparvar-Fard, “Vision-based material recognition for automated monitoring of construction progress and generating building information modeling from unordered site image collections”, Advanced Engineering Informatics, vol. 28, no. 1, pp. 37–49, Jan. 2014, https://doi.org/10.1016/j.aei.2013.11.002.
V. Nežerka and J. Trejbal, “Assessment of aggregate-bitumen coverage using entropy-based image segmentation”, Road Materials and Pavement Design, vol. 21, no. 8, pp. 2364–2375, Nov. 2020,
https://doi.org/10.1080/14680629.2019.1605304.
C. E. Shannon, “A Mathematical Theory of Communication PART III: MATHEMATICAL PRELIMINARIES”.
J. Antoš, V. Nežerka, and M. Somr, “ASSESSMENT OF 2D-DIC STOCHASTIC PATTERNS”, Acta Polytech CTU Proc, vol. 13, p. 1, Nov. 2017, https://doi.org/10.14311/app.2017.13.0001.
B. Pan, Z. Lu, and H. Xie, “Mean intensity gradient: An effective global parameter for quality assessment of the speckle patterns used in digital image correlation”, Opt Lasers Eng, vol. 48, no. 4, pp. 469–477, Apr. 2010,
https://doi.org/10.1016/j.optlaseng.2009.08.010.
L. Yuan, J. Guo, and Q. Wang, “Automatic classification of common building materials from 3D terrestrial laser scan data”, Autom Constr, vol. 110, Feb. 2020, https://doi.org/10.1016/j.autcon.2019.103017.
J. H. Friedman, “Stochastic gradient boosting”, 2002. [Online]. Available: www.elsevier.com/locate/csda
G. E. Hinton and S. Osindero, “A Fast Learning Algorithm for Deep Belief Nets Yee-Whye Teh”, 2006.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”. [Online]. Available: http://code.google.com/p/cuda-convnet/.
S. Zhou, Q. Chen, and X. Wang, “Convolutional deep networks for visual data classification”, Neural Process Lett, vol. 38, no. 1, pp. 17–27, Aug. 2013, https://doi.org/10.1007/s11063-012-9260-y.
P. Davis, F. Aziz, M. T. Newaz, W. Sher, and L. Simon, “The classification of construction waste material using a deep convolutional neural network”, Autom Constr, vol. 122, Feb. 2021, https://doi.org/10.1016/j.autcon.2020.103481.
W. Xiao, J. Yang, H. Fang, J. Zhuang, and Y. Ku, “Development of online classification system for construction waste based on industrial camera and hyperspectral camera”, PLoS One, vol. 14, no. 1, Jan. 2019,
https://doi.org/10.1371/journal.pone.0208706.

Poděkování

Článek vznikl za přispění rámcového programu Evropské unie Horizon Europe (výzva HORIZON-CL4-2021-TWIN-TRANSITION-01-11) na základě grantové dohody č. ~101058580, projektu RECONMATIC (Automatizovaná řešení pro udržitelné a oběhové hospodářství stavebních a demoličních odpadů). Dále děkujeme ČVUT v Praze za poskytnutí podpory v rámci grantové dohody č. SGS24/003/OHK1/1T/11 (Aplikace nových technologií pro zvýšení udržitelnosti stavebnictví).