Obiectivul general al acestui proiect este proiectarea unui sistem de estimare continuă a situațiilor periculoase în timpul condusului, cu accent nu doar pe starea traficului extern, și nu doar pe starea șoferului, ci și pe sinergia acestor factori. Factorii externi vor fi analizați prin algoritmi de percepție noi și îmbunătățiți, care vor extrage trăsături de nivel înalt din fluxurile video și alți senzori general disponibili (GPS, senzori inerțiali).
Starea șoferului va fi monitorizată de algoritmi de învățare automată care sunt utilizează date furnizate de dispozitive portabile de monitorizare ("wearables") sau de senzori care echipează mașina și arată acțiunile șoferului (unghiul volanului, pedale etc.).
Contribuțiile proiectului se vor axa pe îmbunătățirea detectării stării șoferului și a traficului, cu accent pe detaliile critice care definesc situațiile periculoase, precum și pe învățarea automată și inferența combinației acestor factori pentru a detecta și preveni situațiile periculoase.
Activitatile sunt organizate in trei etape, corespunzatoare fiecarui an.
Etapa 1: ianuarie 2021 – decembrie 2021.
Sistem de achizitie a datelor, Date achizitionate in trafic, prototip initial al sistemului de perceptie a mediului, componente ale sistemului de monitorizare a vehiculului si a soferului, protocol de achizitie si adnotare a datelor
Etapa 2: ianuarie 2022 – decembrie 2022.
Prototip final al sistemului de perceptie a mediului, prototip initial al sistemului de monitorizare a soferului si a vehiculului, date achizitionate in trafic si adnotate, prototip initial al modelului de raspuns, articole si manuscrise, cerere de patent.
Etapa 3: ianuarie 2023 – decembrie 2023.
Prototip final al modelului sofer-vehicul-mediu, prototip final al modelului de raspuns, aplicatie demonstrator, articole ce vor descrie cele mai importante realizari teoretice si tehnologice ale proiectului, publicate in jurnale cu factor de impact si vizibilitate mare (IEEE Transactions on Image Processing, IEEE Transactions on Intelligent Transportation Systems, Sensors etc.), si la conferinte de prestigiu (IEEE Conference on Computer Vision and Pattern Recognition, European Conference on Computer Vision etc.).
Publicatii
Articole științifice:
Etapa 1
M. P. Muresan, S. Nedevschi, R. Danescu, “Robust Data Association using Fusion of Data-Driven and Engineered Features for Real Time Pedestrian Tracking in Thermal Images”, Sensors, Volum 21, Numar 23, Numar articol 8005, 2021. [jurnal ISI - Zona rosie]
R. Itu and R. Danescu, "Object detection using part based semantic segmentation," 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), Cluj-Napoca, Romania, 2021, pp. 227-231.
R. D. Brehar, C. C. Vancea, M. P. Mureşan, S. Nedevschi and R. Dănescu, "Pose Based Pedestrian Street Cross Action Recognition in Infrared Images," 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), Cluj-Napoca, Romania, 2021, pp. 41-46.
M. P. Muresan, M. Raul, S. Nedevschi and R. Danescu, "Stereo and Mono Depth Estimation Fusion for an Improved and Fault Tolerant 3D Reconstruction," 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), Cluj-Napoca, Romania, 2021, pp. 233-24.
Etapa 2
R. Itu and R. Danescu, “Part-Based Obstacle Detection Using a Multiple Output Neural Network,” Sensors, vol. 22, no. 12, număr articol 4312, 2022. [jurnal ISI – Q1, zona roșie]
R. D. Brehar, R. O. Băbuţ, A. Fuzes and R. Dănescu, "Outdoor Traffic Scene Risk Estimation in the Context of Autonomous Driving," 2022 IEEE 18th International Conference on Intelligent Computer Communication and Processing (ICCP), Cluj-Napoca, Romania, 2022, pp. 129-134.
M. P. Muresan, R. Schlanger, R. Danescu, S. Nedevschi, “Real-Time Obstacle Detection using a Pillar-based Representation and a Parallel Architecture on the GPU from LiDAR Measurements”, 2023 International Conference on Computer Vision Theory and Applications (VISAPP) , 2023, pp. 779-787.
Etapa 3
R. Brehar, G. Coblişan, A. Füzes, R. Dănescu, “Driver Attention Estimation Based on Temporal Sequence Classification of Distracting Contexts”, In Proceedings of the 20th International Conference on Informatics in Control, Automation and Robotics - Volume 1 (ICINCO), 2023, SciTePress, pp. 578-585.
R. Itu, R. Danescu, “On-Board Estimation of Vehicle Speed and the Need of Braking Using Convolutional Neural Networks”, In Proceedings of the 20th International Conference on Informatics in Control, Automation and Robotics - Volume 1 (ICINCO), 2023, SciTePress, pp. 600-607.
R. Itu, R. Danescu, “Predicting Emergency Braking in Vehicles Using a CNN with Sequential Image and Velocity Data”, 2023 IEEE 19th International Conference on Intelligent Computer Communication and Processing (ICCP), 2023.
R. Itu, R. Danescu, “Fully Convolutional Neural Network for Vehicle Speed and Emergency Brake Prediction”, Sensors, in review. [jurnal ISI]
Teze de doctorat:
Mircea Paul Mureșan, “Multimodal Measurement Approaches for Autonomous Systems”, îndrumător Prof. Sergiu Nedevschi, 2023.
1. Detectia obiectelor din imagini folosind retele neuronale convolutionale
Imaginile sunt procesate de o retea neuronala convolutionala de de tip U-Net pentru segmentare semantica, iar iesirea retelei este formata din patru imagini, codificand partile componente ale fiecarui obiect: cele patru sferturi, stanga sus, stanga jos, dreapta sus, dreapta jos. Un algoritm geometric foloseste relatia dintre parti pentru a identifica obiectul atat sub forma de cuboid, cat si sub forma de multime de pixeli (masca de pixeli), obtinand astfel segmentare de tip instanta.
2. Identificarea si urmarirea obiectelor din imagini termale
Imaginile termale (IR - InfraRosu) sunt utile mai ales pentru detectia pietonilor, deoarece acestia au o temperatura caracteristica ce poate fi separata de fundal atat in sezonul rece cat si in sezonul cald. Imaginile sunt procesate folosind o retea neuronala pentru segmentarea de instanta (identificarea individuala a fiecarui obiect, spre deosebire de segmentarea semantica ce identifica tipul de obiect de care apartine pixelul), apoi sunt urmarite in cadre succcesive folosind asocierea dintre cadre pe baza diferitelor caracteristici de asemanare.
3. Monitorizarea atentiei soferului
Folosind retele neuronale, este monitorizata in permanenta orientarea capului si pozitia ochilor soferului. Pe baza acestor pozitii, se infereaza un grad de atentie.
4. Determinarea gradului de pericol cauzat de pietoni
Pietonii sunt o categorie de participanti la trafic imprevizibila, care pot oricand sa intersecteze traiectoria vehiculului nostru. Folosing o retea neuronala pentru detectia de obiecte de diferite categorii, combinata cu un algoritm de urmarire, este estimata posibilitatea ca un pieton sa apara in fata masinii, si de aici este inferat un grad de pericol.
5. Predictia necesitatii franarii de urgenta
Folosind o secventa de 20 de imagini consecutive, impreuna cu viteza autovehiculului propriu asociata cu fiecare dintre aceste imagini, o retea neuronala va genera un semnal ce va indica necesitatea unei franari de urgenta. Reteaua neuronala nu este o retea recurenta. Cele 20 de imagini vor fi combinate intr-una singura, avand pixelul cu adancimea 20. Astfel, se poate prezice semnalul de frana chiar daca nu se identifica in mod explicit obiectele care sunt cauza pericolului.
Adresa:
Universitatea Tehnica din Cluj-Napoca
Departmentul Calculatoare,
Str. Memorandumului, Nr. 28, 400 114, Cluj Napoca
Romania
Birou: Baritiu str. 26, sala 37
Telefon: +40 264 401457
E-mail:
Radu.Danescu@cs.utcluj.ro
Numele proiectului:
MEDALS - Modelarea, Estimarea si Gestionarea Situatiilor Periculoase prin Analiza Continua a Sistemului Sofer-Vehicul-Mediu
Contract:
PN-III-P4-ID-PCE2020-1700
Finantare:
Ministerul Cercetarii si Inovarii, CNCS – UEFISCDI