L’entreprise Jakarto a fait appel aux experts du CRIM afin de l’aider à développer un système de reconnaissance automatique d’objets de type mobilier urbain pour bâtir des cartes détaillées de villes et pouvoir y localiser certains objets avec un grand degré de précision.
Votre quartier recréé par ordinateur, automatiquement?
Tous connaissent Google StreetView, ce système basé sur une voiture qui sillonne les rues de la planète et prend de nombreuses photos qui sont ensuite assemblées afin de permettre à l’usager de se « promener » virtuellement dans la ville de son choix, via une plateforme de visualisation.
L’entreprise Jakarto souhaite pousser beaucoup plus loin le concept de modélisation virtuelle de l’espace urbain. Leur plateforme vise à rendre plus efficace les processus d’inventaire ou de repérage du matériel urbain. Cette innovation faciliterait grandement le travail des employés responsables de la maintenance, de l’aménagement urbain et des achats, entre autres.
Jakarto a donc développé un système de cueillette de données très sophistiqué qui comprend 5 caméras vidéo en ultra haute définition (4K) posées sur une voiture, qui filment continuellement. De plus, un module de géolocalisation extrêmement précis est installé dans la voiture : il permet de connaître la position du véhicule sur la surface de la Terre au pouce près! Deux systèmes LIDAR (light detection and ranging) complètent l’attirail du véhicule : ils accumulent des données durant chaque déplacement et s’en servent pour bâtir un modèle 3D de la ville ou du quartier sillonné. Le LIDAR est une technologie utilisée entre autres par les voitures autonomes pour interpréter leur environnement physique.
Les images 2D fournissent une grande quantité de détails (couleurs, texte, noms de rues…). Or, il n’est pas possible de situer la position d’un objet par rapport à la caméra à partir d’une seule image en 2D. D’un autre côté, la modélisation 3D combinée à la géolocalisation du véhicule permet de situer chaque objet précisément en lui attribuant des coordonnées sur la surface de la Terre. Par contre, le modèle 3D ne donne aucune information sur les couleurs des objets ou le texte affiché dans l’espace urbain.
L’idée de Jakarto est de combiner les images 2D haute résolution, la géolocalisation et la modélisation 3D afin de créer un modèle virtuel de la zone étudiée que chaque type d’image (2D ou 3D) aide à enrichir et à bonifier. Or, pour relier un point du modèle 3D à un point dans une image 2D, il faut connaître la position exacte et l’orientation de chaque caméra sur le véhicule, leur positionnement par rapport au LIDAR, etc. Les experts du CRIM ont dû exploiter cette mise en correspondance afin que chaque objet dans le modèle 3D soit relié à son équivalent dans les images 2D.
Deux objectifs principaux
Le mandat du CRIM dans sa collaboration avec Jakarto était double : d’abord, l’entraînement grâce à l’apprentissage automatique (machine learning) d’un modèle qui saura détecter certains objets dans les données : mobilier urbain, bancs, lampadaires, bornes fontaines, noms de rue, panneaux de signalisation, etc. Pour ce faire, l’équipe du CRIM s’est servie de modèles de détection d’objets existants et les a modifiés afin de les entraîner à repérer les objets spécifiques qui seront utiles aux clients de Jakarto. Ensuite, elle a travaillé à intégrer adéquatement ce module de détection dans la chaîne de traitement de données de l’entreprise.
L’apprentissage automatique et l’identification d’images
Au lieu de concevoir une machine en établissant, par programmation, des règles qu’elle devra suivre pour trouver la réponse, le développeur intègre à la machine un algorithme d’apprentissage qui lui permettra de trouver l’association entre des informations brutes (par exemple, un groupe de pixels rouges et blancs) et l’annotation correspondante (panneau ARRÊT). Cette association s’établit durant l’étape dite d’entraînement où la machine sera exposée à des milliers d’exemples de formes à reconnaître et à leurs annotations correspondantes. Une fois l’entraînement complété, on peut alors tester le système en lui fournissant des données non annotées, pour voir s’il arrive tout de même à produire la bonne réponse (identifier un panneau ARRÊT dans une image).
Un outil de pointe pour les municipalités
Produire une solution tout-en-un permettant la visualisation du modèle virtuel d’une ville ou d’un secteur, voilà une innovation qui pourrait s’avérer fort utile pour les travailleurs municipaux. Le premier modèle du système a été bâti à partir de données récoltées dans la grande région de Montréal, mais cette technologie pourrait bien sûr être ensuite utilisée dans d’autres régions!
