L’expertise du CRIM en imagerie et en intelligence artificielle pourrait aider à reconstituer une ville entière!


Sommaire : L’entreprise Jakarto Cartographie 3D a fait appel aux experts du CRIM afin de l’aider à développer un système de reconnaissance automatique d’objets de type mobilier urbain, basé sur la combinaison des données qu’elle recueille soit l’imagerie 3D, les photographies haute résolution et la géolocalisation.  Cette solution permet de bâtir des cartes détaillées de villes et de pouvoir y localiser certains objets avec un grand degré de précision.
 

Votre quartier recréé par ordinateur, automatiquement?


Tous connaissent Google StreetView, ce système basé sur une voiture qui sillonne les rues de la planète et prend de nombreuses photos qui sont ensuite assemblées afin de permettre à l’usager de se « promener » virtuellement dans la ville de son choix, via une plateforme de visualisation.

L’entreprise Jakarto souhaite pousser beaucoup plus loin le concept de modélisation virtuelle de l’espace urbain. Leur plateforme  vise à rendre plus efficace les processus d’inventaire ou de repérage du matériel urbain. Cette innovation faciliterait grandement le travail des employés responsables de la maintenance, de l’aménagement urbain et des achats, entre autres.

Jakarto a donc développé un système de cueillette de données très sophistiqué qui comprend 5 caméras vidéo en ultra haute définition (4K) posées sur une voiture, qui filment continuellement. De plus, un module de géolocalisation extrêmement précis est installé dans la voiture : il permet de connaître la position du véhicule sur la surface de la Terre au pouce près! Deux systèmes LIDAR (light detection and ranging) complètent l’attirail du véhicule : ils accumulent des données durant chaque déplacement et s’en servent pour bâtir un modèle 3D de la ville ou du quartier sillonné. Le LIDAR est une technologie utilisée entre autres par les voitures autonomes pour interpréter leur environnement physique.

Image fournie par Jakarto

Les images 2D fournissent une grande quantité de détails (couleurs, texte, noms de rues…). Or, il n’est pas possible de situer la position d’un objet par rapport à la caméra à partir d’une seule image en 2D. D’un autre côté, la modélisation 3D combinée à la géolocalisation du véhicule permet de situer chaque objet précisément en lui attribuant des coordonnées sur la surface de la Terre. Par contre, le modèle 3D ne donne aucune information sur les couleurs des objets ou le texte affiché dans l’espace urbain.  

L’idée de Jakarto est de combiner les images 2D haute résolution, la géolocalisation et la modélisation 3D afin de créer un modèle virtuel de la zone étudiée que chaque type d’image (2D ou 3D) aide à enrichir et à bonifier. Or,pour relier un point du modèle 3D à un point dans une image 2D, il faut connaître la position exacte et l’orientation de chaque caméra sur le véhicule, leur positionnement par rapport au LIDAR, etc. Les experts du CRIM devront exploiter cette mise en correspondance afin que chaque objet dans le modèle 3D soit relié à son équivalent dans les images 2D.

Nuage de points produit par l’équipement de Jakarto
 

Deux objectifs principaux

Le mandat du CRIM dans sa collaboration avec Jakarto est double : d’abord, l’entraînement grâce à l’apprentissage automatique (machine learning) d’un modèle qui saura détecter certains objets dans les données : mobilier urbain, bancs, lampadaires, bornes fontaines, noms de rue, panneaux de signalisation, etc. Pour ce faire, l’équipe du CRIM se sert de modèles de détection d’objets existants et s’affairera à les modifier afin de les entraîner à repérer les objets spécifiques qui seront utiles aux clients de Jakarto. Ensuite, elle travaillera à intégrer adéquatement ce module de détection dans la chaîne de traitement de données de l'entreprise.

Comment fonctionne le machine learning? 

Au lieu de concevoir une machine en établissant, par programmation, des règles qu’elle devra suivre pour trouver la réponse, le développeur intègre à la machine un algorithme d’apprentissage qui lui permettra de trouver l’association entre des informations brutes (par exemple, un groupe de pixels rouges et blancs) et l’annotation correspondante (panneau ARRÊT). Cette association s’établit durant l’étape dite d’entraînement où la machine sera exposée à des milliers d’exemples de formes à reconnaître et à leurs annotations correspondantes. Une fois l’entraînement complété, on peut alors tester le système en lui fournissant des données non annotées, pour voir s’il arrive tout de même à produire la bonne réponse (identifier un panneau ARRÊT dans une image).

Un outil de pointe pour les municipalités

Produire une solution tout-en-un permettant la visualisation du modèle virtuel d’une ville ou d’un secteur, voilà une innovation qui pourrait s’avérer fort utile pour les travailleurs municipaux. Le premier modèle du système sera bâti à partir de données récoltées dans la grande région de Montréal, mais cette technologie pourrait bien sûr être ensuite utilisée dans d’autres régions!

Équipes

Nouvelles récentes

  • Le CRIM partie prenante d'un vaste projet technologique autour des langues autochtones canadiennes!
    05/12/2018

    Le CRIM est fier d’annoncer le début d’une collaboration à long terme avec le Conseil national de recherches du Canada (CNRC) dans le cadre d’un projet visant à encourager la revitalisation et la préservation des langues autochtones grâce aux technologies

    +

Événement à venir

  • HASE 2019
    3/01/19 2019h00
    Hangzhou, China
    Le CRIM présentera deux articles à la 19e édition du IEEE International Symposium on High Assurance Systems Engineering, qui se déroulera du 3 au 5 janvier 2019 à Hangzhou, Chine
    +
  • Montréal International RT @MTLINTL: #DYK Montréal has one of the deepest #AI talent pools in the world ???? More details ???? https://t.co/R073su8k8z #NeurIPS #NeurIPS2…
  • Tom Landry RT @Tom_Landry_: Hey @opengeospatial and @CRIM_ca ! Poster is set up at #AGU18 to present (draft) work of #MachineLearning task of Testbed-…

Publications récentes

  • Towards Automatic Feature Extraction for Activity Recognition from Wearable Sensors: A Deep Learning Approach

    +
  • Checking Sequence Generation for Symbolic Input/Output FSMs by Constraint Solving

    +