L’expertise du CRIM en imagerie et en intelligence artificielle pourrait aider à reconstituer une ville entière!


Sommaire : L’entreprise Jakarto Cartographie 3D a fait appel aux experts du CRIM afin de l’aider à développer un système de reconnaissance automatique d’objets de type mobilier urbain, basé sur la combinaison des données qu’elle recueille soit l’imagerie 3D, les photographies haute résolution et la géolocalisation.  Cette solution permet de bâtir des cartes détaillées de villes et de pouvoir y localiser certains objets avec un grand degré de précision.

Jakarto - Capsule Star Tech 1min58

Votre quartier recréé par ordinateur, automatiquement?


Tous connaissent Google StreetView, ce système basé sur une voiture qui sillonne les rues de la planète et prend de nombreuses photos qui sont ensuite assemblées afin de permettre à l’usager de se « promener » virtuellement dans la ville de son choix, via une plateforme de visualisation.

L’entreprise Jakarto souhaite pousser beaucoup plus loin le concept de modélisation virtuelle de l’espace urbain. Leur plateforme  vise à rendre plus efficace les processus d’inventaire ou de repérage du matériel urbain. Cette innovation faciliterait grandement le travail des employés responsables de la maintenance, de l’aménagement urbain et des achats, entre autres.

Jakarto a donc développé un système de cueillette de données très sophistiqué qui comprend 5 caméras vidéo en ultra haute définition (4K) posées sur une voiture, qui filment continuellement. De plus, un module de géolocalisation extrêmement précis est installé dans la voiture : il permet de connaître la position du véhicule sur la surface de la Terre au pouce près! Deux systèmes LIDAR (light detection and ranging) complètent l’attirail du véhicule : ils accumulent des données durant chaque déplacement et s’en servent pour bâtir un modèle 3D de la ville ou du quartier sillonné. Le LIDAR est une technologie utilisée entre autres par les voitures autonomes pour interpréter leur environnement physique.

Image fournie par Jakarto

Les images 2D fournissent une grande quantité de détails (couleurs, texte, noms de rues…). Or, il n’est pas possible de situer la position d’un objet par rapport à la caméra à partir d’une seule image en 2D. D’un autre côté, la modélisation 3D combinée à la géolocalisation du véhicule permet de situer chaque objet précisément en lui attribuant des coordonnées sur la surface de la Terre. Par contre, le modèle 3D ne donne aucune information sur les couleurs des objets ou le texte affiché dans l’espace urbain.  

L’idée de Jakarto est de combiner les images 2D haute résolution, la géolocalisation et la modélisation 3D afin de créer un modèle virtuel de la zone étudiée que chaque type d’image (2D ou 3D) aide à enrichir et à bonifier. Or,pour relier un point du modèle 3D à un point dans une image 2D, il faut connaître la position exacte et l’orientation de chaque caméra sur le véhicule, leur positionnement par rapport au LIDAR, etc. Les experts du CRIM devront exploiter cette mise en correspondance afin que chaque objet dans le modèle 3D soit relié à son équivalent dans les images 2D.

Nuage de points produit par l’équipement de Jakarto
 

Deux objectifs principaux

Le mandat du CRIM dans sa collaboration avec Jakarto est double : d’abord, l’entraînement grâce à l’apprentissage automatique (machine learning) d’un modèle qui saura détecter certains objets dans les données : mobilier urbain, bancs, lampadaires, bornes fontaines, noms de rue, panneaux de signalisation, etc. Pour ce faire, l’équipe du CRIM se sert de modèles de détection d’objets existants et s’affairera à les modifier afin de les entraîner à repérer les objets spécifiques qui seront utiles aux clients de Jakarto. Ensuite, elle travaillera à intégrer adéquatement ce module de détection dans la chaîne de traitement de données de l'entreprise.

Comment fonctionne le machine learning? 

Au lieu de concevoir une machine en établissant, par programmation, des règles qu’elle devra suivre pour trouver la réponse, le développeur intègre à la machine un algorithme d’apprentissage qui lui permettra de trouver l’association entre des informations brutes (par exemple, un groupe de pixels rouges et blancs) et l’annotation correspondante (panneau ARRÊT). Cette association s’établit durant l’étape dite d’entraînement où la machine sera exposée à des milliers d’exemples de formes à reconnaître et à leurs annotations correspondantes. Une fois l’entraînement complété, on peut alors tester le système en lui fournissant des données non annotées, pour voir s’il arrive tout de même à produire la bonne réponse (identifier un panneau ARRÊT dans une image).

Un outil de pointe pour les municipalités

Produire une solution tout-en-un permettant la visualisation du modèle virtuel d’une ville ou d’un secteur, voilà une innovation qui pourrait s’avérer fort utile pour les travailleurs municipaux. Le premier modèle du système sera bâti à partir de données récoltées dans la grande région de Montréal, mais cette technologie pourrait bien sûr être ensuite utilisée dans d’autres régions!

Équipes

Nouvelles récentes

  • Le CRIM et Ouranos officialisent leur partenariat
    25/09/2019

    Le CRIM et Ouranos sont fiers d’annoncer que le CRIM devient membre affilié d’Ouranos, le consortium sur la climatologie régionale et l’adaptation aux changements climatiques.

    +

Événement à venir

  • Séminaire R-D : Fault detection in timed FSM with timeouts by sat-solving
    24/10/19 11h00
    CRIM (405, avenue Ogilvy, bureau 101, Montréal)
    Une conférence de Omer Nguena Timo, chercheur en modélisation, test et vérification logiciel, CRIM.
    +
  • ???? CRIM sera à Hub encore - plus de détails à venir! Consultez la belle programmation: https://t.co/bBywcVcZjL Et no… https://t.co/Gq2ThC4ydr
  • CRIM was there! A pleasure to see you all! https://t.co/Ew2byIhXqH

Publications récentes

  • Forage de données géospatiales, quelques applications

    +
  • Des technologies perturbatrices pour de futures applications du bâtiment intelligent utilisant AI

    +