Module : Kinect

La Kinect
proposé par :

  • Jean Le Feuvre, jean.lefeuvre_at_telecom-paris.fr

kinect

Descriptif
La Kinect est un capteur de mouvement développé par Microsoft, afin de servir de contrôleur de jeux à la console XBox 360. La Kinect communique avec la console via USB 2.0, et peut par conséquent communiquer avec tout appareil supportant le protocole USB 2.0.
Ressources
  • Logiciel Java associé : Un logiciel libre permettant de dialoguer avec la Kinect depuis un programme Java a été créé à Telecom ParisTech. Ce logiciel utilise les drivers open-source freenect et la librairie JavaCV, surcouche Java autour de OpenCV ( librairie d’outils pour la vision par ordinateur).Les instructions pour installer JavaCV et OpenCV sont disponibles ici: InstallationJavaCV_Kinect.Les pilotes OpenKinect pour Windows sont disponibles ici: freenect_win32.Une application Java montrant comment manipuler les données vidéo (couleur et profondeur) est disponible (KinectGrabber.java). Attention, cette application ne fait pas la calibration des vues profondeur et couleur, les images restent légèrement décalées.Resources Bibliographiques :OpenKinect : implémentation libre des pilotes logiciels de dialoguer avec la Kinect depuis un ordinateur. Vous trouverez sur ce site de nombreuses ressources liées à la Kinect.OpenNI : utilitaires de développement pour les interactions homme-machine, avec entre autre un support pour la Kinect, utilisé pour la version 2 de la Kinect.
  • Vous trouverez de nombreuses ressources bibliographiques traitant de la Kinect sur internet, ainsi que de nombreux exemples d’applications utilisant ce capteur.
Exemples d’utilisation du module
La Kinect ne fournit comme information que les trames vidéo et profondeur. Un système utilisant la Kinect à par conséquent besoin d’une composante logicielle importante pour analyser ces images afin d’en extraire des informations utiles à l’application, par exemple:

  • détection et suivi des mains, reconnaissance des gestes
  • détection du nombre de personnes
  • analyse de la position d’un corps et calcul du « squelette » ou ensemble de points nécessaires à l’animation d’un avatar.
  • permettre la visualisation en relief de la scène filmée
Objectifs Pédagogiques
  • Capteurs : Principe de base du fonctionnement de la Kinect.
  • Traitement d’image: comprendre les formats images et vidéos, de couleurs et les notions de seuillage et de segmentation.
Résultats attendus
  • PAN1 :
    • Principes de bases du fonctionnement de la kinect
    • Expliquer les interfaces entre Kinect et votre programme
  • PAN2:
    • Premiers tests de lecture depuis la Kinect.
  • PAN3:
    • Lecture et seuillage en profondeur depuis la Kinect.
  • PAN4:
    • Analyser comment la Kinect est intégrée dans le prototype final, quelles pistes d’amélioration seraient possibles ?

Laisser un commentaire