Robot traitement d'images à réseau de neurones - arnaudrco/exemples GitHub Wiki

8 dépôts github : exemples-de-montages festisol CROUS-micro-python piano visio anumby jouets developpement-voiture raspberry-pico Blog ateliers numériques Repair Café d'Orsay Mots clés

Article https://www.anumby.org/jeux-de-neurones/

Le robot va-t-il reconnaître les chiffres posés sur le plateau pour jouer au Mastermind avec les enfants ?

image

Fabrication de robots à Bures sur Yvette

image

Séance de robotique à Bures sur Yvette

image

Test avec une télécommande

image

L'image est transmise sur un PC, une lumière verte s'allume sur le robot : la lettre "3" est reconnue

image

Opération robotique avec réseau de Neurones à Bures sur Yvette avec le Service Jeunesse ICI. Le code du programme de reconnaissance de formes du Robot Service Jeunesse 2024 pour jouer à MASTERMIND est ICI

Robot à réseau de neurones

réseau de neurones

image

Le code du programme de reconnaissance de formes du Robot Service Jeunesse 2023 est ici

image

Présentation de Chris ici

performances

Extraite du site https://qengineering.eu/deep-learning-with-raspberry-pi-and-alternatives.html

Raspberry Pi 4 B 4x Cortex-A72 CPU VideoCore VI GPU 32 GFLOPS

Sipeed Maix Go 2x RISC-V 64-bit CPU 800 MHz - 8 MB 0,5 TOPS

Intel Neural Stick 2 Intel Movidius Myriad X 16 SHAVE cores 1 TOPS

Orange Pi AI Stick Lite Lightspeeur NPU 2.8 TOPS

Le traitement neuronal est effectué par un processeur (KPU) spécifique traitant par tranches (layer) le calcul tensorflow

image

l'architecture complète

image

applications

les applis sont bluffantes pour un matériel très économique

Documentation Sipeed Maix M1s ici image

https://maixhub.com/welcome

les cartes MAIX ( K210 ) fournissent des réseaux (nn) ; une application panneaux de signalisation : le robot peut reconnaître des panneaux

image

reconnaissance de caractères manuscripts

https://dl.sipeed.com/shareURL/MAIX/M1s/M1s_Dock/7_Firmware/demo_bin/tinymaix_mnist_demo

installation Python

Test de l'installation de maixpy3 https://github.com/sipeed/MaixPy3

image

J'ai installé avec pip l'utilitaire maix

pip install pybind11
python3 -m pip install pybind11 
python3 -m pip install maixpy3

Il reste des réglages à faire mais c'est renversant !

image

références

Nous avions des enfants ayant tous des notions de programmation. Mais comment leur expliquer les réseaux de neurones ? Un calculateur exécute un programme sur un calculateur mais pour un réseau de neurones nous avons avec tous les neurones des milliards de calculateurs. Et il n'y a pas de programmation mais un apprentissage à partir de base de données pour régler les coefficients des réseaux de neurones.

J'utilise les réseaux de neurones pour la vision des chiffres : ils peuvent servir aussi pour les formes, les contours ou le mouvement. Savez vous qu'une grenouille peut mourir de faim devant une mouche, sauf si la mouche s'envole : la grenouille qui détecte les mouvements l'attrape avec une grande précision !

image

Vision de la Grenouille

Les réseaux de neurones sont composés de plusieurs couches. La vision de la grenouille est un exemple de vision particulière : la grenouille analyse le mouvement et détermine ses actions : " Lorsqu'elle perçoit un petit objet sombre de forme approximativement convenable (celle d'un ver ou d'une mouche par exemple) qui pénètre dans son champ visuel et s'y déplace de manière erratique, elle lance sa langue pour l'attraper avec extraordinaire précision qu'il y ait réellement une proie ou non. Si l'objet est un peu plus gros (toujours sombre et en déplacement), elle lui saute dessus afin de le mordre (ex : un chiffon). Enfin si cet objet est trop gros, elle s'enfuit (prédateur éventuel)."

http://vision.animale.free.fr/grenouille.htm

image

Logiciel Pytesseract

Utilisation du logiciel Pytesseract avec un espcam et le code python testé ICI

image

J'ai installé avec pip pytesseract

pip install numpy 
pip install opencv-python 
sudo apt install tesseract-ocr -y
pip install pytesseract

le code python démarre avec python3

python3 webin.py

Pas encore testé sur espcam mais commence à tourner sur une webcam

image

  1. Projet Anumby
  2. Cas d'utilisation pour le développement logiciel
  3. Robot Service Jeunesse 2023
  1. Robot coloré à ultrason Festisol 2022
  2. Robot Service Jeunesse 2022
  3. Robot tournesol Festisol 2021
  4. Robot éclairé Festisol 2021
  5. Électronique du kit
  6. Connectique du kit
  7. Tableau de correspondance GPIO
  8. Capteurs
  9. Atelier Bois pour capteur ultrason
  10. Derniers projets
  11. Archives
  12. Video
  13. Mode d'emploi pour ajouter des animations
  14. Mode d'emploi pour utiliser le processeur ULP

Liste des ateliers ici