Robot traitement d'images à réseau de neurones - arnaudrco/exemples GitHub Wiki

8 dépôts github : exemples-de-montages festisol CROUS-micro-python piano visio anumby jouets developpement-voiture raspberry-pico Blog ateliers numériques Repair Café d'Orsay Mots clés

Article https://www.anumby.org/jeux-de-neurones/

Le robot va-t-il reconnaître les chiffres posés sur le plateau pour jouer au Mastermind avec les enfants ?

Fabrication de robots à Bures sur Yvette

Séance de robotique à Bures sur Yvette

Test avec une télécommande

L'image est transmise sur un PC, une lumière verte s'allume sur le robot : la lettre "3" est reconnue

Opération robotique avec réseau de Neurones à Bures sur Yvette avec le Service Jeunesse ICI. Le code du programme de reconnaissance de formes du Robot Service Jeunesse 2024 pour jouer à MASTERMIND est ICI

Robot à réseau de neurones

réseau de neurones

Le code du programme de reconnaissance de formes du Robot Service Jeunesse 2023 est ici

Présentation de Chris ici

performances

Extraite du site https://qengineering.eu/deep-learning-with-raspberry-pi-and-alternatives.html

Raspberry Pi 4 B 4x Cortex-A72 CPU VideoCore VI GPU 32 GFLOPS

Sipeed Maix Go 2x RISC-V 64-bit CPU 800 MHz - 8 MB 0,5 TOPS

Intel Neural Stick 2 Intel Movidius Myriad X 16 SHAVE cores 1 TOPS

Orange Pi AI Stick Lite Lightspeeur NPU 2.8 TOPS

Le traitement neuronal est effectué par un processeur (KPU) spécifique traitant par tranches (layer) le calcul tensorflow

l'architecture complète

applications

les applis sont bluffantes pour un matériel très économique

Documentation Sipeed Maix M1s ici

https://maixhub.com/welcome

les cartes MAIX ( K210 ) fournissent des réseaux (nn) ; une application panneaux de signalisation : le robot peut reconnaître des panneaux

reconnaissance de caractères manuscripts

https://dl.sipeed.com/shareURL/MAIX/M1s/M1s_Dock/7_Firmware/demo_bin/tinymaix_mnist_demo

installation Python

Test de l'installation de maixpy3 https://github.com/sipeed/MaixPy3

J'ai installé avec pip l'utilitaire maix

pip install pybind11
python3 -m pip install pybind11 
python3 -m pip install maixpy3

Il reste des réglages à faire mais c'est renversant !

références

Nous avions des enfants ayant tous des notions de programmation. Mais comment leur expliquer les réseaux de neurones ? Un calculateur exécute un programme sur un calculateur mais pour un réseau de neurones nous avons avec tous les neurones des milliards de calculateurs. Et il n'y a pas de programmation mais un apprentissage à partir de base de données pour régler les coefficients des réseaux de neurones.

J'utilise les réseaux de neurones pour la vision des chiffres : ils peuvent servir aussi pour les formes, les contours ou le mouvement. Savez vous qu'une grenouille peut mourir de faim devant une mouche, sauf si la mouche s'envole : la grenouille qui détecte les mouvements l'attrape avec une grande précision !

Vision de la Grenouille

Les réseaux de neurones sont composés de plusieurs couches. La vision de la grenouille est un exemple de vision particulière : la grenouille analyse le mouvement et détermine ses actions : " Lorsqu'elle perçoit un petit objet sombre de forme approximativement convenable (celle d'un ver ou d'une mouche par exemple) qui pénètre dans son champ visuel et s'y déplace de manière erratique, elle lance sa langue pour l'attraper avec extraordinaire précision qu'il y ait réellement une proie ou non. Si l'objet est un peu plus gros (toujours sombre et en déplacement), elle lui saute dessus afin de le mordre (ex : un chiffon). Enfin si cet objet est trop gros, elle s'enfuit (prédateur éventuel)."

http://vision.animale.free.fr/grenouille.htm

Logiciel Pytesseract

Utilisation du logiciel Pytesseract avec un espcam et le code python testé ICI

J'ai installé avec pip pytesseract

pip install numpy 
pip install opencv-python 
sudo apt install tesseract-ocr -y
pip install pytesseract

le code python démarre avec python3

python3 webin.py

Pas encore testé sur espcam mais commence à tourner sur une webcam

Liste des ateliers ici