Bolo Kan

Bolo Kan est un dispositif couplé à une application mobile qui permet de traduire la langue des signes en texte ou en audio, et inversement (texte ou audio en langue des signes).
Le dispositif est constitué d’une caméra USB, d’un micro et d’une carte Raspberry.

Lors d’une discussion, le dispositif est porté par la personne entendante. Il filme les signes faits par la personne malentendante et, grâce à un modèle de reconnaissance gestuelle basé sur l’IA, les gestes sont traduits en texte ou en audio compréhensible par la personne entendante.
Inversement, lorsque la personne entendante souhaite répondre, le dispositif capture sa voix et l’envoie via Bluetooth à l’application mobile, qui à son tour génère un avatar 3D traduisant la voix en langue des signes.

Le dispositif pourra fonctionner en deux modes :

le mode “un à un” pour les conversations simples et le mode “un à plusieurs” pour les conférences, les cours et les événements.

En plus de la traduction, l’application mobile permettra aux personnes sourdes d’apprendre plusieurs compétences pour favoriser leur insertion professionnelle et de discuter au sein d’une communauté.
Pour faciliter la communication, nous avons également intégré un chatbot utilisable sur WhatsApp, qui traduit le texte en langue des signes.

Cibles du projet :

Pour le projet Bolo Kan, nous ciblons principalement :
les personnes ayant un handicap auditif ou des troubles de la communication (elles représentent plus de 2,3 % de la population malienne selon l’Enquête démographique et de santé du Mali), leurs familles et leurs proches, les services de santé, les structures publiques, privées et d’inclusion sociale.

Au Mali, les personnes en situation de handicap auditif ou de troubles de la communication font face à de nombreuses formes d’exclusion :

Éducation : elles n’ont pas pleinement accès à l’éducation et la plupart abandonnent l’école après l’obtention du DEF, faute de pouvoir s’intégrer dans le système secondaire avec les personnes entendantes.

Santé : leur accès aux soins reste un grand défi, car elles ne peuvent pas communiquer avec les agents de santé, surtout dans les zones rurales.

Participation citoyenne : elles n’ont pas accès aux journaux télévisés ni aux autres informations faute d’interprètes. En 2024, lors du Dialogue inter-malien pour la paix et la réconciliation sociale, 80 % des personnes sourdes se sont plaintes d’avoir été exclues du dialogue pour cette raison (source : Bamadanet). Cela n’est pas surprenant, puisqu’elles n’ont même pas accès aux discours du Président de la République.

Vie sociale : l’une des premières formes d’exclusion qu’elles subissent vient souvent de la famille elle-même. Beaucoup affirment que leurs proches ne les comprennent pas ou ne les aiment pas.

Face à cette situation alarmante, nous avons décidé de mettre en place Bolo Kan (“langage de la main”), une solution ayant pour objectif de briser les barrières de communication entre les personnes entendantes et les personnes en situation de handicap auditif, pour une inclusion totale. Grâce à notre site web, nous prévoyons de collecter de l’argent afin d’aider les personnes en situation de handicap auditif dans leur combat de tous les jours.

Aspects techniques :

Pour ce projet, nous avons utilisé :

Le langage de programmation Python, la librairie OpenCV pour la vision par ordinateur, TensorFlow pour l’entraînement des modèles d’IA,
React Native pour l’application mobile, React.js pour la partie web et Blender et tinkercad pour la modélisation 3D du boîtier, imprimé grâce à une imprimante 3D.
Nous avons utilisé Tailwind CSS pour le design et les animations sur le site
Pour le backend nous avons utilisé fastApi
Chatgpt a été utilisé pour la génération du texte

Limites actuelles et perspectives :

Nos principales limites concernent :

La traduction inverse (langue des signes vers texte), la lenteur du système de traduction et la qualité de l’avatar 3D, manque de données en langue des signes pour l’entrainement de l’IA ainsi que le manque de matériels de qualité pour le prototype du dispositif

Dans les prochaines phases, nous souhaitons :

améliorer le système pour une traduction fluide et instantanée dans les deux sens, transformer le dispositif en lunettes connectées,
intégrer plusieurs langues de traduction, notamment la langue locale bambara et rendre le dispositif intelligent, facile à utiliser et offrant une meilleure expérience utilisateur afin de faciliter l’inclusion.

Nous avons développé un prototype fonctionnel qui arrive à traduire quelques mots.
L’application mobile a été développée avec react native et arrive à communiquer avec le dispositif.
Le site web de la solution est déjà fonctionnel et elle a été développée par React.js
Lors du hackathon nous avons ajouté un chatbot qui traduit le texte en langue des signes disponible sur l’application whatshApp pour faciliter la communication et il est disponible sur le numéro 79 16 58 62