Introduction 

La production de la langue des signes (PLS) est un élément essentiel pour réduire les obstacles à la communication entre les personnes sourdes et entendantes. Les progrès récents de la PLS (Rastgoo et al., 2024), stimulés par la vision par ordinateur et l’apprentissage profond, conduisent à la création de nouvelles solutions pour la traduction automatique de la langue des signes. La SLP est un élément crucial des systèmes de traduction bidirectionnelle en langue des signes qui incluent la reconnaissance de la langue des signes (SLR). Alors que la SLR cherche à interpréter les gestes de la langue des signes en texte ou en parole, la SLP tente d’effectuer l’inverse, en convertissant la langue parlée en langue des signes par le biais d’avatars animés ou de synthèses vidéos (Camgoz et al., 2018). 

Malgré les progrès de la traduction automatique, la complexité des langues des signes présente des défis uniques. Contrairement à la langue parlée, les langues des signes impliquent des expressions faciales, une posture et des signes de la main, et la traduction directe en face à face est difficile (Saunders et al., 2020). En outre, les langues des signes ne disposent pas de formes écrites standard, ce qui complique encore la traduction (Duarte et al., 2020). 

Principaux développements dans la production de langues des signes 

1. Approches de traduction automatique neuronale (NMT)

Les méthodes de traduction automatique neuronale ont été utilisées dans la traduction en langue des signes. Les modèles de séquence à séquence utilisent spécifiquement des réseaux neuronaux récurrents (RNN), des transformateurs et des mécanismes d’attention pour traduire un texte en langue parlée en séquences de signes (Stoll et al., 2020). Contrairement aux méthodes conventionnelles basées sur des règles, la traduction automatique neuronale apprend les dépendances contextuelles et améliore la fluidité de la traduction (Guo et al., 2018). 

L’une des préoccupations les plus importantes dans ce domaine est la disponibilité des données. La plupart des ensembles de données de langue des signes publiés, tels que le RWTH-PHOENIX-Weather 2014T, sont trop homogènes, ce qui limite la généralisabilité des modèles SLP (Camgoz et al., 2018). D’autres ont suggéré des approches d’augmentation des données pour contrer cela, par exemple la génération de données synthétiques à l’aide de modèles génératifs profonds (Saunders et al., 2020). 

2. Approches basées sur les graphiques de mouvement et l’animation

La deuxième innovation favorable dans le SLP concerne l’animation basée sur les graphiques de mouvement, dans laquelle les données de capture de mouvement sont utilisées pour créer une animation réaliste des signes (Kovar et al., 2002). Les graphiques de mouvement permettent une transition continue entre les gestes, de sorte que l’animation devient réaliste et fluide. Ces approches nécessitent d’immenses quantités de données annotées et une intervention manuelle et sont donc moins évolutives que celles issues de l’apprentissage profond (Arikan & Forsyth, 2002). 

3. Production de langue des signes basée sur un avatar

Les avatars animés restent une méthode couramment utilisée dans le traitement de la langue des signes (SLP), en particulier dans les domaines des technologies d’assistance et des supports pédagogiques. Ces systèmes s’appuient sur des données de capture de mouvement et des corpus annotés linguistiquement pour générer des séquences de signes précises (Gibet et al., 2016). Cependant, les mouvements des avatars manquent souvent de naturel, ce qui réduit leur acceptabilité par les signants natifs (McDonald et al., 2016). 

4. Modèles de transformateur et mécanismes d’auto-attention

La disponibilité d’architectures basées sur des transformateurs, telles que Skeletal Graph Self-Attention (SGSA), a permis aux chercheurs d’obtenir plus facilement une plus grande fluidité dans les gestes de signes générés (Ben et al., 2021). L’application de mécanismes d’auto-attention permet de gérer simultanément les dépendances spatiales et temporelles de la langue des signes afin de créer des animations plus unifiées (Vaswani et al., 2017). 

Conclusion 

Le SLP est un domaine en pleine évolution qui a connu des progrès rapides grâce à l’intégration de l’apprentissage profond, des modèles génératifs et des techniques d’animation. Si les modèles actuels donnent des résultats prometteurs, des difficultés telles que la rareté des données, la variabilité des signes et la synthèse en temps réel doivent être résolues. Les progrès futurs en matière d’IA multimodale, d’augmentation des données et d’architectures de modèles efficaces seront essentiels pour rendre les systèmes SLP plus efficaces et plus accessibles.