RAAM 1.1 : Méthodologie de test

Évaluation de la conformité à la norme de référence

Cadre général

Afin d’évaluer la conformité de l’application mobile avec la norme de référence, l’organisme doit conduire un audit d’accessibilité. L’audit (ou évaluation) peut être effectué par l’organisme lui-même (auto-évaluation) ou par un tiers. L’évaluation est réalisée sur un échantillon d’écrans représentatif de l’application.

La vérification de la conformité des écrans de l’échantillon d’une application mobile avec les critères applicables s’effectue à l’aide du référentiel d’évaluation de l’accessibilité des applications mobiles (RAAM).

La phase finale de l’audit est la déclaration d’accessibilité qui rend compte de la conformité avec les règles applicables.

L’audit (ou évaluation) répond aux critères suivants :

  • il est fiable : il revient à l’organisme concerné de veiller à la fiabilité de sa déclaration par tous moyens (recours à un prestataire externe, formation d’experts internes, audits croisés…) ;
  • il est représentatif : il porte sur un échantillon représentatif (cf. section « Échantillon » ci-dessous).

Il est possible de recourir à une autre méthode de tests, à une triple condition :

  • s’assurer que la méthode de test utilisée est communicable sur demande à un utilisateur ou à une administration ;
  • produire une table de correspondance explicite entre les critères et tests et la norme de référence choisie ;
  • l’indiquer dans la déclaration d’accessibilité.

Échantillon

L’échantillon sur lequel est réalisé l’audit d’une application mobile porte au moins sur les écrans suivants, lorsqu’ils existent :

  1. l’écran d’accueil ;
  2. l’écran des mentions légales ;
  3. l’écran ou le processus d’authentification ;
  4. l’écran de contact ;
  5. les écrans qui constituent la documentation de l’application ;
  6. au moins un écran pertinent pour chaque type de service fourni et toute autre utilisation principale prévue (ex. : rubriques de 1er niveau dans l’arborescence), y compris la fonctionnalité de recherche ;
  7. au moins un document téléchargeable pertinent, le cas échéant, pour chaque type de service fourni et pour toute autre utilisation principalement prévue ;
  8. l’ensemble des écrans constituant un processus (par exemple, un formulaire de saisie ou une transaction sur plusieurs écrans) ; des exemples d’écrans ayant un aspect sensiblement distinct ou présentant un type de contenu différent (ex. : écran contenant des tableaux de données, des éléments multimédia, des illustrations, des formulaires, une fonctionnalité de communication en temps réel, etc.).

La sélection des écrans audités ainsi que leur nombre doivent être représentatifs de l’application mobile. Le nombre de visiteurs par écran peut notamment être pris en compte lors de la constitution de l’échantillon.

Enfin, s’ajoutent des écrans sélectionnés au hasard représentant au moins 10 % des écrans de l’échantillon décrit supra.

Environnement de test (ou « base de référence »)

Contrairement aux contenus web pour lesquels il est possible d’inspecter le code source afin de déterminer la présence d’éléments et d’attributs, il est très difficile pour les applications mobiles de procéder de la même manière. D’une part, parce que cela demanderait des compétences techniques élevées (on accède au logiciel, mais rarement à son code contrairement à un site web). D’autre part, parce que contrairement au web et aux technologies (HTML/CSS/JavaScript) il existe une diversité d’environnements de développement qui rend difficile la définition d’une liste de tests basée sur la revue de code.

Une certaine partie des tests du référentiel d’évaluation de l’accessibilité des applications mobiles se réalise avec les technologies d’assistance mises à disposition sur les plateformes.

Définition de l’environnement de test

Pour valider ces critères, il convient de définir un environnement de test (ou « base de référence »). Par défaut, il est composé des plateformes et technologies d’assistance majoritairement utilisées par les personnes en situation de handicap.

Pour réaliser les tests d’évaluation dans le cadre du RAAM, il est nécessaire de prendre en compte l’environnement de test du RAAM pour l’évaluation d’applications mobiles.

Cet environnement de test minimal peut être complété, le cas échéant, par des solutions libres et gratuites disponibles ou par des technologies plus anciennes, en fonction de l’usage du site ou de l’application mobile. Lorsqu’il est possible de connaître la configuration des postes de travail, ainsi que le matériel utilisé, la base de référence est alors constituée des services réellement utilisés dans cet environnement.

Test des écrans

Chaque écran de l’échantillon doit être vérifié au regard des critères qui lui sont applicables.

Il existe 3 raisons pour qu’un critère ne soit pas applicable à un écran :

  1. Le critère concerne un contenu ou une fonctionnalité qui n’existe pas, par exemple si l’écran ne comporte pas de vidéo, les critères liés aux vidéos ne seront pas applicables.
  2. Le critère concerne un contenu ou un service exempté qui n’est donc pas soumis à l’obligation d’accessibilité.
  3. Le critère concerne un contenu soumis à dérogation pour charge disproportionnée qui est accompagné d’une alternative numérique accessible. Par exemple, un tableau statistique avec des graphiques, qui propose une alternative numérique en texte. Dans ce cas les critères applicables au contenu soumis à dérogation seront non applicables. À noter : si le contenu soumis à dérogation pour charge disproportionnée ne propose pas d’alternative numérique accessible, les critères concernant ce contenu sont considérés comme applicables.

Les écrans sont ensuite testés au regard des critères applicables. Ces tests permettent d’obtenir :

  • le nombre de critères validés et non validés pour chaque écran
  • le taux de conformité de chaque écran.

À noter :

  • un critère est validé pour un écran donné lorsque tous les éléments de l’écran ont passé avec succès les tests permettant de valider le critère ;
  • dès lors qu’un seul élément de l’écran ne valide pas les tests d’un critère, le critère ne peut être validé ;
  • si l’écran fait partie d’un processus (faire une déclaration, participer à une consultation publique, prendre un rendez-vous), un critère est validé pour un écran du processus uniquement s’il est validé pour tous les écrans du processus.

Certains critères ou thématiques sont applicables à l’ensemble de l’application et non à un écran particulier, il n’est donc pas nécessaire de les évaluer sur tous les écrans de l’échantillon. Dans ce cas, ils peuvent par exemple être évalués sur un seul écran de l’échantillon et être considérés comme non applicables sur tous les autres écrans. Cette méthodologie permettant de rapporter les résultats de l’évaluation de ces critères est bien entendu optionnelle. Quelle que soit la méthodologie choisie, il n’y aura pas d’impact sur le taux de conformité global de l’application. C’est notamment le cas pour les critères et thématiques suivantes :

  • La thématique « 12. Documentation et fonctionnalités d’accessibilité »
  • La thématique « 14. Services d’assistance »

Taux de conformité à la norme

Le taux de conformité permet de mesurer les progrès du service en ligne eu égard à la conformité aux exigences d’accessibilité.

Ce taux indique le pourcentage de critères respectés du service en ligne.

Le pourcentage de critères respectés s’obtient en divisant le nombre de critères validés par le nombre de critères applicables.

  • Critère validé : un critère est validé s’il est validé sur tous les écrans de l’échantillon. Si un critère est invalidé sur un seul écran de l’échantillon, il ne pourra pas être considéré comme valide pour le calcul du taux.
  • Critère applicable : pour qu’un critère soit applicable, il suffit qu’il le soit sur un seul écran de l’échantillon. Ce qui a pour corollaire qu’un critère est non applicable s’il est non applicable sur tous les écrans de l’échantillon sans exception.

Ce taux de conformité détermine l’état de conformité à mentionner dans la déclaration d’accessibilité.

Principe de non-interférence

Dans un échantillon d’audit, il peut y avoir des contenus qui ne sont pas soumis à l’obligation de mise en accessibilité :

Il est indispensable de s’assurer que ces contenus n’empêchent pas les utilisateurs d’accéder au reste de l’écran ou de l’application.

Ainsi, bien que la conformité de ces contenus ne soit pas requise, il reste obligatoire qu’ils se conforment aux critères et tests suivants :

  • Critère 3.12 : Chaque séquence sonore déclenchée automatiquement est-elle contrôlable par l’utilisateur ?
  • Critère 10.3 : Dans chaque écran, la navigation ne doit pas contenir de piège au clavier. Cette règle est-elle respectée ?
  • Critère 11.1 : Pour chaque écran, l’utilisateur a-t-il le contrôle de chaque limite de temps modifiant le contenu (hors cas particuliers) ?
  • Critère 11.7 : Dans chaque écran, les changements brusques de luminosité ou les effets de flash sont-ils correctement utilisés ?
  • Critère 11.8 : Dans chaque écran, chaque contenu en mouvement ou clignotant est-il contrôlable par l’utilisateur ?

Le non-respect de l’un de ces critères ou tests pour l’un des types de contenus énumérés rend le ou les critères correspondants non conformes.

Le principe de non-interférence est identifié dans la norme EN 301 549 au critère 9.6 WCAG conformance requirements.

Éléments de méthodologie

Contrairement aux contenus web pour lesquels il est possible d’inspecter le code source afin de déterminer la présence d’éléments ou d’attributs, il est très difficile pour les applications mobiles de procéder de la même manière. D’une part, parce que cela demanderait des compétences techniques élevées (on accède au logiciel, mais rarement à son code contrairement à un site web). D’autre part, parce que contrairement au web et aux technologies HTML / CSS / JavaScript il existe une diversité d’environnements de développement qui rend difficile la définition d’une liste de tests basée sur la revue de code.

C’est la raison pour laquelle l’approche choisie est de tester la présence de certains éléments au travers d’outils spécialisés (inspecteurs d’interfaces, technologies d’assistance, commutateurs externes) ou directement sur l’interface elle-même.

Par exemple, lorsque l’interface contient un élément graphique porteur d’information, le critère demande de vérifier qu’une alternative est disponible et pertinente sans donner plus de précisions sur les techniques à employer pour mettre à disposition une alternative à un élément graphique. Afin d’aider pour l’évaluation, chaque critère dispose d’une méthodologie pratique (qui n’est pas normative) exposant une méthode possible d’évaluation du critère.

Nous vous renvoyons également aux documentations des éditeurs de langage et de logiciels de création d’application dans lesquelles se trouvent les dispositifs à respecter, les propriétés à utiliser et pour certains des outils spécialisés pour inspecter l’interface ou le code.

Ressources des éditeurs

Android

iOS

  • Accessibilité iOS : description des technologies d’assistance et des fonctionnalités d’accessibilité présentes sur les systèmes iOS.
  • Human Interface Guidelines : Principes généraux d’accessibilité des interfaces d’applications mobiles sur iOS.
  • Vidéos et tutoriels  : ensemble de vidéos offrant des démonstrations de technologies d’assistance disponibles sur iOS ou présentant des méthodes techniques de développement pour prendre en compte l’accessibilité.

Outils d’évaluation

Pour évaluer les critères du référentiel, il va être utile de réaliser des tests en manipulant les paramètres et technologies d’assistance des plateformes.

Il ne s’agit pas dans cette section de fournir une documentation exhaustive ni des explications détaillées sur la prise en main de ces éléments. Néanmoins, les éléments essentiels pour une démarche d’évaluation sont listés, en pointant vers les documentations officielles quand cela est possible et en fournissant des aides à la configuration ou compréhension si nécessaire.

Lecteur d’écran

Le lecteur d’écran est un des outils qui sera le plus utilisé pour l’évaluation de l’accessibilité des applications. Les lecteurs d’écran sont utilisés principalement par les personnes aveugles ou malvoyantes pour interagir avec une application.

Certains critères demandent d’évaluer la compatibilité des composants avec les technologies d’assistance (dont le lecteur d’écran), mais le lecteur d’écran est aussi utilisé pour évaluer des critères qui impactent également d’autres technologies d’assistance.

Les méthodes de navigation privilégiées sont la méthode par gestes ou la navigation combinée avec un clavier externe. Les deux méthodes produisent les mêmes effets.

VoiceOver sur iOS

VoiceOver est le lecteur d’écran intégré à iOS.

Documentation

Pour prendre en main VoiceOver, nous vous renvoyons vers la documentation officielle qui détaille les premiers pas pour l’activation et l’utilisation des gestes.

Affichage de la sortie vocale

Il est utile de pouvoir visualiser la sortie vocale. Dans iOS vous avez la possibilité d’activer le panneau légende, qui affiche sous format texte en bas de l’écran les annonces de VoiceOver. Pour cela, aller dans Réglages > Accessibilité > VoiceOver et en bas de l’écran des paramètres activer le paramètre « Panneau légende ».

TalkBack sur Android

TalkBack est le lecteur d’écran intégré à Android. Afin de profiter de plus d’options, il peut être nécessaire d’installer une application tierce (développée par Android) : Outils d’accessibilité Android.

Documentation

Pour prendre en main TalkBack, nous vous renvoyons vers la documentation officielle qui détaille les premiers pas pour l’activation et l’utilisation des gestes.

Affichage de la sortie vocale

Il est utile de pouvoir visualiser la sortie vocale. Dans TalkBack vous avez la possibilité d’activer un paramètre qui affiche sous format texte en bas de l’écran les annonces de TalkBack. Pour cela, aller dans Paramètres > Accessibilité > TalkBack > Paramètres > Paramètres avancés > Paramètres du développeur et activer le paramètre « Afficher la sortie vocale ».

Selon la version d’Android utilisée, il est possible que le chemin vers le paramètre « Afficher la sortie vocale » de TalkBack ne soit pas exactement le même.

Clavier externe

Les utilisateurs et utilisatrices avec un handicap moteur ne pourront pas toutes et tous utiliser l’interface tactile, il leur sera alors indispensable d’interagir au travers d’un commutateur externe : clavier ou autre périphérique externe.

Afin de tester les critères relatifs à l’utilisation des applications avec un clavier externe, il va être nécessaire de brancher un dispositif externe au terminal et paramétrer quelques éléments dans les plateformes.

iOS

Afin de permettre le contrôle du terminal par un clavier externe, il est nécessaire d’activer l’option « Accès clavier complet ». Pour cela, aller dans Réglages > Accessibilité > Claviers > Accès clavier complet et activer « Accès clavier complet »

iOS permet de spécifier un style de focus pour les utilisateurs qui utilisent un périphérique externe (Réglages > Accessibilité > Clavier > Accès complet au clavier). L’utilisateur peut choisir :

  • de la masquer automatiquement au bout d’un temps paramétrable ;
  • d’augmenter la taille de la prise de focus ;
  • d’augmenter le contraste ;
  • la couleur.
Android

L’utilisation d’un clavier externe avec Android peut se faire de plusieurs façons, et la norme EN 301 549 n’impose pas de méthode.

Accès clavier seul

La méthode la plus simple est de connecter un clavier externe en USB ou Bluetooth au terminal mobile, et de réaliser les tests sans aucun paramétrage.

Vous pouvez consulter la liste des raccourcis clavier disponibles pour Android afin de naviguer efficacement.

Accès clavier avec un service d’accessibilité

Si les tests ne sont pas satisfaisants, il est possible de réaliser des tests complémentaires en utilisant le service d’accessibilité Switch Access.

Un guide vous permet de configurer pas à pas votre clavier externe en définissant des commutateurs, il est disponible dans Préférences > Accessibilité > Switch Access > Paramètres > Ouvrir le guide de configuration. Vous allez associer deux actions :

  • Passer à l’option suivante : appuyez sur la touche du clavier que vous souhaitez associer (nous vous recommandons Tab pour conserver les touches utilisées lors de la navigation sur un ordinateur).
  • Sélectionner : appuyez sur la touche du clavier que vous souhaitez associer (nous vous recommandons Entrée pour conserver les touches utilisées lors de la navigation sur un ordinateur).

Une fois la première étape de configuration terminée (avec le guide de configuration), il sera nécessaire de paramétrer d’autres touches de navigation :

  • Switch Access > Paramètres > Attribuer des commutateurs pour la recherche_ : Associer le paramètre Passer à l’option précédente avec une touche ou combinaison de touches (nous vous recommandons Shift + Tab)
  • Switch Access > Paramètres > Attribuer des commutateurs à des actions_ : Associer le paramètre Retour avec une touche ou combinaison de touches (nous vous recommandons ESC)

Applications de tests

iOS (macOS)

Certains éléments de méthodologie vous proposeront plusieurs méthodes de test, souvent en alternative aux technologies d’assistance pour évaluer des éléments. Avec iOS, il est possible de brancher le terminal sur un ordinateur avec macOS et d’utiliser l’application Accessibility Inspector.

Accessibility Inspector est disponible depuis le logiciel Xcode utilisé pour le développement d’applications mobiles. Cet outil est utile pour réaliser certains tests. Pour l’activer, lancer Xcode, puis depuis Xcode, suivre le chemin Xcode > Open Developer Tool > Accessibility Inspector.

Android

Pour réaliser certains tests sur des applications Android, des applications tierces sont requises ou pourront vous aider dans l’évaluation.

  • Outils d’accessibilité Android : application Android permettant d’ajouter notamment des options et des gestes au lecteur d’écran Talkback.
  • Accessibility Scanner : application Android permettant de réaliser des tests automatiques pour certains critères. Une fois installé, accéder à l’application depuis Paramètres > Accessibilité > Services installés > Accessibility Scanner.
iOS et Android

Modifier la taille de police sur iOS

Dans iOS, il est possible d’afficher une jauge des tailles de textes qui donne la valeur du ratio d’agrandissement. Pour cela, il faut ajouter le paramètre « Taille du texte » au centre de contrôle.

Selon la version d’iOS, il existe des méthodes différentes pour personnaliser le centre de contrôle et ainsi ajouter le paramètre « Taille du texte ». La documentation officielle les détaille pour les versions iOS 12 à 18.

On peut constater que le paramètre permet d’atteindre 190% ou 235% d’agrandissement, mais jamais 200%, ce palier n’existe pas pour l’instant. 190% étant plus proche de 200%, c’est la valeur que la méthodologie suggère de tester.

Diffuser l’écran du terminal mobile

La diffusion de l’écran du terminal mobile sur votre ordinateur peut vous permettre d’enregistrer certaines interactions et de faire des captures d’écran lorsque vous devez rédiger des rapports d’audit. La diffusion peut également être utile pour faire des démonstrations au cours de restitution d’audit.

La diffusion du terminal mobile n’est pas un requis indispensable pour l’évaluation des applications, elle est néanmoins utile puisqu’elle peut faciliter certaines activités d’évaluation.

iOS
Vous disposez d’un ordinateur avec macOS
  1. Connecter le terminal iOS à l’ordinateur macOS par le câble USB.
  2. Ouvrir le logiciel QuickTime et dans le menu Fichier, sélectionner « Nouvel enregistrement vidéo ».
  3. Une fenêtre s’ouvre, si elle diffuse l’image en provenance de la caméra de votre ordinateur, cliquer à droite du bouton rouge d’enregistrement pour modifier la source à diffuser et choisir votre terminal.
  4. L’écran de votre terminal mobile s’affiche maintenant sur votre ordinateur.
Vous disposez d’un ordinateur avec Windows

Il existe un certain nombre de logiciels (gratuits ou payants) permettant de diffuser le terminal iOS sur un ordinateur Windows.

Android

Il existe une application open source qui permet de diffuser une application Android sur Windows et macOS : SCRCPY.

Sur environnement macOS, son installation peut demander quelques connaissances techniques. Sur Windows, il s’utilise comme un applicatif standard. Néanmoins il n’est pas indispensable que vous projetiez votre terminal mobile, vous pouvez vous passer de cette installation (une autre méthode est détaillée après dans le document).

Si vous disposez d’un ordinateur avec Windows, Windows met à disposition une fonctionnalité « Se connecter » intégrée pour diffuser certaines sources externes. Voir la documentation.

Réaliser des captures d’écran

Si la diffusion des terminaux mobiles sur l’écran d’ordinateur est impossible, une alternative satisfaisante est de réaliser des captures d’écrans depuis votre terminal mobile et d’importer ensuite ces captures, par la méthode de votre choix, sur votre ordinateur.

Pour les critères 2.2, 2.3 et 2.4 pour l’évaluation des contrastes, nous vous invitons fortement à privilégier cette méthode de capture des écrans de sorte à pouvoir évaluer précisément les tailles des textes. En effet, la capture d’écran depuis le terminal garantit des proportions préservées contrairement à une capture qui serait faite depuis un terminal projeté sur un environnement de bureau.

Importer des captures d’écrans sur l’ordinateur

De manière générale, indépendamment de la plateforme mobile ou de l’environnement de bureau, la méthode principale pour faciliter le transit des photos depuis le terminal mobile vers l’ordinateur de bureau est de paramétrer un utilitaire de sauvegarde de photos en ligne sur le terminal mobile, comme peuvent le faire par exemple des services tels que Dropbox, OneDrive ou Google (Photos ou Drive), et accéder à la sauvegarde depuis l’ordinateur de bureau.

Il peut ensuite exister des méthodes spécifiques en fonction des plateformes :

  • Depuis iOS vers macOS : la fonctionnalité AirDrop.
  • Depuis iOS vers macOS et Windows : la solution iCloud. Cette méthode fonctionne aussi bien avec macOS que Windows.
  • Depuis Android vers macOS : la solution MacDroid.
  • Depuis Android ou iOS vers Windows : la connexion directe par USB.

D’autres utilitaires peuvent convenir, la présente liste n’est pas exhaustive.

Évaluer la taille d’un texte

Si lors des évaluations, la taille de certains textes n’est pas évidente (par exemple, il n’est pas évident à l’évaluation à l’œil nu que tel texte soit en taille normale ou taille agrandie), alors il sera nécessaire de la mesurer pour déterminer le rapport de contraste minimum requis. Voici une méthodologie qui permet d’obtenir cette mesure :

  1. Déterminer la taille de l’écran du terminal de test :
  • activer Safari (sous iOS) ou Chrome (sous Android) et naviguer jusqu’à https://www.mydevice.io ;
  • repérer la valeur JS screen.width (qui correspond à la largeur physique de l’écran).
  1. Réinitialiser la taille de la police par défaut dans l’application pour évaluer le texte à 100%.
  • Dans iOS, le plus simple est de passer par la jauge disponible dans le centre de contrôle pour rétablir la taille à 100%.
  • Dans Android, s’il existe dans l’écran des paramètres de taille (Paramètres > Accessibilité > Taille de la police), activez la fonction permettant de réinitialiser la taille de la police. Sinon, réduire la taille pour atteindre le premier ou le second pas de la jauge, selon la taille initiale.
  1. Réaliser une capture d’écran depuis le terminal mobile et l’importer sur l’ordinateur (voir ci-dessus, c’est la méthode à privilégier afin de garantir que les tailles seront préservées).
  2. Ouvrir la capture dans un logiciel de retouche d’images :
  • Sur macOS, ouvrir la capture avec le logiciel « Aperçu » :
    • dans le menu « Outils » choisir « Ajuster la taille » ;
    • paramétrer les unités en pixels ;
    • dans le champ « largeur » inscrire la valeur de la largeur de l’écran déterminée précédemment.
  • Sur Windows, ouvrir la capture avec le logiciel « Paint » :
    • dans la barre d’outils, choisir l’option « Redimensionner » ;
    • paramétrer les unités en pixels ;
    • dans le champ « Horizontal » inscrire la valeur de la largeur de l’écran déterminée précédemment.
  1. Repérer dans l’écran les textes, les textes contenus dans des éléments graphiques et les textes incrustés dans les vidéos qui pourraient poser des problèmes de contraste et déterminer leur taille :
  • depuis la capture d’écran ouverte dans le logiciel de retouche, activer l’outil de sélection rectangulaire ;
  • dessiner un rectangle autour du texte pour lequel vous souhaitez déterminer la taille :
    • le mieux est de démarrer depuis une majuscule, sinon d’inclure une lettre du type « d », « t » ou « b » ;
    • vous pouvez zoomer sur la capture d’écran pour réaliser la sélection la plus précise possible, cela n’influe pas sur le calcul de la hauteur.
  • repérer dans le logiciel la hauteur du rectangle ainsi défini :
    • dans « Aperçu » la valeur s’affiche juste à côté de la sélection, la hauteur est la seconde valeur ;
    • dans « Paint » les valeurs s’affichent dans la barre d’état en bas de la fenêtre du logiciel, la hauteur est la seconde valeur.