Il existe plusieurs façons d'utiliser Firebase Test Lab pour exécuter des tests sur votre application Android, y compris l'interface de ligne de commande, Android Studio, l'interface utilisateur Test Lab la console Firebase et l'API de test. Quel que soit le mode de démarrage de vos tests, les résultats sont stockés dans le projet Firebase que vous spécifiez. Vous pouvez explorer les résultats à l'aide de API ToolResults en plus de l'un des outils ci-dessus. Cette page explique comment examiner et analyser ces résultats de test.
Concepts clés
Pour afficher les résultats de toutes vos exécutions de test précédentes, sélectionnez Test Lab dans panneau de navigation de gauche de votre projet dans la Firebase. Cette page affiche toutes les exécutions de test du les applications que vous avez testées avec votre projet à l'aide de Test Lab.
Pour examiner les résultats des tests, vous devez d'abord comprendre trois concepts :
Lorsque vous exécutez un test ou un ensemble de scénarios de test sur des appareils et des configurations que vous avez sélectionné, Test Lab exécute le test par lot sur votre application, puis affiche les résultats sous forme de matrice de test.
Appareils × Exécutions de test = Matrice de test
- Appareil
- Un appareil physique ou virtuel (Android uniquement) sur lequel vous exécutez un test, comme un un téléphone, une tablette ou un accessoire connecté. Dans une matrice de test, les appareils sont identifiés par le modèle de l'appareil, la version de l'OS, l'orientation de l'écran et les paramètres régionaux (également appelés les paramètres géographiques et linguistiques).
- Tester, tester l'exécution
- Test (ou ensemble de scénarios de test) à exécuter sur un appareil. Vous pouvez effectuer un test par appareil, ou segmenter le test et exécuter ses scénarios de test (facultatif) différents appareils.
- Matrice de test
- Contient les états et les résultats de vos exécutions de test. Le cas échéant l'exécution du test dans une matrice échoue, toute la matrice échoue.
Les sections suivantes expliquent comment parcourir les résultats des tests.
Interpréter les résultats de l'historique des tests
Lorsque vous accédez aux résultats du test en sélectionnant Test Lab, les éléments suivants s'affichent : les résultats des tests que vous avez exécutés jusqu'à présent.
L'historique des tests est regroupé par application. Seules les cinq matrices de test les plus récentes sont affiché pour chaque application. Si d'autres matrices sont disponibles, cliquez sur le bouton Toutes les matrices en bas de la liste des applications testées pour afficher la liste complète de cette application.
Interpréter les résultats de la matrice de test
Lorsque vous lancez un test via l'interface utilisateur Test Lab, vous devez : redirigé vers une page où vous pouvez voir votre matrice de test et cliquer sur un l'exécution du test pour afficher les résultats. Android Studio et la commande gcloud fournissent également une URL pour la page des résultats de la matrice de test.
Dans une matrice de test classique, vous pouvez exécuter un test sur une douzaine appareils. Chaque exécution de test peut avoir un résultat différent. Les résultats possibles pour toute exécution de test dans une matrice de test, vous devez inclure les éléments suivants:
réussi: aucun échec n'a été rencontré.- Échec
: au moins un échec a été
rencontrés. 
non concluant : les résultats du test n'étaient pas concluants, peut-être en raison d'une erreur Test Lab.
ignorées: valeurs de dimension sélectionnées
pour certaines exécutions de test de la matrice. Cela se produit lorsque
Les appareils que vous avez sélectionnés ne sont pas compatibles avec une ou plusieurs API Android.
que vous avez sélectionnés.
Pour examiner les résultats de test agrégés de toutes les matrices de test pour une application donnée dans votre Firebase, cliquez sur le nom de l'application, comme illustré dans l'exemple suivant:
Exemple de page de résultats de la matrice de test avec seulement quatre exécutions de test
Cela vous amène à la liste de la matrice de test de votre application, où vous pouvez cliquer sur le nom de n'importe quelle matrice de test pour afficher les résultats et où vous pouvez cliquer le nom de l'application (dans l'encadré rouge ci-dessous) pour afficher la liste de la matrice de test ; pour les autres applications associées à votre projet Firebase.
Exemple de page de liste de matrices de test
Une matrice de test peut réussir, échouer ou être non concluante. Une matrice de test est affichée comme ayant échoué ou non concluant si des exécutions de test de cette matrice échouent ou sont non concluant.
Interpréter les résultats du test Robo
Si vous avez effectué vos tests avec Robo, les résultats incluent des vidéos et des captures d'écran de Robo explore votre interface utilisateur, en plus des métriques de test habituelles. Ces vidéos et les captures d'écran incluent des indications visuelles des actions effectuées par Robo pendant l'exploration, similaire à l'option "Afficher les points forts" d'Android. Vous pouvez utiliser les indications pour suivre la progression de Robo et reproduire les bugs qu'il pourrait détecter.
Exemple de vidéo sur les résultats d'un test Robo
Interpréter les résultats d'une exécution de test unique
Sur la page de résultats de la matrice de test, cliquez sur l'une des exécutions de test pour afficher le résultat de cette exécution de test spécifique.
Exemple de page de résultats d'exécution de test
Cette page indique le temps nécessaire à l'exécution de chaque test. Vous pouvez également les résultats de scénarios de test spécifiques correspondant aux méthodes de votre APK de test (pour les tests d'instrumentation) et résultats détaillés des tests, y compris les tests les journaux, les captures d'écran et les vidéos. Pour le test Robo : test détaillé les résultats incluent également une carte d'activités qui affiche sous forme graphique les chemins d'accès ont été visités par Robo test.
Résultats des tests d'instrumentation partitionnés
Pour vous aider à interpréter les résultats des tests d'instrumentation, Test Lab sépare chaque test dans sa propre page de rapport détaillé, avec les traces de la pile, les journaux et les vidéos. Cette fonctionnalité est opérationnelle, que vous utilisiez ou non Android Orchestrator.
Exemple de page de résultats d'un scénario de test
Interpréter les résultats d'accessibilité
Les tests Robo utilisent Android Accessibility Scanner pour détecter les problèmes d'accessibilité dans votre application (notez que vous pouvez également exécuter une analyse en local sur votre appareil). Pour savoir comment consulter et interpréter les les résultats d'accessibilité de votre test Robo, consultez Premiers pas avec Accessibility Scanner
Pour obtenir des informations générales sur l'amélioration de l'accessibilité de votre application, consultez la documentation Android sur l'accessibilité destinée aux développeurs.
Métriques de performances
Les tests exécutés sur des appareils physiques renvoient également des métriques de performances:
| Métrique | Configuration requise de l'appareil |
|---|---|
| Délai de démarrage de l'application | API 19 et versions ultérieures |
| Utilisation du processeur | API 21 ou ultérieure |
| Utilisation de la mémoire | |
| Activité réseau | |
| Images par seconde | d'API 21 ou version ultérieure et inclut un SurfaceView |
Résultats détaillés du test
Les résultats détaillés sont disponibles pendant 90 jours après l'exécution du test stockés dans un bucket Google Cloud Storage (mais sont également visibles dans Firebase). Vous pouvez consulter les résultats détaillés des tests dans le bucket Cloud Storage lorsque vous cliquez sur Résultats des tests sur la page des résultats d'exécution des tests. Lorsque les résultats détaillés des tests ne sont plus disponibles, vous pouvez toujours voir tests réussis ou échoués.
Pour conserver les résultats détaillés des tests pendant plus de 90 jours, vous devez : pour envoyer ces résultats de test vers un bucket Cloud Storage qui vous appartient à l'aide de la classe Option de ligne de commande gcloud --results-bucket. Vous pouvez ensuite définir le paramètre Âge pour déterminer la durée de stockage des résultats dans votre bucket Cloud Storage. Voir Conditions du cycle de vie pour savoir comment modifier le paramètre Âge.