Es gibt mehrere Möglichkeiten, mit Firebase Test Lab Tests für Ihre Android-App auszuführen, darunter die Befehlszeile, Android Studio, die Test Lab-Benutzeroberfläche in der Firebase-Konsole und die Testing API. Unabhängig davon, wie Sie Ihre Tests starten, die in dem von Ihnen angegebenen Firebase-Projekt gespeichert sind. Sie können sich die Ergebnisse mit ToolResults API zusätzlich zu den oben genannten Tools. Auf dieser Seite wird beschrieben, wie Sie diese Testergebnisse prüfen und analysieren.
Wichtige Konzepte
Wenn Sie die Ergebnisse aller vorherigen Testläufe sehen möchten, wählen Sie Test Lab in der den linken Navigationsbereich Ihres Projekts Firebase-Konsole. Auf dieser Seite werden alle Testläufe der Apps, die Sie in Ihrem Projekt mit Test Lab getestet haben.
Um Testergebnisse zu überprüfen, müssen Sie zuerst drei Konzepte verstehen:
Wenn Sie einen Test oder eine Reihe von Testläufen für Geräte und Konfigurationen ausführen Test Lab führt den Test für Ihre App im Batch durch. Anschließend zeigt die Ergebnisse als Testmatrix an.
Geräte × Testausführungen = Testmatrix
- Gerät
- Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test ausführen, z. B. ein Smartphone, Tablet oder Wearable. Geräte in einer Testmatrix werden anhand von Gerätemodell, Betriebssystemversion, Bildschirmausrichtung und Gebietsschema (auch als Geografie- und Spracheinstellungen bezeichnet) identifiziert.
- Test, Testausführung
- Ein Test oder eine Reihe von Testläufen, die auf einem Gerät ausgeführt werden sollen. Sie können einen Test pro Gerät ausführen oder den Test optional in Shards aufteilen und die Testfälle auf verschiedenen Geräten ausführen.
- Testmatrix
- Enthält die Status und Testergebnisse für Ihre Testausführungen. Falls vorhanden die Testausführung in einer Matrix scheitert, die gesamte Matrix schlägt fehl.
In den folgenden Abschnitten wird die Navigation in den Testergebnissen erläutert.
Ergebnisse des Testverlaufs interpretieren
Wenn Sie durch Auswahl von Test Lab Ihre Testergebnisse aufrufen, sehen Sie die Ergebnisse Ihrer bisherigen Tests.
Der Testverlauf ist nach App gruppiert. Nur die letzten fünf Testmatrizen werden werden für jede App angezeigt. Falls mehr Elemente verfügbar sind, können Sie auf die Schaltfläche Alle Matrizen am Ende der App-Testliste, um die vollständige Liste für diese App anzuzeigen.
Ergebnisse der Testmatrix interpretieren
Wenn Sie einen Test über die Test Lab-Benutzeroberfläche starten, werden auf eine Seite weitergeleitet, auf der Sie Ihre Testmatrix sehen und auf eine bestimmte Testausführung, um Testergebnisse anzusehen. Android Studio und mit dem gcloud-Befehl eine URL für die Testmatrix bereitgestellt werden. auch auf der Suchergebnisseite.
In einer typischen Testmatrix können Sie einen Test mit etwa einem Dutzend unterschiedlicher Geräte. Jede Testausführung kann ein anderes Ergebnis haben. Mögliche Ergebnisse für jede Testausführung in einer Testmatrix Folgendes umfassen:
bestanden: Es sind keine Fehler aufgetreten.
fehlgeschlagen: Mindestens ein Fehler war
gefunden wurden.- Nicht schlüssig
: Testergebnisse wurden
nicht aussagekräftig, möglicherweise aufgrund eines Test Lab-Fehlers. - Übersprungene
: Die ausgewählten Dimensionswerte
einige Testausführungen in der Matrix inkompatibel. Das passiert, wenn
Die von Ihnen ausgewählten Geräte sind mit mindestens einer der Android-APIs nicht kompatibel
die Sie ausgewählt haben.
Wenn Sie die zusammengefassten Testergebnisse für alle Testmatrizen für eine bestimmte App in Ihrem Firebase-Projekt aufrufen möchten, klicken Sie auf den Namen der App, wie im folgenden Beispiel gezeigt:
Beispiel für eine Testmatrix-Ergebnisseite mit nur vier Testausführungen
Sie gelangen zur Testmatrixliste für Ihre App, in der Sie auf die Name einer beliebigen Testmatrix, um die Ergebnisse der Testmatrix zu sehen, und auf die Sie klicken können Den Namen der App (wird im roten Feld unten angezeigt), um die Testmatrix-Liste aufzurufen für andere Apps, die mit Ihrem Firebase-Projekt verknüpft sind.
Beispiel für eine Seite mit einer Testmatrix-Liste
Eine Testmatrix kann bestanden werden, nicht bestehen oder nicht eindeutig sein. Eine Testmatrix wird angezeigt. als fehlgeschlagen oder nicht schlüssig, wenn Testausführungen in dieser Matrix fehlschlagen oder nicht eindeutig.
Robo-Testergebnisse interpretieren
Wenn Sie Ihre Tests mit Robo durchgeführt haben, enthalten die Ergebnisse Videos und Screenshots von Robo-Crawling der Benutzeroberfläche zusätzlich zu den üblichen Testmesswerten Diese Videos und Screenshots enthalten visuelle Hinweise auf die Aktionen, die Robo ähnlich wie „Berührungen anzeigen“ in Android. Anhand der Hinweise können Sie den Fortschritt von Robo verfolgen und eventuelle Fehler reproduzieren.
Beispielvideo zu Robo-Testergebnissen
Ergebnisse einer einzelnen Testausführung auswerten
Klicken Sie auf der Seite mit den Testmatrix-Ergebnissen auf eine der Testausführungen, um das Ergebnis dieser spezifischen Testausführung.
Beispielseite mit Ergebnissen einer Testausführung
Auf dieser Seite sehen Sie die für jede Testausführung erforderliche Zeit. Sie können auch die Ergebnisse für bestimmte Testfälle, die den Methoden in Ihrem Test-APK (für Instrumentierungstests) und detaillierte Testergebnisse, einschließlich Test Protokolle, Screenshots und Videos. Detaillierter Test für den Robo-Test enthalten auch eine Activity Map, in der die Benutzeroberflächenpfade, die wurden beim Robo-Test besucht.
Ergebnisse des partitionierten Instrumentierungstests
Damit du die instrumentierten Testergebnisse besser interpretieren kannst, trennt Test Lab die einzelnen Tests auf einer eigenen detaillierten Berichtsseite mit Stacktraces, Logs und Videos. Diese Funktion funktioniert unabhängig davon, ob Sie Android Orchestrator verwenden oder nicht.
Beispiel für eine Seite mit Testlaufergebnissen
Ergebnisse der Barrierefreiheit interpretieren
Bei Robo-Tests werden mit dem Android Accessibility Scanner Probleme mit der Barrierefreiheit in Ihrer App erkannt. Sie können den Scan auch lokal auf Ihrem Gerät ausführen. Eine Anleitung zum Prüfen und Interpretieren der Ergebnisse des Robo-Tests finden Sie unter Einführung in den Accessibility Scanner.
Allgemeine Informationen zum Optimieren der Bedienungshilfen Ihrer App finden Sie in der Dokumentation zu Bedienungshilfen für Android-Entwickler.
Leistungsmesswerte
Bei Tests, die auf physischen Geräten ausgeführt werden, werden auch Leistungsmesswerte zurückgegeben:
| Messwert | Erforderliche Gerätekonfiguration |
|---|---|
| App-Startzeit | API 19+ |
| CPU-Nutzung | API 21 oder höher |
| Arbeitsspeichernutzung | |
| Netzwerkaktivität | |
| Bilder pro Sekunde | API 21 oder höher und enthält SurfaceView |
Detaillierte Testergebnisse
Detaillierte Testergebnisse stehen 90 Tage lang zur Verfügung, nachdem du einen Test durchgeführt hast und in einem Google Cloud Storage-Bucket gespeichert (sind aber auch im Firebase-Konsole). Detaillierte Testergebnisse findest du in der Cloud Storage Bucket, wenn Sie auf der Seite mit den Ergebnissen der Testausführung auf Testergebnisse klicken. Wenn keine detaillierten Testergebnisse mehr verfügbar sind, kannst du immer noch sehen, bestandene oder fehlgeschlagene Tests.
Wenn Sie detaillierte Testergebnisse länger als 90 Tage aufbewahren möchten, müssen Sie diese Testergebnisse mit der gcloud-Befehlszeilenoption --results-bucket an einen Cloud Storage-Bucket senden, dessen Inhaber Sie sind. Mit der Einstellung Alter können Sie festlegen, wie lange Ergebnisse in Ihrem Cloud Storage-Bucket gespeichert werden. Weitere Informationen finden Sie unter Lebenszyklusbedingungen um Informationen zum Ändern der Alterseinstellung zu erhalten.