Abstracts

Ein Erfahrungsbericht aus Rohde & Schwarz – Oszilloskop Testing:

Dieser Vortrag richtet sich an Qualitätssicherungs- und Testingenieure und an Test- und Team-Manager, die erfahren möchten, wie Large Language Models (LLMs) wie ChatGPT ihre Testprozesse optimieren können.

Spätestens seit 2023 und seit dem Siegeszug von LLMs wie ChatGPT scheint die Künstliche Intelligenz (KI) ein sehr relevanter Faktor in der Software Entwicklung geworden zu sein. Das gilt auch für die Qualitätssicherung und für die Software-Tests. Dabei verspricht die KI, Tests optimaler und effizienter zu gestalten, Routinen und langweilige Aufgaben zu reduzieren und Engpässe zu überwinden.

Aber, ist es wirklich so? Und wie geht man vor, um die KI für die Tests zu nutzen, wenn man kein ausgewiesener KI-Experte ist? Worauf sollte man achten? Was sollte man doch lieber sein lassen? Mit diesen Fragen habe ich mich auseinandergesetzt, um das Potential von KI für das Testen unserer Oszilloskope auszuloten.

Dabei gliederte sich meine Erkundung in folgende Bereiche:

• Die Sondierung vorhandener Literatur, Forschungsergebnisse, Publikationen und Fachvorträge.
• Die Kollaboration im Rahmen einer Community of Practice.
• Die konkrete Anwendung in unseren Testlandschaften.

Für die Sondierung vorhandener Literatur, Forschungsergebnisse, Publikationen und Fachvorträge habe ich mich auf folgende Fragestellungen konzentriert: Was verbirgt sich unter "KI für Testing"? Welche Techniken der KI eigen sich für den Bereich Software-Test und Qualitätssicherung? Welche Bereiche von Test und Testmanagement können mit KI Techniken verbessert werden? Welche Risiken gibt es im Zusammenhang mit dem Einsatz der KI im Software-Test? Wie kann ich konkret die KI in meine Test-Landschaft integrieren?

Meine Erkundungen haben eine Eignung der LLMs für diverse Aufgaben, wie die Generierung von (Unit) Testfällen oder Bug-Analysen offenbart, und gleichzeitig Bedenken im Bereich der Test-Konzeption und -Strategie sowie nicht-funktionalen Tests festgestellt. Eine Empfehlung ist, LLMs als Assistenzsysteme zu begreifen und sie nicht unkritisch in sensitiven Bereichen einzusetzen. Bei der Anwendung von LLMs sind insbesondere das 'Prompt-Engineering' sowie Vor- und Feinschulung von Models von großer Bedeutung.

Diese Erkenntnisse flossen in die Zusammenarbeit in unserer Community of Practice und in die Implementierung innerhalb eigener Testumgebungen ein. Zum Zeitpunkt der Abfassung dieses Abstracts waren diese letzten beiden Aspekte jedoch erst in der Anfangsphase.

Für meinen Vortrag plane ich, folgende Themen zu beleuchten:

1. Wissenschaftliche und praktische Erkenntnisse zu LLMs im Testing
2. Erfahrungen mit einem Community-Ansatz für den Einsatz von KI-Diensten im Testing
3. Praktische Integration von KI-Elementen in unserer Testumgebung und deren Auswirkungen

Idealerweise werden alle Teile des Vortrages begleitet von Dos und Don’ts, von Metriken und von neuen Punkten, die die Arbeit in meinem Kontext ergeben hat.