Abstracts

Das Orakelproblem beim Testen bezeichnet die Schwierigkeit, für jeden Testfall das erwartete Ergebnis zu bestimmen. Ein System ist ohne Testorakel nicht testbar, und ohne ein automatisches Testorakel nicht automatisch mit generierten Eingaben testbar. Das Thema ist nicht neu, hat aber in letzter Zeit an Bedeutung gewonnen. Insbesondere bei agilen Vorgehensweisen, kontinuierlicher Integration und Lieferung (CI/CD), Big Data, oder KI-basiertem Testen kann seine Lösung zum relevanten Erfolgskriterium des Testens werden. Gemessen daran wird aber das Orakelproblem noch zu wenig beachtet.

Das Ziel des Vortrags ist, die Aufmerksamkeit für diesen Aspekt des dynamischen Testens zu fördern und die verschiedenen heutigen Lösungsansätze zu veranschaulichen.

Nach der Einführung in die Thematik gibt der Vortrag einen kurzen Überblick der klassischen Lösungsansätze des Orakelproblems. Dazu zählen partielle Ergebnisprüfungen mit Assertions, menschliche Orakel wie z.B. Fachexperten, und Pseudo-Orakel, vom Testobjekt unabhängig entwickelte Systeme für die gleiche Spezifikation. Anschließend geht der Vortrag auf einige neuere Lösungen ein: das eigenschaftsbasierte Testen (engl. Property-based testing), bei dem Konsistenzbedingungen der Ein- und Ausgaben von generierten Testfällen geprüft werden, und das metamorphe Testen, das die Relation zwischen einem Ausgangstestfall und Folgetestfällen verifiziert. Alle Ansätze werden testmethodisch definiert und durch konkrete Beispiele aus der Praxis veranschaulicht.