Detailansicht
HypGen - generating testable and valuable product improvement hypotheses in the context of continuous experimentation
Stefan Berreiter
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Wirtschaftsinformatik
Betreuer*in
Uwe Zdun
DOI
10.25365/thesis.74592
URN
urn:nbn:at:at-ubw:1-23674.05960.914979-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Continuous Experimentation (CEx) ist ein modernes Paradigma der Softwareentwicklung, das führende Unternehmen wie Microsoft, Airbnb oder auch Spotify anwenden. CEx beschreibt Praktiken und Technologien, die Softwareunternehmen in die Lage versetzen, jede relevante Produktveränderung in einem Experiment hinsichtlich der Frage zu vertesten, ob eine effektive Produktverbesserung wirklich erreicht wurde. Dies erreichen sie mithilfe von Produkthypothesen, die in Experimenten mit wissenschaftlichem Gütegrad getestet werden. Durch die Validierung von Hypothesen in statistischen Experimenten können Unternehmen Produktänderungen ausschließen, die das Softwareprodukt nicht verbessern. Forschungsstudien in diesem Bereich geben meist Einblicke in die Praxis, d.h. wie Unternehmen CEx in großem Maßstab durchführen und welche Experimentiersysteme sie entwickelt haben. Die derzeitige Forschung trägt jedoch kaum zu einem besseren Verständnis der Hypothesengenerierung an sich bei, d.h. wie man am besten Hypothesen zum Testen in Experimenten generiert. Dies ist besonders wichtig, da Praktiker berichten, dass abgelehnte Produkthypothesen bei CEx eher die Regel als die Ausnahme sind. Dieses Master Thesis Projekt wendet Design Science Research (DSR) im Rahmen einer Fallstudie bei einem deutschen B2B SaaS-Unternehmen an. Das Ziel dieses DSR ist es, ein Artefakt zu erstellen, das eine verbesserte Hypothesengenerierungspraxis im Kontext von CEx ermöglicht. Konkret zielt das Artefakt darauf ab, zu erforschen, wie ein effektives Decision Support System (DSS) gestaltet sein muss, damit es Produktmanager in die Lage versetzt, ihre Fähigkeit in zwei Belangen zu verbessern. Das DSS soll sowohl dabei helfen (a) statistisch testbare als auch (b) wertvolle Hypothesen zur Verbesserung des Softwareprodukts zu generieren. Um das Problemfeld zu erforschen, wurde eine umfangreiche Interviewstudie mit Produktmanagement-Experten durchgeführt. Zusätzlich wurde eine aufwändige Evaluierung durchgeführt, um die Fähigkeit des DSS zur verbesserten Hypothesengenerierung zu bewerten. Die Ergebnisse zeigen, dass HypGen, ein DSS für Produktmanager, das Potential hat, Hypothesengenerierung zu verbessern. Produktmanager fanden das Artefakt besonders nützlich durch seinen Workflow-Ansatz, die Integration von Experimentation Wissen, die Analyse von Zielmetriken und die Funktionen zur Abschätzung der Hypothesentest-Machbarkeit. Im Rahmen der Fallstudie wurde festgestellt, dass die Zusammenarbeit mit einem DSS zur Hypothesengenerierung die Wahrscheinlichkeit erhöht, Produktänderungen als statistisch testbare Hypothesen zu definieren und den Wert der generierten Produktverbesserungshypothesen zu steigern. Die Evaluierung hat gezeigt, dass HypGen die untersuchten Produktmanager effektiv von der Auswahl der Zielmetriken, der Identifizierung von Produktverbesserungsmöglichkeiten über das Brainstorming von Produktänderungen bis hin zur Auswahl eines durchführbaren Experiments führen konnte. Darüber hinaus wurde HypGen als für die breitere Anwendung von CEx förderlich empfunden, zumindest im Falle der Case Study Firma. Die Ergebnisse deuten auch darauf hin, dass das Artefakt in ähnlichen B2B SaaS-Umgebungen anwendbar ist. Die Ergebnisse der Interviewstudie und die Auswertung des Artefakts generieren Wissen, um das Phänomen Hypothesengenerierung besser zu verstehen und um Barrieren bei der Nutzung von CEx zu überwinden. Die Erkenntnisse werden so eingeschätzt, dass sie vor allem für Unternehmen relevant sind, die auf einem niedrigeren Reifegrad im Bereich CEx sind – doch sind die Ergebnisse nicht unbedingt nur auf diese beschränkt.
Abstract
(Englisch)
Continuous Experimentation (CEx) is a modern software development paradigm at leading companies such as Microsoft, Airbnb, or Spotify. CEx describes practices and technologies that empower software companies to embed any remarkable product change in an experiment with scientific rigor to reason about its effectiveness. While validating product improvement hypotheses in statistical experiments, companies can rule out product changes that do not improve the software product. Research studies in the field report practitioner insights on how they are conducting CEx at scale and which experimentation systems they have designed. However, current research contributes little to a better understanding of hypotheses generation, i.e. how to best come up with hypotheses to test. This is especially relevant as practitioners report that rejected product hypotheses are rather the norm and not the exception in CEx. This thesis project applies Design Science Research (DSR) in the course of a case study at a German B2B SaaS company. The DSR goal is to create an artifact that empowers an improved hypotheses generation practice in the context of CEx. In specific, the artifact aims to explore how an effective Decision Support System (DSS) needs to be designed so that it empowers Product Managers to improve their ability to generate (a) statistically testable and (b) valuable hypotheses to improve their software product. To explore the problem space, a comprehensive interview study with product management professionals has been conducted. Additionally, an extensive evaluation was undertaken to evaluate the DSS’ capability with regard to empowering improved hypotheses generation. Results show that HypGen, a DSS for Product Managers, has the potential to improve hypotheses generation. Product Managers found the artifact particularly useful through its workflow approach, integration of experimentation knowledge, target metrics analysis, and feasibility estimation features. In the scope of the case study, cooperating with a hypotheses generation DSS has been found to improve the likelihood of defining product changes as statistically testable hypotheses and to improve the perceived value of product improvement hypotheses. Evaluation has shown that HypGen has guided Product Managers effectively from target metric selection, opportunity identification, and brainstorming product changes to ultimately selecting a feasible experiment design. Moreover, HypGen was perceived to empower a greater adoption of CEx at the case study company. Furthermore, findings indicate that the artifact is applicable in similar B2B SaaS environments. Results from the interview study and the artifact’s evaluation generate knowledge to better understand hypotheses generation and to overcome adoption barriers of CEx. Insights are interpreted to be preeminently relevant for companies that are less mature in CEx, yet are not necessarily restricted to only those.
Schlagwörter
Schlagwörter
(Deutsch)
Kontinuierliches Experimentieren Kontrollierte Online Experimente Hypothesen Engineering Hypothesengenerierung Entscheidungs-Unterstützungs-Systeme Design Science Research Software as a Service Software Produktmanagement Nutzer Experience Produktdaten Analyse
Schlagwörter
(Englisch)
Continuous Experimentation Online Controlled Experiments Hypotheses Engineering Hypotheses Generation Decision-Support System Design Science Research Software as a Service Software Product Management User Experience Product Analytics
Autor*innen
Stefan Berreiter
Haupttitel (Englisch)
HypGen - generating testable and valuable product improvement hypotheses in the context of continuous experimentation
Paralleltitel (Deutsch)
HypGen - Generierung von testbaren und wertvollen Produktverbesserungs-Hypothesen im Kontext von continuous experimentation
Publikationsjahr
2023
Umfangsangabe
xv, 151 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Uwe Zdun
AC Nummer
AC16978380
Utheses ID
68779
Studienkennzahl
UA | 066 | 926 | |