Get our latest news by signing up below for follow us on Twitter

03/28/2018

Evolution oder Revolution? Die Rolle der adaptiven evolutionären Optimierung im experimentellen Umfeld

CRO-Experten sind ständig auf der Suche nach neuen Möglichkeiten, die Ergebnisse von Unternehmen durch Experimentieren zu optimieren. Bislang hieß die Standardlösung A/B-Test. Nur wenige Unternehmen mit Experimentierprogrammen verwenden multivariate Tests, im Allgemeinen aus Mangel an Traffic.

Mit zunehmendem Einsatz künstlicher Intelligenz stehen nun auch neue Optimierungsmethoden zur Verfügung, von der Einführung mehrarmiger Banditen-Lösungen vor einigen Jahren bis hin zu neuen Methoden auf der Basis evolutionärer Algorithmen wie Sentient Ascend.

Was bedeuten diese neuen Konzepte für Konversionsexperten? Wann sind sie am sinnvollsten und wann sollte man lieber auf deren Einsatz verzichten? Welche Rolle spielt evolutionäre Optimierung bei A/B-Tests und im Vergleich zu anderen häufig durchgeführten Experimenten? Wie können oder sollten sich Prozesse angesichts der neuen Methoden ändern?

Vor CXL Live haben wir uns überlegt, dass dies interessante Gesprächsthemen wären, um den Dialog auf der Konferenz und in der Konversionsgemeinde allgemein anzuregen.

Was ist adaptive evolutionäre Optimierung und wie unterscheidet sie sich vom A/B- und Multivariate-Test?

Die adaptive evolutionäre Optimierung verwendet Algorithmen, die auf der Modellierung des natürlichen Ausleseprozesses beruhen. Dabei werden die Auswirkungen großer Sätze (8 bis 50) von Einzeländerungen getestet und alle Änderungskombinationen (von Hunderten bis Millionen von Designs) nach spezifischen Zielen (z. B. der Steigerung der Konversionsrate) durchsucht.

Um diese Methode für Experimente nutzen zu können, werden die Erstellung individueller Designkandidaten, die Vorlage des Designs beim Endnutzer, die Auslese des „Eltern-Designs“ der jeweiligen Designgeneration und die Evolution dieser „Eltern“ zu einem neuen zu testenden Designsatz automatisiert.

KI nutzt eine Kombination aus bayesianischen und traditionellen statistischen Methoden, um die Leistung des erfolgreichsten Designs vorherzusagen. „Schwache“ Signale (anstelle der Signale bei 95 % oder 99 % Konfidenz bei A/B-Tests) werden über mehrere Designs und Generationen hinweg gesammelt, um am Ende des Experiments ein starkes Signal zu erzeugen.

Am Ende eines „Evolutionsdurchlaufs“ mit sechs bis acht Generationen überprüfen Nutzer der adaptiven evolutionären Optimierung normalerweise das erfolgreichste Design mithilfe traditioneller A/B/n-Testmethoden. Diese Methoden schützen vor Fehlern aufgrund von Mehrfachvergleichen und p-Hacking.

Im Vergleich zu A/B- und multivariaten Tests bietet die adaptive evolutionäre Optimierung mehrere interessante Fähigkeiten:

Testkapazität: Wie bereits erwähnt, können mit diesem Test je nach Nutzer-Traffic und Konversionsrate zwischen 8 und 50 einzelne Ideen und mehr gleichzeitig in Experimenten getestet werden, d. h. Hunderte bis Millionen Designs.

Testgeschwindigkeit/Effizienz der Traffic-Leistung: Evolutionäre Algorithmen sind in der Lage, „Suchräume“ mit Tausenden Designs und mehr zu durchsuchen und nur einen kleinen Bruchteil davon zu testen, sodass Sie damit mehr Ideen pro Einheitsmenge Traffic testen können als mit anderen Methoden.

Erfolgsquote: Die „Portfoliomethode“, bei der Evolution verwendet wird, um mehrere Ideen gleichzeitig zu testen, führt zu einer Erfolgsquote von 80–90 % im Vergleich zu 15–20 % bei A/B-Tests.

Durchschnittliche Steigerung pro Experiment: Wie bei jeder Testmethode hängt der Erfolg auch hier vom Ausgangspunkt und der Qualität der Ideen ab. Für die meisten durch Evolution ermittelten erfolgreichen Designs gab es mehrere Verbesserungsideen, was die durchschnittliche Steigerung gegenüber A/B-Tests erhöhte.

Anpassungsfähig an Ihre Zielgruppe: Evolutionäre Optimierungen können leichter an unterschiedliche Zielgruppenbedingungen angepasst werden als bei anderen Arten von Experimenten, die sich nur auf einen statischen Augenblick beziehen und sich nicht mitentwickeln.

Automatisierung: Die für diese evolutionäre Methode notwendige Automatisierung von Experimenten spart im Vergleich zu den normalerweise langwierigen A/B-Testprogrammen eine Menge Ressourcenzeit.

Weitere Informationen über evolutionäre Algorithmen finden Sie häufig hier: interessante Blogartikel.

In welchen Fällen kann evolutionäre Optimierung sinnvoll sein? Wann ist ein A/B-Test besser?

Obwohl wir manchmal über das Ende von A/B-Tests witzeln, bedeutet adaptive evolutionäre Optimierung keineswegs das Ende von A/B-Tests! Es ist eine neue Art von Experimenten und eignet sich ganz speziell für bestimmte Umgebungen, aber nicht für alle. Es wird interessant sein, die Entwicklung der verschiedenen Experimentiertechnologien im Laufe der Zeit zu beobachten und zu sehen, wie sich diese ergänzen.

Wann sollte evolutionäre Optimierung in Betracht gezogen werden?

Wenn es auf schnelle Ergebnisse ankommt: Die Effizienz von Evolution erlaubt uns, mehr Ideen schneller zu testen, und mit schnelleren und besseren Ergebnissen.

Wenn Testkapazität ein Problem ist: Wenn Sie mehr Ideen haben, als Sie mit A/B-Tests oder anderen Methoden bewältigen können, kann evolutionäre Optimierung Ihre Fähigkeit erhöhen, mehr Ideen zu testen.

Wenn Priorisierung ein Problem ist: Ein Vorteil der erhöhten Testkapazität der evolutionären Optimierung ist der geringere Aufwand und Stress bei der Priorisierung von Ideen, die getestet werden sollen. Anstatt nur einer Idee, kann das Team 20 oder 30 Ideen für einen Test auswählen, sodass mehrere Personen am Experimentierprozess beteiligt sind und ein Interesse daran haben.

Wenn die Erfolgsquote ein Problem ist: Je mehr Ideen Sie gleichzeitig testen, je größer die Chance, dass Sie einen eindeutigen Sieger finden.

Wenn Ressourcen knapp sind und der Testplan umfangreich ist: Die für die evolutionäre Optimierung notwendige Automatisierung ermöglicht Testorganisationen das Hochskalieren der Testkapazitäten.

In welchen Fällen sind A/B-Tests die bessere Lösung?

Wenn Sie eine eindeutige Antwort auf eine einzige unabhängige Frage suchen: Häufig sind Sie an einem bestimmten Merkmal interessiert, das nicht zu anderen Änderungen passt, wie ein neues Empfehlungssystem oder ein neues Suchfeld. In diesen Fällen sind A/B-Tests die beste Lösung.

Wenn Ihr Traffic keine evolutionäre Optimierung unterstützt: Damit Evolution funktioniert, müssen ca. 3.000 Konversationen pro Monat (z. B. Käufe, Hinzufügen von Artikeln zum Warenkorb, Anmeldungen) erfolgen. Für Websites, die diese Zahlen nicht erreichen, sind A/B-Tests die bessere Option.

Wenn Sie mehrere wichtige Ziele verfolgen: Evolutionäre Optimierung ist aktuell auf ein einziges Ziel fokussiert, ist also ideal für eine dominante Metrik wie Konversionsrate oder Umsatz pro Nutzer. Manchmal hat man jedoch auch mehrere gleich wichtige Ziele. In diesen Fällen sind A/B-Tests vermutlich die besser Wahl.

Zur Bestätigung der Ergebnisse von evolutionären Tests: Viele unserer Kunden wollen die Ergebnisse ihrer schnell entwickelten Designs zur Sicherheit überprüfen, und A/B-Tests sind – egal ob im Zusammenhang mit der evolutionären Lösung oder nicht – dafür die beste Möglichkeit.

Unsere Prozesse entwickeln sich mit

Die Optimierungsgemeinde ist allgemein dafür bekannt, dass sie sich über ihre eigenen Methoden Gedanken macht, was man auch erwarten sollte. Der Erfolg der evolutionären Optimierung und anderer neuer Methoden hat zu einer kritischen Neubewertung der Experimentierprozesse geführt. Einige recht interessante Themen sind z. B.:

· Welchen Einfluss hat die Testkapazität auf die Auswahl der zu testenden Elemente? Bei einigen A/B-Testlösungen wird z. B. empfohlen, sich nicht auf einzelne Änderungen mit einer möglichen Steigerung von weniger als 1 % zu konzentrieren. Haben evolutionäre Tests einen Einfluss auf unsere Vorstellung von Gedanken, z. B. die Granularität von Ideen, die Anzahl von Variationen pro getestetem Element usw.?
· Welchen Einfluss hat die Öffnung der Testbandbreite auf die Priorisierungsprozesse? Gibt es tatsächlich weniger Probleme oder nur andere?
· Wie ist das Verhältnis zwischen Experimentieren (und dem Erzielen von Ergebnissen) und gleichzeitigem Lernen?
· Welche Rolle spielt Personalisierung bei der KI und bei A/B-Tests?
· Welche Folgen hat die Automatisierung auf die Zusammensetzung von Experimentierteams?

Wir diskutieren gerne über diese Themen und hoffen, möglichst viele von Ihnen über dieses Blog und durch Ihre Kommentare kennenzulernen; und wenn Sie CXL besuchen – schauen Sie doch bei uns vorbei!

SHARE THIS

Categories: ,
Tags: