Inkrementalität im Marketing: Wie du echte Effektivität misst

December 4, 2024
by
Kevin Sturm
in
Growth Marketing

Alle paar Jahre tauchen im Digital Marketing Begriffe auf, die nicht nur gut klingen, sondern auch einen echten Mehrwert bieten. Incrementality (auch Incremental Lift) ist einer davon.

In diesem Artikel beleuchten wir, was Inkrementalität ist und mit welchen Methoden man auf inkrementelle Effekte testet.

Woher stammt der Begriff Inkrementalität?

Der Begriff stammt vom Lateinischen incrementum ab und bedeutet so viel wie Wachstum oder Zuwachs.

Inkrementalität lässt sich am besten wie folgt definieren:

Incrementality is the measure of the additional impact or lift generated by a marketing activity beyond what would have happened without it (Quelle)

Die schraffierte Fläche über der Baseline zeigt jeweils den positiven oder negativen inkrementellen Effekt einer Marketing-Intervention auf.

Quelle

Verglichen wird dabei immer das Delta einer Intervention (was passiert, wenn wir eine Änderung vornehmen) mit einer Kontrollgruppe (was passiert, wenn wir nichts verändern).

Wofür eignet sich Incrementality Testing?

Incrementality Testing eignet sich beispielsweise dafür, die Effektivität von Marketingkampagnen auf bestimmte KPIs (z. B. Registrierungen, Verkäufe oder Leads) zu messen.

Im untenstehenden Beispiel ist es schwer „von Auge“ zu sehen, ob und wie gross der Impact bestimmter Marketingmassnahmen tatsächlich ist. Tatsächlich müsste hier geraten werden:

Quelle: Causal Data Science Meeting. Bugaev, Balancing Observational and Experimental Studies to Assess Ads Impact, 5.11.2024

Insbesondere bei bezahlten Werbeanzeigen wie Suchmaschinenwerbung, Influencer-Marketing, aber auch TV-Spots möchte man wissen, welchen Effekt eine Kampagne auf ein Geschäftsresultat (z. B. Umsatz) hat:

  • Ist das Budget gut eingesetzt?
  • Sollten wir mehr in einen anderen Kanal investieren?

Incrementality Testing hilft dabei, diese Fragen zu beantworten. Mittels Incrementality Testing kann das Delta (der Lift) quantifiziert werden. Somit lässt sich auch der ROI einer Kampagne oder eines Kanals besser beurteilen.

Wie kann inkrementelles Wachstum getestet werden?

Es gibt verschiedene Methoden, um Inkrementalität zu messen. Als CRO Agentur nutzen wir einen Mix der genannten Tools.

Wir besprechen hier die gängigsten Ansätze (wir könnten auch von Quasi-Experimenten sprechen).

1. Holdout Tests

Bei Holdout Tests wird die Zielgruppe in eine Kontroll- und eine Treatment-Gruppe unterteilt. Die Treatment-Gruppe bekommt z. B. eine Werbeanzeige auf LinkedIn ausgespielt. Die Kontrollgruppe bekommt keine Anzeige ausgespielt („hold out“ – wird ausgelassen).

Quelle

Dabei muss ein Zielgruppen-Split vorgenommen werden.

(Known) Audience Experimente

Hier wird eine repräsentative Nutzergruppe basierend auf spezifischen Kriterien als Holdout-Gruppe definiert. Beispielsweise werden 5 % aller Nutzer einer Website als Holdout-Pool festgelegt.

Quelle

Herausforderungen:

  • Holdout-Gruppen können aufgrund von Datenschutz-Überlegungen (Cookies/Opt-out) schwer zu unterhalten sein
  • Selection-Bias: Die Nutzer der Holdout-Gruppe sind nach einer gewissen Zeit nicht mehr repräsentativ für die Gesamtheit

Tipp: Mehr dazu im Buch Statistical Methods in Online A/B Testing.

Geo-Experimente

Beim Geo-Split werden Märkte oder Regionen identifiziert, die als repräsentativ und vergleichbar angesehen werden. Der identifizierte Markt oder die Region wird dann als Holdout-Gruppe vom Test ausgeschlossen.

Quelle

Herausforderungen:

  • Keine zwei Märkte sind identisch
  • Mobilität der Testpersonen kann Ergebnisse verfälschen (Reisen, Ferien etc.)
  • Saisonale Effekte können starke Verzerrungen verursachen (z. B. Feiertage)

Eine vollständige Liste mit möglichen Biases findest du hier.

2. Conversion Lift Studies

Randomisierte Conversion Lift Experimente werden von Plattformen wie Google, Meta oder TikTok angeboten. Sie messen inkrementelle Effekte für Ziele wie Umsatz, Leads oder Interaktionen innerhalb der Plattform.

Die Plattformen nehmen dabei automatisch den Zielgruppen-Split vor und zeigen bestimmten Usern die Werbeanzeige (Treatment) und anderen Nutzern nicht (Control). Die User verbleiben für die Testperiode in der jeweiligen Test- oder Kontrollgruppe.

Quelle

Einschränkungen:

  • Abhängigkeit von Third-Party Cookies.
  • Apple-Geräte oft ausgeschlossen (Privacy Restrictions).
  • Plattformen haben potenziell Anreize, positive Ergebnisse zu zeigen.

3. Difference-in-Difference Tests (DiD)

Hier werden Unterschiede in Conversions und Conversion-Rate VOR (Kampagnen laufen nicht) und NACH (Kampagnen laufen) der Intervention gemessen.

Quelle

Limitierungen:

  • Zwingend Baseline-Daten erforderlich.
  • Stabilität der Gruppen muss gewährleistet sein.

Weitere spannende Informationen zu DiD gibt es hier.

4. Kausalmodelle

Quasi-Experimente können auch in Modellen simuliert werden, indem man beobachtbare Daten und Interventionen nutzt. Dabei wird mit Counterfactuals gearbeitet und Szenarien modelliert.

Beispiel: Eine Marketingkampagne wird ausgerollt, und die Performance wird gemessen (actual). Diese Performance wird dann mit einer modellierten „Realität“ verglichen (counterfactual).

Quelle: Causal Data Science Meeting. Bugaev, Balancing Observational and Experimental Studies to Assess Ads Impact, 5.11.2024

Mittels Causal Discovery können wir beobachtete Daten nutzen, um kausale Beziehungen herzustellen. Wir können herausfinden, welche Interventionen erfolgreich sein könnten und weshalb und welche Nutzergruppen besser auf die Intervention reagieren.

Bekannte Software-Packages, um mit Causal AI zu arbeiten, sind z.B. CausalPy oder CausalImpact. Natürlich gibt es auch benutzerfreundliche SaaS wie Incrmntal oder CausaLens, die sich Causal AI zunutze machen.

Kann Inkrementalität mit einer Attributionssoftware gemessen werden?

Bei Single- oder Multi-Touch-Attribution (MTA) wird der Erfolg einer Werbekampagne einem (oder mehreren) Klicks oder Impressionen zugeschrieben. Diese heuristische Methode erfordert Nutzerdaten auf individueller Ebene, wobei die Zuordnung zwischen Impressionen und Klicks durch die Verwendung von Cookies oder anderen userbezogenen Identifikatoren erfolgt. Da die Messung ausschliesslich in digitalen Umgebungen stattfindet, können Offline-Medien oder -Interaktionen nicht berücksichtigt werden.

Data-driven or correlation ML approaches to attribution bring with it a lot of potential, but also a host of issues, namely trust. “ML models are black boxes that marketers can’t verify or scrutinize. They tend to overfit to the current market conditions. And to function at all they need very big data — emerging trends, rare purchases, and unusual customer behaviors can lead to tech meltdowns.” (causaLens)

Aus meiner Sicht können MTAs helfen, Ordnung zu schaffen und wertvolle Insights zu generieren. Ob und wie gut damit auch inkrementelle Effekte gemessen werden können, ist eine Frage, an der sich die Geister scheiden.

Unterschied zwischen Incrementality Testing und A/B Testing

Incrementality Testing und A/B Testing weisen viele Gemeinsamkeiten auf, wie etwa die Aufteilung in Kontroll- und Testgruppen, das Messen von Verbesserungen (Lifts) und das Ziel, kausale Zusammenhänge herzustellen. Dennoch unterscheiden sie sich deutlich in ihrem Fokus.

A/B Tests gelten als Goldstandard zur Messung von Kausalität. Dabei werden verschiedene Varianten, z. B. einer Landing Page, vergleichen. Ziel ist es, die besser performende Variante zu identifizieren, um die User Experience zu optimieren. A/B Tests erfordern ein aufwändiges Setup, viele Conversions und statistische Kenntnisse für die Auswertung.

Incrementality Tests hingegen zielen darauf ab, die gesamte Effektivität von Marketingmassnahmen zu bewerten. Sie messen den zusätzlichen Effekt (Lift), den ein Marketingkanal oder eine Kampagne im Vergleich zu keinem Einsatz desselben Kanals erzielt. Der Fokus liegt auf der optimalen Verteilung von Ressourcen wie Marketingbudgets und der Sicherstellung der Kampagnen-Effektivität, anstatt auf der Optimierung einzelner Varianten.

Fazit

Inkrementalität ist ein zentraler Ansatz im modernen Marketing, der es ermöglicht, die tatsächliche Effektivität von Kampagnen zu messen. Durch die Analyse des Lifts lassen sich fundierte Entscheidungen über die Budgetverteilung und Kanalpriorisierung treffen.

Die vorgestellten Methoden zeigen, wie vielfältig die Ansätze zur Messung von Inkrementalität sind. Jede Methode bringt spezifische Vorteile und Herausforderungen mit sich.

Im Vergleich zu klassischen A/B-Tests zielt Incrementality Testing stärker auf die Messung der ganzheitlichen Wirkung von Marketingstrategien ab, sei es im Brand Marketing oder im Performance Marketing.

Wer hat diesen Artikel verfasst?
Wir sind Growth Bay, eine B2B Growth Marketing Agentur mit Sitz in Zürich in der Schweiz.
Über Growth Bay
Beratung anfragen