Negative uplift

Negatieve uplifts

In een zestal artikelen leggen we uit hoe onze attributie modellen werken en hoe deze modellen een oplossing bieden voor de problemen die je tegen zult komen bij het analyseren van de effecten van een tv-campagne. Deze complexe en robuste attributiemodellen zijn gebaseerd op statistische modellen en zijn door de jaren heen zorgvuldig gefinetuned door onze data wizzards. 

Bij het nauwkeurig bepalen van de effectiviteit van je tv-campagne, moet je rekening houden met vele factoren, zoals:

  1. De baseline: welke waarden vormen het fundament van je spoteffecten?
  2. Het meetvenster: waar begint en eindigt het online-effect van iedere tv-spot?
  3. Overlappende tv-commercials: hoe wijs je het juiste effect toe aan iedere tv-spot?
  4. Accurate uitzenddata: hoe garandeer je dat je altijd de exacte uitzendtijden verkrijgt?
  5. Negatieve uplift: Wat te doen met negative uplifts na het uitzenden van een spot en hoe deze te interpreten?
  6. Individueel effect van attribuutWat is de exacte individuele en relatieve kracht van elk van de onderliggende attributen (zenders, tijdvak, creatie etc)? Welke spots zullen het goed doen? (voorspel en plan vooraf)

Als je geen rekening houdt met deze factoren of op een onjuiste manier, dan is het vrijwel onmogelijk om betrouwbare conclusies te trekken.

Uplift vaststellen

Een van de belangrijkste manieren om het effect van een commercial te meten, is door de prestaties vóór en na het uitzenden van een commercial te vergelijken. Een baseline wordt berekend op basis van de prestaties vóór de commercial is uitgezonden en dit resultaat wordt vervolgens afgetrokken van de prestaties die gemeten worden na de uitzending. Het verschil wordt dan de uplift genoemd. Verschillende campagne doelstellingen kunnen op deze manier nauwkeurig gemeten worden. Zo kunnen we de stijging in het aantal sessies op uw website, de stijging in conversies en nog veel meer berekenen.

Is een negatieve uplift mogelijk?

Het meten van een negatieve uplift is zeker mogelijk. Dit zijn gevallen waarin de prestaties na het uitzenden van een commercial slechter zijn dan ervoor. Tegelijk is het niet logisch dat het verkeer zakt als gevolg van een commercial, dus is hier wat anders aan de hand. De verklaring is dat het positieve effect van een uitgezonden commercial lager was dan een onvoorspelbare dip in het autonome verkeer. Het aantal sessies verandert immers gedurende de dag en soms ook op een onvoorspelbare of grillige manier. 

blank

In bovenstaande grafiek zien we hoe dit werkt. Vlak voor uitzending van de commercial, begon het aantal sessies te dalen. Uiteraard houden onze modellen daar rekening mee (zie ons artikel over de baseline), maar alsnog kan de werkelijke daling sterker zijn dan de schatting van onze modellen. Als dan ook het positieve effect van de commercial onvoldoende is (bijvoorbeeld bij lage GRPs) om deze onverwacht grote daling van het autonome verkeer te compenseren, dan resulteert het in een negatieve score.

Het effect van de commercial wordt in dit geval dus onderschat.

Negatieve uplift op 0 zetten?

Nu we weten dat deze negatieve getallen niet representatief zijn voor wat er in werkelijkheid gebeurt, is de vraag wat we kunnen doen om de nauwkeurigheid van de gemeten resultaten te verbeteren? Zoals in het voorbeeld te zien is, heeft de commercial geen significant effect gehad. Om dit probleem te verhelpen zien we bij een aantal alternatieve oplossingen dat alle negatieve uplift op 0 gezet zijn. Hoewel dit misschien een goede oplossing lijkt te zijn, is het statistisch niet correct. Er zijn namelijk ook gevallen waarin precies het tegenovergestelde gebeurt, zoals in het onderstaande voorbeeld.

blank

In bovenstaande grafiek is een grote positieve uplift te zien, maar ook in deze situatie geldt dat dit resultaat insignificant is. Direct na de uitzending van de commercial nam het aantal sessies toe. Dit was geen effect van de commercial, maar werd veroorzaakt door een willekeurige schommeling in het aantal bezoekers. Wanneer je alle negatieve uplifts op 0 zet, dan zal hetzelfde moeten gebeuren in het geval van een grote positieve uplift (wat veel moeilijker te identificeren is). Als dit niet gebeurd, geven de positive resultaten een vertekend en incorrect beeld. De algemene resultaten zullen veel positiever zijn dan wat in werkelijkheid het geval is.

Conclusie

Een negatieve uplift voelt onlogisch, maar moet niet gecorrigeerd worden, bijvoorbeeld door deze op 0 te zetten.  De juiste manier is om alle metingen ongewijzigd mee te nemen in de analyse. Zo zullen de overschatte en onderschatte resultaten elkaar over een campagneperiode opheffen. Dit resulteert in meer nauwkeurige metingen.

Deel dit artikel:

Facebook
Twitter
LinkedIn