Verantwoording

Onafhankelijk en sectorgericht

De ConjunctuurWijzer werkt in opdracht van brancheverenigingen. Daarbij is van groot belang dat de onafhankelijkheid van de meting kan worden gegarandeerd. Allereerst wordt vastgesteld in hoeverre een branchevereniging representatief is voor een hele sector, waarover de Conjunctuurwijzer uitspraken wil doen, aan de hand van SBI indeling van het CBS. Vervolgens worden email-adressen verzameld van de ondernemingen die binnen die definitie vallen, zowel leden als niet-leden. De directie van de betreffende branchevereniging treedt op als afzender van de peiling. Dat verhoogt de respons onder de eigen leden en onderstreept het belang van de vereniging bij niet-leden. De onafhankelijkheid van de Conjunctuurenquête wordt ook verankerd door de afspraak dat de Conjunctuurenquête de uitkomsten altijd op zijn website publiceert, ook als de uitkomsten voor de branche minder positief zijn.

De vraagstelling sluit aan op de Conjunctuurenquête Nederland

De vraagstelling van de bedrijfsmatige kenmerken (omzet, inkomsten, uitgaven, personeel, investeringen) is direct ontleend aan de Conjunctuurenquête Nederland van het CBS, de Kamer van Koophandel en VNO NCW en MKB Nederland. Ook de financieel economische stemmingsindicator is daarvan afgeleid. Dit zorgt voor onderlinge vergelijkbaarheid en vergelijkbaarheid met de rest van Nederland.
Daarnaast wordt in overleg met de betreffende branchevereniging een aantal inhoudelijke vragen gesteld (kwaliteit en omvang van voorstellingen/respectievelijk de collectie, ontwikkeling van nieuwe soorten reizen) waarmee ook een inhoudelijke ontwikkeling kan worden vastgesteld.
Een derde categorie vragen betreft de wisselende actualiteitsvraag (vragen), waarmee een actueel onderwerp bevraagd kan worden (b.v. in 2015 afstoting collecties bij Musea en Personeelsbeleid bij Poppodia). Voor elke editie wordt een aparte actualiteitsvraag geformuleerd.

Statistisch verantwoord: populatieonderzoek en non-respons onderzoek

De vragenlijst wordt opgemaakt met behulp van Survey Monkey, één van de toonaangevende online enquête-instrumenten. De statistische analyses (A/B berekeningen, significantie van verschillen) worden eveneens met dit programma gedaan.
Er is gekozen voor toezending van de vragenlijst aan de gehele onderzoekspopulatie omdat daarmee een zo groot mogelijk aantal ondernemers binnen de sector worden bereikt en ook de respons toeneemt. Daarmee kunnen differentiaties in de beantwoording kunnen worden uitgevoerd (groot versus klein, noord versus zuid, podia versus festivals e.d.). Ook draagt deze aanpak bij aan de bekendheid en wordt in de loop van de tijd de deelname aan het instrument vergroot.
Om zeker te weten dat de uitkomsten niet worden vertekend door de non-respons wordt bij elke editie een telefonisch non-respons onderzoek gehouden onder ten minste 10 respondenten. Daarin wordt gevraagd naar de redenen van de non-respons en wordt op 3 kenmerken dezelfde vragen gesteld als in het onderzoek zelf, zodat nagegaan kan worden of en in welke mate de non-respons afwijkt.

Weging

Voor een juiste weergave van de uitkomsten worden deze gewogen naar omvang. De peiling bij een museum met 500.000 bezoekers telt zwaarder dan die van een museum met 15.000 bezoekers. Deze weging vindt plaats als blijkt dat er verschillen in beantwoording bestaan. Ook voor de samenvattende stemmingsindicator voor alle kunsten of de hele reisbranche worden sectoren gewogen naar hun relatieve belang binnen de sector als geheel.

Berekening van het Ondernemersvertrouwen

De ConjunctuurWijzer sluit in de berekening van het ondernemersvertrouwen aan op de definities en berekeningen van de Conjunctuurenquête Nederland (COEN) van het Centraal Bureau voor de Statistiek. Door deze koppeling is het mogelijk om het vertrouwen van (sub)branches te vergelijken met elkaar en met Nederland.
De Conjunctuurenquête Nederland wordt uitgevoerd sinds 2008. Daarin wordt een panel van 5.000 ondernemers maandelijks gevraagd naar de resultaten van hun bedrijf over de afgelopen maand en wordt ze gevraagd een schatting te geven van de komende maand. Eens per kwartaal wordt deze steekproef opgehoogd tot 6.500 en wordt een kwartaalindex samengesteld en gepubliceerd door het CBS, de Kamer van Koophandel en VNO/NCW-MKB Nederland. Deze publicatie is terug te vinden bij het CBS als tabellen en bij het Ondernemersplein als pdf publicatie.

De kenmerken waarnaar in de COEN wordt gevraagd zijn:

  • omzet
  • personeel
  • investeringen
  • verkoopprijzen / tarieven
  • buitenlandse verkoop/export

Bij elk van deze kenmerken wordt gevraagd of men groei of krimp rapporteert (afgelopen maand/kwartaal) of verwacht (komende maand/kwartaal).
Per kenmerk wordt het saldo berekend van het percentage ondernemers dat groei meldt, verminderd met het percentage dat krimp rapporteert. Het gemiddelde over de vijf kenmerken vormt het ondernemersvertrouwen voor de betreffende respondent. Vervolgens weegt het CBS elk antwoord naar de grootte van het betreffende bedrijf binnen de betreffende sector. In totaal onderscheidt het CBS 22 (deel) sectoren waarvoor afzonderlijke vertrouwensindexen worden berekend. Daarna wordt een totaal gemiddelde berekend op basis van weging naar het aandeel van de diverse sectoren binnen het BPP.
Om met de ConjunctuurWijzer een vergelijkbare indicator te bepalen worden in de bedrijfsmatige deel van de vragenlijst dezelfde vragen gesteld. Daarin zijn de volgende verbijzonderingen aangebracht.
In geval een instelling mede afhankelijk is van subsidie wordt dit onderdeel van de omzet apart gemeten. Samen met de omzet uit eigen verkoop (kaartjes, toegang) wordt één omzetcijfer berekend, waarbij weging plaats vindt naar het aandeel dat de afzonderlijke inkomensstromen binnen de totale omzet vertegenwoordigen. Bij een gemiddelde van 30% subsidie en 70% eigen inkomsten, weegt de subsidiestroom voor 30% en de eigen inkomstenstroom voor 70% mee.
Hetzelfde geldt voor de categorie investeringen. Hierin wordt vaak afzonderlijk gevraagd naar uitgaven voor het programma, gebouw, aankoop collectie. Hiervan wordt een gemiddelde ‘investeringsindex’ berekend die enkelvoudig meetelt in de weging van het ondernemersvertrouwen.
Verkoopprijzen/tarieven komen niet in alle vraagstellingen voor. De reden daarvan is dat veel verkoopprijzen in b.v. theatervoorstellingen of concertuitvoeringen te zeer uiteen lopen (elke voorstelling zijn eigen prijzen en rangen) om daar een snel een eenduidig antwoord op te kunnen geven. In dat geval worden ‘prijzen’ in de vaststelling van het ondernemersvertrouwen niet meegenomen, maar wordt volstaan met de omzetverwachting.
Buitenlandse verkoop/export is niet in elke subsector van de ConjunctuurWijzer relevant (een poppodium exporteert niet) en wordt dan ook niet meegenomen.
Toegevoegd is een algemene vraag naar ‘klimaat’ in de betreffende sector. Deze overkoepelende algemene vraag wordt ook bij de COEN soms gesteld en dan meegewogen in het totaal. Ook in België is een dergelijke algemene vraag opgenomen als onderdeel van de vertrouwensindex.

Bij de eerste afleveringen van de ConjunctuurWijzer werd zowel een bedrijfsmatige als een inhoudelijke vertrouwensindex bepaald. De inhoudelijke index bleek niet makkelijk te begrijpen en door soms onvergelijkbare eenheden misverstanden op te roepen. Daarom is besloten de inhoudelijke factoren niet meer om te rekenen tot één index, maar ze apart te benoemen.

Poppodia en festivals – vertrouwensindex

  • inkomsten publiek x % aandeel
  • inkomsten overheden en fondsen x % aandeel
  • betaalde medewerkers
  • concurrentiepositie
  • live popklimaat
  • uitgaven aan programma

Gedeeld door 5 (€ publiek en overheden tellen samen voor 1 factor).
Toename publiek is niet meegenomen want dubbelt met € publiek.
Uitgaven aan programma zijn bij bedrijfsmatig ondergebracht.

Vereniging van Schouwburg- en Concertgebouwdirecties – vertrouwensindex

  • Inkomsten publiek x % aandeel
  • Inkomsten overheden en fondsen x % aandeel
  • Betaalde medewerkers
  • Concurrentiepositie
  • Podiumkunstklimaat
  • Uitgaven een programma

Gedeeld door 5 (inkomsten aandelen tellen samen voor 1 factor).
Toename publiek is niet meegenomen want dubbelt € publiek

Uitgaand Toerisme – vertrouwensindex

  • omzet
  • prijsniveau
  • besteding per boeking
  • winst
  • omvang van het personeel
  • concurrentiepositie van je onderneming
  • reisklimaat in het algemeen

Bedrijfsmatige index is gemiddelde van omzet t/m reisklimaat = 7 kenmerken
De kenmerken  ‘aantal boekingen’ en ‘aantal reizigers’ zijn niet meegenomen, want die dubbelen met het kenmerk ‘omzet’

Musea – Vertrouwensindex

  • publieksinkomsten (entree, horeca en zakelijke verhuur)
  • inkomsten van overheden en overheidsfondsen
  • inkomsten uit sponsoring/giften van particulieren en bedrijven
  • aantal medewerkers van het museum
  • concurrentiepositie in ons verzorgingsgebied
  • museumklimaat in het algemeen

De Bedrijfsmatige index is het gemiddelde van publieksinkomsten t/m museumklimaat, met weging van de verhouding publiek-overheid-sponsoring aan de hand van de verdeling van Museana. Omvang bezoek is weggelaten omdat deze dubbelt met € bezoek.

statline.cbs.nl/

Audit NHTV- Leisure Academy

De Leisure Academy van de NHTV te Breda heeft in februari 2017 een audit uitgevoerd. De conclusie van de audit luidt:

Samenvattend kan worden geconcludeerd dat de vragenlijsten en berekeningen juist zijn opgezet en uitgevoerd en correct op de website zijn weergegeven. Wel behoeft de kwaliteit van het onderzoek op onderdelen verbetering. Dat geldt in het bijzonder de omvang, uitvoering en verantwoording van het non-respons onderzoek. De samenstelling van beide indexen (bedrijfsmatig en inhoudelijk) uit de verschillende elementen in de vragenlijsten dient op inhoudelijke gronden te worden geoptimaliseerd, en expliciet te worden verantwoord. Deze aspecten lijken onderzoekstechnisch gezien eenvoudig aangepast te kunnen worden.

Breda, 3 februari 2017
Dr. Pieter de Rooij
Dr. Marcel Bastiaansen

In maart 2017 zijn gesprekken gevoerd met de deelnemende branches om zo de indexen te optimaliseren. Dat heeft geleid tot de beslissing de inhoudelijke factoren niet meer om te rekenen tot één index, maar ze apart te rapporteren. Het volledige auditrapport vindt u hieronder.

Audit Conjunctuurwijzer (februari 2017)
De ConjunctuurWijzer is een graadmeter voor het vertrouwen binnen een aantal sectoren, onder andere cultuur en toerisme. Hans Onno van den Berg en Bert Koopman zijn de initiatiefnemers van deze Conjunctuurwijzer. Academy for Leisure (AfL) van NHTV Internationaal Hoger Onderwijs Breda heeft in 2015/2016 geparticipeerd in de Conjunctuurwijzer. Op verzoek van de initiatiefnemers hebben Pieter de Rooij en Marcel Bastiaansen een audit uitgevoerd naar de kwaliteit van het onderzoek. In deze rapportage worden de resultaten van de audit beschreven.
De volgende auditvragen worden beantwoord:
– Vragenlijst: is de vraagstelling valide en betrouwbaar?
– Onderzoekspopulatie: is de response representatief voor de gehele sector?
– Non-response onderzoek: is de uitvoering en de beschrijving van de resultaten voldoende om de uitkomsten indien nodig bij te stellen?
– Indexcijfer: kloppen de berekeningen om tot 1 indexcijfer te komen?
– Website: is de vertaalslag van de uitkomsten naar het verslag op de website voldoende?
In overleg met de initiatiefnemers is ervoor gekozen om een sector centraal te stellen (poppodia). De audit heeft plaats gevonden op basis van de volgende documenten die in november / december 2016 zijn ontvangen:
– Vragenlijst poppodia 2016 – 1
– Voortgangsprotocol 2016 -1
– Resultaten VNPF 2016 -1 (excel bestand)
– Vergelijking naar grootte bezoek
– Vergelijk naar regio
Daarnaast is de website geraadpleegd op 31 januari 2017.

Vragenlijst
De meeste vragen zijn valide en betrouwbaar. De meeste vragen worden helder gesteld en hebben betrekking op eenduidige begrippen. De vragen over de uitgaven en de inkomsten hebben betrekking op de belangrijkste uitgavenposten en inkomstenposten van poppodia (VNPF, presentatie 13 januari 2017). Een overweging is om de publieksinkomsten te splitsen naar ‘entree’ en ‘horeca’. De vraag over de ‘kwaliteit van het programma’ en over ‘live popklimaat’ is onvoldoende specifiek om te beantwoorden omdat de begrippen op meerdere manieren kunnen worden geïnterpreteerd (bijvoorbeeld: ‘top acts’, ‘opkomende bands’, ‘diversiteit aan genres’). Met andere woorden: Wat meet je precies? Het advies is om in samenwerking met de VNPF deze vragen te herformuleren.

Onderzoekspopulatie en representativiteit
In totaal zijn 116 enquêtes verstuurd en hebben 44 poppodia de vragenlijst ingevuld. In algemene zin is de response in absolute aantallen voldoende om representatief te kunnen zijn voor de sector. De VNPF leden zijn echter oververtegenwoordigd.
De verslaglegging kan verbeterd worden. Het document ‘voortgangsprotocol’ blijkt te bestaan uit een aantal onderdelen: (1) voortgang response, (2) non-respons onderzoek en (3) representativiteit. Het is logischer om de representativiteit te beschrijven voordat het non-respons onderzoek wordt behandeld. In het document wordt alleen de representativiteit van VNPF leden besproken. Er kan dus niet worden vastgesteld of het onderzoek representatief is voor de gehele sector. Verder zijn bij ‘regioverdeling’ en ‘grootte’ de aantallen onduidelijk omdat de response hoger lijkt te zijn dan het aantal VNPF leden. De term ‘aard’ blijft onduidelijk. Op basis van beperkte informatie kan worden geconcludeerd dat er een ondervertegenwoordiging is van ‘groot’ en ‘west’ en een oververtegenwoordiging van ‘zuid’.
Er zijn verder twee documenten waarin de resultaten worden vergeleken voor wat betreft de ‘grootte van het bezoek’ en de ‘regio’. De absolute aantallen zijn te laag om een statistische toets uit te voeren. Daarom kunnen er geen uitspraken worden gedaan over de homogeniteit van de resultaten naar ‘grootte’ en ‘regio’ en is derhalve een uitsplitsing niet verantwoord. De resultaten kunnen alleen op geaggregeerd niveau worden verwerkt. De initiatiefnemers volgen deze gedachtelijn en verwoorden de informatie hieromtrent op de website correct.

Non-response onderzoek
Het is prima om een dergelijk onderzoek uit te voeren ten einde een selectie-bias te voorkomen. Het aantal vragen (5) lijkt voldoende voor het non-response onderzoek. In totaal hebben 72 poppodia niet gereageerd, waarvan er 20 telefonisch zijn benaderd. Uiteindelijk hebben er met 10 poppodia gesprekken plaatsgevonden, waarvan slechts 7 een aantal vragen hebben beantwoord. Slechts 4 poppodia hebben alle vragen beantwoord. Het is daarnaast onduidelijk hoe de selectie heeft plaatsgevonden (zijn de respondenten bijvoorbeeld wel of niet VNPF-lid?). De uitvoering en de beschrijving van de resultaten zijn dus onvoldoende om de uitkomsten indien nodig bij te stellen.

Indexcijfer
In het algemeen is de berekening conform andere bestaande indexcijfers (zie bijvoorbeeld: https://www.nbb.be/nl/statistieken/opinie-enquetes/methodologie). Er worden in het onderzoek twee indexcijfers berekend: ‘bedrijfsmatig’ en ‘inhoudelijk’. De berekening is correct (behoudens een kleine opmerking: ‘verwachting 2016 – 2’: het aantal wordt gedeeld door 44 (bijvoorbeeld rij 23), maar het aantal moet worden gedeeld door 43 (zie rij 16); dit heeft geen grote gevolgen voor de uiteindelijke uitkomst).
Er worden echter een paar opvallende keuzes gemaakt die niet helder zijn: De factor ‘uitgaven programma’ wordt wel meegenomen bij ‘vertrouwensindex bedrijfsmatig’, maar de ‘uitgaven gebouw en inrichting’ wordt niet meegenomen bij deze index. De ‘uitgaven gebouw en inrichting’ wordt echter wel meegenomen bij de index ‘inhoudelijk’.
De conclusie is dat de berekeningen van de indexcijfers correct zijn uitgevoerd. De kenmerken die de beide indexcijfers bepalen zijn soms verwarrend en moeten worden verduidelijkt.

Website
De volgende pagina is beoordeeld: http://conjunctuurwijzer.nl/cultuur/poppodia-en-festivals (op 31 januari 2017). De documenten die we hebben ontvangen hebben betrekking op een andere periode dan waarover de website informatie geeft. Hoewel we de informatie dus niet goed kunnen checken, is de indruk dat de excel gegevens zijn overgenomen en zijn vertaald naar de website. Dit is een logische keuze. In de presentatie van de gegevens bij de legenda wordt het verschil tussen ‘poppodia inhoud’ en ‘poppodia bedrijf’ niet duidelijk (omdat de stippellijn niet zichtbaar is).
Op de website wordt vermeld: ‘Op twee kenmerken (publieksverwachting en ontwikkeling van het popklimaat) is nagegaan of en in welke mate de non-respons andere verwachtingen had dan degenen die wel geantwoord hebben. Dat blijkt vooralsnog (er zijn er nog een paar te gaan) niet het geval.’ We stellen vast dat dit niet valt niet te concluderen op basis van onze gegevens van het non-response onderzoek. Wellicht heeft er voor de periode 2016 – 2 een ander non-response onderzoek plaatsgevonden. Daarnaast wordt op de website vermeld: ‘De respons is daarmee representatief voor de vraagstelling.’ Qua terminologie zou dat moeten zijn: de steekproef is representatief. Eerder is echter vastgesteld dat we dit niet kunnen concluderen.

Samenvattend kan worden geconcludeerd dat de vragenlijsten en berekeningen juist zijn opgezet en uitgevoerd en correct op de website zijn weergegeven. Wel behoeft de kwaliteit van het onderzoek op onderdelen verbetering. Dat geldt in het bijzonder de omvang, uitvoering en verantwoording van het non-respons onderzoek. De samenstelling van beide indexen (bedrijfsmatig en inhoudelijk) uit de verschillende elementen in de vragenlijsten dient op inhoudelijke gronden te worden geoptimaliseerd, en expliciet te worden verantwoord. Deze aspecten lijken onderzoekstechnisch gezien eenvoudig aangepast te kunnen worden.
Breda, 3 februari 2017
Dr. Pieter de Rooij
Dr. Marcel Bastiaansen
Academy for Leisure, NHTV Internationaal Hoger Onderwijs Breda

Contact:

Vragen en opmerkingen kunt u sturen naar: info@conjunctuurwijzer.nl


of direct naar:

Hans Onno van den Berg


Bert Koopman


27
aug
Cultuurindex op Paradisodebat
6
sep
Vakantiebeurs