In de analysefase krijgt het vooronderzoek een verdiepingsslag. Die bestaat uit vier onderdelen: 1 een behoefteanalyse 2 een contextanalyse 3 een literatuurstudie 4 en het bestuderen van goede voorbeelden.

Behoefte analyse:

De app: • moet de student toegang geven tot de treden in zijn competentie ontwikkeling binnen elke gewenste tijd en ruimte. • moet lerend gedrag van studenten zichtbaar maken aan vakcoaches; • dient de theoretische achtergrond te koppelen aan praktisch handelen; • moet validatie van leren door vakcoaches bevorderen.

Context analyse:

De app: • dient goed te functioneren binnen een flexibel maatwerk competentiegericht curriculum van MBO 1 en MBO 2; • moet passen bij de leerstijl van de MBO 1/2 student; • met een beperkte tijdsinvestering van vakcoaches en studenten uitgevoerd te kunnen worden.

Literatuurstudie

De theoretische basis geeft ook richting aan de formulering van de ontwerpprincipes waarop de interventie gebaseerd is. Een ontwerpprincipe is een criterium dat in de vorm van een voorspelling gerelateerd is aan wetenschappelijke literatuur. Een helder geformuleerde theoretische basis maakt die basis ook toegankelijk voor kritiek en bijstelling. Wanneer we op grond van ervaringen en evaluaties gedurende het ontwerpproces de theoretische uitgangpunten kunnen bevestigen, nuanceren of bijstellen leveren we een bijdrage aan de kennisontwikkeling. Dat is de essentie van onderzoek, dus ook van ontwerponderzoek.

De formulering van de criteria op basis van deze literatuurstudie krijgt dan de vorm van een ontwerpprincipe: Als je interventie X wilt ontwerpen, met als doel Y, Z, dan is het verstandig om de interventie de kenmerken A, B en C mee te geven (van den Akker, 1999). Een dergelijke formulering vormt de basis voor empirische toetsing.

Stap 1: Kennisdomeinen afbakenen: case-based learning MBO 1-2, ontwerpen van app, Implentatie Viewbricks = video-rubrics ofwel rubrics met video modelling examples: vaardigheid, performance indicators, aantal treden van waardering / levels of appreciation, gewicht van de criteria: wijze van zichtbaar maken van groei op aantrekkelijke wijze door middel van positieve prikkels: goud-zilver-brons.

Stap 2: Bepalen waar team bijdrage aan kennisontwikkeling wil leveren: case based learning en implentatie van valideren via video-rubrics. Functionaliteit van digitaal beoordelingsinstrument • Beschikbaar maken van rubrieken en videovoorbeelden om generieke vaardigheden aan te leren • Voorkomen stapels papierwerk • Gemakkelijk samen systematisch feedback geven en ontvangen tijdens oefenen vaardigheden: • Automatisch en overzichtelijk bijhouden van prestaties en voortgang • Persoonlijk feedbackrapport op prestaties • Inzicht in hetgeen goed gaat en hetgeen nog beter kan door (kern)tips en tops • Individuele reflectie op prestatie.

1. Inloggen 2. Keuze leeractiviteit 3. Keuze vaardigheid 4. Keuze leerling 5. Beoordelen (fictieve) leerling met rubriek 6. Geven van tips en tops 7. Beoordeling insturen 8. Uitloggen

Docent: Stappen “Beoordelen prestatie leerling” 1. Inloggen 2. Keuze klas 3. Keuze leerling 4. Keuze leeractiviteit 5. Keuze vaardigheid 6. Beoordelen (fictieve) leerling met rubriek 7. Geven van tips en tops 8. Beoordeling insturen 9. Uitloggen

Bron: https://dspace.ou.nl/bitstream/1820/8838/1/Presentatie%20NOT_final.pdf

Stap 3: Plan van aanpak literatuuronderzoek: volledige literatuurresearch op gebied van case-based learning en viewbricks. App-ontwikkeling met daarbij reverse engineering: het analyseren van de ontwikkeling van de app om de ontwerpeisen en/of de werkzame bestanddelen te identificeren.

Ontwikkelen van een eerste interventie-prototype De oplossingsrichting met de meeste potentie vormt het startpunt voor de ontwikkeling van het eerste prototype. Dit prototype heeft vaak een schetsmatig karakter en dient vooral om aan anderen zo concreet mogelijk duidelijk te maken wat de bedoelingen zijn van de ontwerpers. Raadplegen van experts is vaak de eerste formatieve evaluatie die uitgevoerd wordt. Het prototype en de achtergrond ervan wordt met de experts besproken met als doel na te gaan of de algemene ontwerpprincipes adequaat geconcretiseerd zijn en om zoveel mogelijk suggesties voor verbetering te verkrijgen. Deze evaluatie heeft een informeel karakter, dat wil zeggen dat niet veel expliciete eisen aan de opzet en de manier van dataverzameling en – verwerking worden gesteld. ‘Kritische vrienden’ (critical friends) is een goede karakterisering van de rol die de experts in deze fase vervullen.

Verbetering van het prototype Verwerking van de evaluatieresultaten leidt tot een verbetering van het prototype. Een tweede cyclus: prototype en eindgebruikers Op grond van de afspraken voor de verbeteringen werken ontwerponderzoekers verder aan een nieuwe versie. Deze versie is vaak al geschikt om aan anderen dan de ‘kritische vrienden’ voor te leggen. In bijna alle gevallen komen dan de doelgroepen van de interventie in beeld. De evaluatie is dan gericht op het onderzoeken van de praktische bruikbaarheid van het prototype. De interventie is nog verre van volmaakt, dus een evaluatie met grote groepen is nog niet zinvol. Daarom kiezen ontwerponderzoekers vaak voor een micro-evaluatie om suggesties te verzamelen om prototype 2 te verbeteren. Een micro-evaluatie is een kleinschalige evaluatie met een beperkt aantal leden van de doelgroep (Nieveen, 1997). Doel is om in een zo vroeg mogelijk stadium informatie te krijgen over de praktische bruikbaarheid. Daarnaast is een micro-evaluatie uitermate geschikt om allerlei onvolkomenheden op te sporen. De micro-evaluatie is als volgt opgezet: één van de leden van het ontwerponderzoeksteam maakt video-opnamen van het gesprek tussen mentor en student. Na afloop van het gesprek interviewt de onderzoeker de studenten en mentoren afzonderlijk. Het ontwerponderzoeksteam bekijkt de video’s van de gesprekken en analyseert de interviewgegevens. Op basis van de resultaten worden verbeterpunten geformuleerd. Deze vormen de basis van het 3e prototype.

Na twee verschillende typen evaluatie en de afwegingen en beslissingen over de resultaten zijn de meeste projecten zo ver, dat er kan worden gewerkt in de richting van een eindproduct. Het prototype dat nu ontwikkeld wordt, heeft al alle kenmerken van een eindversie. De evaluatie van dit prototype wordt ook grootschaliger en formeler aangepakt. In een try-out wordt het prototype aan een realistische praktijktest onderworpen. De opzet van zo’n try-out is een activiteit die de nodige denkkracht vraagt. De ontwerponderzoekers staan nu voor de taak het doel van de try-out scherp te formuleren en de uitvoering ervan planmatig aan te pakken. Het gaat er nog steeds om aanwijzingen voor verbetering op te sporen, maar de koppeling met de ontwerpprincipes komt nu veel nadrukkelijk naar voren. Ontwerponderzoekers gaan in deze fase systematisch na of ze de idealen die ze vooraf geformuleerd hebben in de praktijk kunnen waarmaken. Deze vergelijking heeft ook tot doel een bijdrage aan de kennisontwikkeling te leveren. Realiseren van dit doel vraagt om een evaluatieopzet die ook methodisch goed doordacht en geëxpliciteerd moet zijn. De ontwerpprincipes worden getoetst aan de realiteit. Indien deze principes blijken ‘te werken’ is dat een ondersteuning voor de theoretische redenering waarop het principe gebaseerd is. Blijkt het principe niet zoals bedoeld te werken, dan is aanscherping van de achterliggende redenering nodig.

Ontwerponderzoek levert een bijdrage aan de oplossing van een onderwijsprobleem in de vorm van een interventie. Ook levert ontwerponderzoek kennis op over de achterliggende principes van een interventie. Tevens kan een ontwerponderzoek onverwachte resultaten opleveren, die in de vorm van tentatieve ontwerpprincipes nader beproefd kunnen worden.

Criteria voor de kwaliteit van ontwerponderzoek In deze paragraaf gaan we kort in op een aantal kwaliteitscriteria die direct samenhangen met het uitvoeren van ontwerponderzoek. De discussie is meeromvattend dan we hier kunnen weergeven. We verwijzen daarom naar het boek Educational Design Research onder redactie van Van den Akker, e.a. (2006). Dit boek bevat drie hoofdstukken die exclusief gewijd zijn aan kwaliteitscriteria voor ontwerponderzoek en ook auteurs van andere hoofdstukken besteden aandacht aan dit onderwerp. Ontwerponderzoekers streven naar meervoudige kwaliteit. Het eerste criterium voor een ontwerponderzoek is de theoretische kwaliteit van het ontwerp. Dat wil zeggen dat de ontwerponderzoekers aantonen dat in hun interventie recente wetenschappelijke inzichten adequaat vertaald zijn. De adequate vertaling van inzichten in het leren van leraren met behulp van cases en inzichten rond beginnende geletterdheid bepaalt mede de theoretische kwaliteit van de interventie van het team van de Makarenko Academie. We kunnen een ontwerp ook beoordelen op interne en externe consistentie. Bij interne consistentie gaat het om de mate waarin de verschillende componenten van de interventie op een logische manier met elkaar samenhangen. Het gaat hier om het vakmanschap van het ontwerpteam om doelen, inhouden, leeractiviteiten en wijze van beoordeling goed op elkaar af te stemmen. Zou het team van de Makarenko Academie besloten hebben om bij de studenten een multiple choice toets af te nemen over vakdidactische principes rond beginnende geletterdheid, dan is dat niet consistent met het doel van de interventie om die principes ook toe te passen in de lespraktijk van het basisonderwijs. Het multimediale portfolio als toetsvorm is een keuze die wel consistent is met het doel. Een interventie dient ook extern consistent te zijn, dat wil zeggen in overeenstemming met de verwachtingen van de verschillende betrokkenen en haalbaar binnen de randvoorwaarden. Door rekening te houden met de afspraken die met stagescholen gemaakt zijn, draagt het team van de Makarenko Academie bij aan de externe consistentie van het ontwerp. Kwaliteitscriteria zijn ook te relateren aan de praktische bruikbaarheid van de interventie. Deze bruikbaarheid wordt beoordeeld aan de hand van de meningen en de ervaringen van de direct betrokkenen. Bij onderwijsinterventies gaat het dan vooral om leraren en leerlingen. Zij beoordelen of de interventie in de dagelijkse onderwijspraktijk ’werkt’. De interventie die het team van de Makarenko Academie ontworpen heeft scoort hoger op praktische bruikbaarheid naarmate opleidingsdocenten, mentoren en studenten de interventie waarderen en er graag mee willen werken. Bij ontwerponderzoek is dit een belangrijk kwaliteitscriterium. Immers als direct betrokkenen een interventie niet als bruikbaar ervaren is de kans dat ze ermee (blijven) werken gering. En daarmee komt de beoogde praktijkverbetering, een belangrijke reden om ontwerponderzoek uit te voeren, in gevaar. Tot slot zijn er criteria die te maken met effectiviteit. In praktische zin betekent effectiviteit de mate waarin het onderwijsprobleem – dat de aanleiding vormde voor het ontwerponderzoek – is opgelost. Verkleinen van de kloof tussen theorie en praktijk was een criterium voor effectiviteit van de interventie die het Makarenko Academie team ontworpen heeft. De vraag of de voorspelde verbeteringen in de kwaliteit van het leerproces en de leerresultaten ook zijn opgetreden zijn een indicator voor de kwaliteit van de interventie. Bij het Makarenko team gaat het er dan bijvoorbeeld om of de ontworpen leertaak ook daadwerkelijk leidt tot een indringende bestudering van de multimedia casus. De kosteneffectiviteit is ook belangrijk. Immers, een kostbare interventie kan het onderwijsprobleem tijdelijk oplossen en tot aanwijsbare verbeteringen in leerresultaten leiden, maar te duur zijn om blijvend te implementeren. Zo kunnen bijvoorbeeld intensieve vormen van samenwerking tussen opleiders en mentoren vanuit projectgelden gefinancierd worden. Valt deze financiering echter weg, dan is die intensieve samenwerking ook niet meer haalbaar.

Ontwerponderzoek in vogelvlucht 26

Tot slot In dit artikel hebben we een overzicht gegeven van ontwerponderzoek als een manier om tegelijkertijd te werken aan een interventie die tot praktijkverbetering leidt als aan kennisontwikkeling. Ontwerponderzoek bouwt vooral voort op bestaande theoretische inzichten en levert voor een deel een bijdrage aan het beproeven en nuanceren van die inzichten. Voor het rigoureus testen van theorieën is deze methodologie niet geschikt. Hiervoor is experimenteel onderzoek een betere methode, omdat daarmee het toetsen van alternatieve hypothesen mogelijk wordt. En hoewel deelname aan een ontwerponderzoek de professionele ontwikkeling van deelnemers kan bevorderen, is dit meer een neveneffect dan een doel op zich. Als dit laatste de bedoeling is dan is actieonderzoek een betere methode, omdat hiermee beter kan worden aangesloten bij de specifieke mogelijkheden van de onderzoeker. Tot slot is ontwerponderzoek ongeschikt om beschrijvingen te geven van grotere populaties, hiervoor is survey-onderzoek de aangewezen methode. (Voor een uitgebreidere vergelijking van verschillende onderzoeksmethoden zie: Van den Berg, Kouwenhoven & Van den Akker, in voorbereiding). Ontwerponderzoek roept de vraag op wanneer er sprake is van ontwerpen en wanneer van ontwerponderzoek. In dit artikel hebben we aangegeven, dat aan het begin (wanneer ontwerpprincipes geformuleerd worden op basis van theoretische inzichten) er sprake is van een onderzoeksmatige invalshoek. Immers deze principes worden gaandeweg het traject op hun geldigheid onderzocht. Deze onderzoeksactiviteit komt in een standaard ontwerpproject niet voor. Ook de sterke inbedding in de wetenschappelijke literatuur en nagaan in hoeverre dit adequaat is gebeurd, zie je veel minder terug in een ontwerpproject. Ook is er bij ontwerponderzoek meer aandacht voor formatieve evaluaties dan bij een standaard ontwerpproject. Aan het einde van een ontwerponderzoek worden er ook stringentere methodische eisen aan de opzet en uitvoering van die evaluaties gesteld. Bij een ontwerptraject is dat niet gebruikelijk. Ontwerponderzoek houdt volgens Dede (2004) ook een aantal risico’s in. Hij noemt de volgende:

• Design blur.
Dede constateert dat veel ontwerponderzoeken te vaag zijn; hij roept ontwerponderzoekers op specifiek te zijn over wat ze gaan ontwerpen.

• Design creep.
Dede is van mening dat het ontwerp en de condities waaronder het ontwerp succesvol is helder van elkaar gescheiden dienen te worden. Gebeurt dat niet, dan is het ontwerp niet falsifieerbaar. Immers het falen kan worden toegeschreven aan het ontbreken van condities die voor succes nodig zijn.

• Design dump.
Hier wijst Dede op de grote hoeveelheid data die ontwerponderzoekers doorgaans verzamelen, zonder zich af te vragen hoe al deze gegevens binnen hun onderzoek passen. Ontwerpgerichte onderzoeken zijn, naar zijn mening, veelal ‘underconceptualized’ en ‘over-methodologized’.

Er wordt te weinig over de theoretische kaders nagedacht en er worden teveel gegevens verzameld zonder dat die in een kader passen, Kortom, de uitkristallisering van een methodologie van ontwerponderzoek vraagt nog de nodige aandacht. Voor leraren en lerarenopleiders lijkt ontwerponderzoek wel een perspectiefrijke richting, omdat zij onderbouwd kunnen werken aan systematische verbetering van de eigen praktijk en tevens een bijdrage kunnen leveren aan kennisontwikkeling. Deze kennisontwikkeling heeft vooral het karakter van verder onderbouwen of nuanceren van theoretische inzichten.

REFERENTIES

Akker, J. van den, McKenney, S., Nieveen, N., & Gravemeijer, K. (2006). Introducing educational design research. In J. van den Akker, K. Gravemeijer, S. McKenney, & N. Nieveen (Eds.), Educational design research (pp. 3-7). London: Routledge. Barab, S., & Squire, K. (2004). Design-based research: Putting a stake in the ground. Journal of the learning sciences, 13(1), 1-14. Blijleven, P. (2005). Multimedia cases. Naar een brug tussen theorie en praktijk. Proefschrift. Enschede: Universiteit Twente. Dede, C. (2004). Commentaries: If Design-Based Research is the Answer, What is the Question? A Commentary on Collins, Joseph, and Bielaczyc; diSessa and Cobb; and Fishman, Marx, Blumenthal, Krajcik, and Soloway in the JLS Special Issue on Design-Based Research. Journal of the learning sciences, (13), 1, p. 105 -114. Nieveen, N.M. (1997). Computer support for curriculum developers. A study on the potential of computer support in the domain of formative curriculum evaluation. Proefschrift. Enschede: Universiteit Twente. Plomp, Tj. (1982). Onderwijskundige technologie: Enige verkenningen. Inaugurele rede. Enschede: Universiteit Twente. Pieters, J.M., Plomp,Tj., & Odenthal, L. (red) (1999). 20 jaar Toegepaste Onderwijskunde. Een kaleidoschcopisch overzicht van Twents onderwijskundig onderzoek. Enschede: Twente University Press. Berg, E. van den, Kouwenhoven, W., & Akker, J. van den (in voorbereiding). Ontwerponderzoek: Een praktische handleiding. Sherin, M.G., & Han, S.Y. (2004). Teacher learning in the context of a video club. Teaching and Teacher Education, 20(2), 163-183.

http://www.lerarenopleider.nl/velon/ledensite/files/2008/12/29_4_3BergKouwenhoven.pdf