hindamise uurimine ja hindav uurimine
Traditsiooniliselt on uurimine ja praktika iseseisvad, sõltumatud ning eraldi valdkonnad. Hindamine aga asub nende kahe võtmepositsiooni vahel ning hindajatel lasub suur roll neid omavahel ühendada. Kui hindamise ulatus on piiritletud ning huvid on kindlaks tehtud, saab konkreetse hindamise juures konstrueerida vajalikud küsimused. Praktikud ja teadurid seisavad silmitsi ainulaadsete väljakutsetega, kus hindamise eesmärk on ainult süsteeme lahendada. Praktikute dilemma seisneb selles, et kohalikul tasandil palutakse neil näidata hindamise mõju ja tulemusi pikemas perspektiivis ning neilt oodatakse selle tegemist võimalikult väheste ressurssidega. (Urban & Trochim, 2009)
Hindamine ja planeerimine mängib süsteemset ja keskset rolli juhtudel, kus on vaja levitada tulemusi ja lahendada seeläbi reaalselt maailmas toimuvaid probleeme. Hindajatel on siinkohal tegelikult vahendeid ning nad peavad vastutama, et aidata ühendada paremini teooria ja praktika, mis on suunatud sotsiaal – ja haridussuuna edendamisele. Hindamise dünaamika rõhuasetus seisneb selle põhjalikus modelleerimises, eriti mudelite puhul, mis hõlmavad tagasisideringe (Richardson, 1991; Richardson, 1996, viidanud Urban & Trochim, 2009).Veel hiljuti, hindamise dünaamika tegi hõlpsamaks struktureeritud osalusmeetodite kasutamine. Hindamise juures on tähtis meeles pidada, et visuaalsetel diagrammidel, mis põhinevad teoreemidel (Chen & Rossi, 1983, viidanud Urban & Trochim, 2009) ja loogikal, on oluline areng hindamise ajaloos. (Bickman, 1987; McLaughlin & Jordan, 1999; W.K. Kellogg Foundation, 2004, viidanud Urban & Trochim, 2009). Näiteks teooria poolt juhitud hindamine tugineb eeldusele, et vahepealne sekkumine hindamises peab olema põhjendatud ning seostatud. Selle hindamise praktika on näidanud, et see on võimas vahend paljude hindajate jaoks. See aitab hindajatel mõista, kuidas hindamise programmid/mudelid töötavad, mida on vaja selleks et need funktsioneeriksid. (Sidani & Sechrest,1999; Weiss, 2000, viidanud Urban & Trochim, 2009). Varasemalt vaadeldi hindamist lihtsalt kui „musti kaste“, mis sai sisendit ning tootis väljundit. Arendades hindamist ja selle teooriat, võimaldatakse hindajatel vaadata sellesse „musta kasti“ ning uurida põhjalikumalt hindamise mehhanisme, mis viivad meid soovitud tulemuseni. (Bickman, 1987, viidanud Urban & Trochim, 2009)
Hindamise teooriad kirjeldavad ja määratlevad, mida hindajad teevad või peaksid tegema hindamise läbiviimisel. Hindamise teooriad täpsustavad hindamise eesmärke, hindamise kasutamist ja kasutajaid, kes osalevad hindamisprotsessis ja millisel määral, üldist tegevust ja strateegiaid, meetodite valikuid, rolle, hindaja vastutust. (Fournier, 1995; Smith, 1993, viidanud Coryn, Noakes, Westine, Schröter, 2011)
Stufflebeam ja Shinkfield (2007, viidanud Coryn, Noakes, Westine, Schröter, 2011) väidavad, et juhul kui hindajad ei lähtu hindamisteooriast, on oluline neilt küsida, miks seda ei tehta. Võib juhtuda, et lähenemised ei ole piisavalt liigendatud üldiseks kasutuseks või praktikud ei ole piisavalt pädevad, et neid ellu viia. Samuti võib olla, et lähenemisviisidel puuduvad piisavad tõendid selle kohta, kas nende kasutamisel ilmnevad vajalikud hindamise tulemused. (Coryn, Noakes, Westine, Schröter, 2011)
Kuigi hindamisel on mitmeid variatsioone ning nende tähendus ja kasutus tihti erineb, on termini "teooriapõhine hindamine" all mõeldud sellist hindamist, kus iga hindamise strateegia või lähenemine selgesõnaliselt integreerib ja kasutab sidusgruppi, sotsiaalteadusi, ja muid teooriaid kontseptualiseerides, kavandades, läbi viies, tõlgendades ning rakendades hindamist. (Coryn, Noakes, Westine, Schröter, 2011)
Teooriapõhisel hindamisel on kaks elulist komponenti. Esimene neist on kontseptuaalne, teine empiiriline (Rogers et al,. 2000, viidanud Coryn, Noakes, Westine, Schröter, 2011). Kontseptuaalne teooriapõhine hindamine peaks lahti seletama teooria programmi või mudeli. Empiiriline teooriapõhine hindamine uurib, kuidas programmid põhjustavad taotluslikke või vaatluslikke tulemusi.
Kokkuvõtlikult, teooria-põhine hindamise tajutav väärtus seisneb teadmiste loomises ja programmi mehhanismide seletamises , mitte ainult selles, kas eelnimetatud on efektiivne või efektiivsem (see tähendab põhjuslikku kirjeldust ja seost A ja B vahel). Selliseid hindamisi ei ole tehtud ainult kujundava ja kokkuvõtva hindamise eesmärkidel (Scriven, 1967, viidanud Coryn, Noakes, Westine, Schröter, 2011), vaid millele Chelimsky (1997, viidanud Coryn, Noakes, Westine, Schröter, 2011 ) ja Patton (1997, 2008, viidanud Coryn, Noakes, Westine, Schröter, 2011) viitavad – hoopis teadmiste loomisse, mustrite tõhustamisse.
Viimastel aastatel on tekkinud uus huvi hindamise uurimise teooriate ja meetodite vastu. Samuti on järjest enam uuritud teooria ja praktikate omavahelisi seoseid. Järjest enam uuritakse erinevaid meetodeid, praktikaid ning tulemusi, tehakse süstemaatilisi ülevaateid antud teemadel, uuritakse hindamise kavandamist ja disaini, samuti konkreetseid teemasid, näiteks, kuidas hindamise käigus omandatud andmed mõjutavad otsuse tegijaid jms (Coryn, Noakes, Westine, Schröter, 2011).
Alljärgnevalt toome välja hindamise uurimise käigus selgunud aspekte. Järgnevate aspektide nagu tagasiside ja kujundava hindamise mõju on uuritud, kahtluse alla seatud ning uuringute käigus välja selgitatud järeldused:
Täiskasvanuhariduses on kujundav hindamine ja tagasiside endiselt õpetajate vastutusalas. Tagasiside kontseptsioon on üleüldises mõttes ülekandeprotsess, kuigi mitmed mõjukad uurijad on hiljuti selle seisukoha kahtluse alla seadnud (Sadler, 1998; Boud, 200; Yorke, 2003, viidanud Nicol & Macfarlane‐Dick, 2006)
Ülekandeprotsess tähendab, et õpetajad annavad õppijatele edasi informatsiooni, mis nende akadeemilises töös on õige ja vale, millised on tugevused ja nõrkused, ning õppijad kasutavad seda, et teha järeldusi ning asjakohaseid parandusi.
Protsessi puuduseks on arvatud asjaolu, et mitte alati ei jõua info õppijani selliselt nagu ülekandja seda eeldab ning seetõttu võib kuluda suur ajahulk analüüsile või ei osata infot praktikas üldse rakendada (Ivanic et al., 2000); Higgins et al., 2001, viidanud Nicol & Macfarlane‐Dick, 2006). Teiseks on väline tagasiside näidanud mõju sellele, kuidas õppijad ennast tunnevad ja endasse usuvad. Uurimused näitavad (Garcia, 1995, viidanud Nicol & Macfarlane‐Dick, 2006), et uskumused võivad mõjutada tagasiside sõnumeid.
On mitmeid arvestatavaid uuringutulemusi, mis kinnitavad, et efektiivne tagasiside viib paremate õppimistulemusteni. Must ja Wiliam (1998, viidanud Nicol & Macfarlane‐Dick, 2006) juhtisid tagasiside kohta kokku üle 250 uuringu alates 1988. aastast. Uuringute meta-analüüsist selgus, et tagasiside toob suurendatud teadmisi ja oskusi ja saavutused õppimises paranevad. Kuigi Blacki ja teiste uurimused on avaldanud suurt mõju praktikale koolides, pole paraku selle mõju suurust osatud veel hinnata täiskasvanuhariduses.
Mitmed uurijad on leidnud, et lisaks tagasiside sõnumite kvaliteedile peaks rohkem rõhku pöörama ka õppijate enesehindamisele (Boud, 200; Yorke, 2003, viidanud Nicol & Macfarlane‐Dick, 2006). Sadler (1989, viidanud Nicol & Macfarlane‐Dick, 2006) on leidnud, et õppijad, kes tegelevad enesehindamisega, saavutavad õppimises märkimisväärset progressi, isegi kui väline tagasiside, mis nad saavad, on vähene. See on probleem, kui tegemist on suurte gruppidega ning hindaja ei suuda tagada vajalikku hindamiskvaliteeti.
Hindamise uurimisel on välja toodud kujundava hindamise olulisuse aspekti (Dunn, Mulvenon, 2009):
Uuringud on näidanud, et õppijate saavutused/õpitulemused suurenevad põhjaliku ja usaldusväärse kujundava hindamise tulemusena. Seega on oluline arendada hindamispraktikaid ja statistilisi meetodeid, mis omakorda toodavad võimsaid ja positiivseid muutusi õppija arengus. (Dunn, Mulvenon, 2009)
Hindav uurimus (evaluation research) on tõlgendatav, kui hindamise meetod, mis kasutab sotsiaalseid uurimismeetodeid hindamise eesmärgil. Mõned indiviidid liigitavad hindava uurimuse spetsiifiliseks uurimuse meetodiks. Hindava uurimuse juures on oluline, et selged oleksid hindamise eesmärgid ning need oleksid kõigile üheselt mõistetavad. (Powell, 2006, 102-103)
Varasemalt on teoreetikud nagu Griffiths ja King (1991, viidanud Powell, 2006) välja toonud, et hindava uurimuse põhimõtted (Powell, 2006, 102-103):
Hindamine ja planeerimine mängib süsteemset ja keskset rolli juhtudel, kus on vaja levitada tulemusi ja lahendada seeläbi reaalselt maailmas toimuvaid probleeme. Hindajatel on siinkohal tegelikult vahendeid ning nad peavad vastutama, et aidata ühendada paremini teooria ja praktika, mis on suunatud sotsiaal – ja haridussuuna edendamisele. Hindamise dünaamika rõhuasetus seisneb selle põhjalikus modelleerimises, eriti mudelite puhul, mis hõlmavad tagasisideringe (Richardson, 1991; Richardson, 1996, viidanud Urban & Trochim, 2009).Veel hiljuti, hindamise dünaamika tegi hõlpsamaks struktureeritud osalusmeetodite kasutamine. Hindamise juures on tähtis meeles pidada, et visuaalsetel diagrammidel, mis põhinevad teoreemidel (Chen & Rossi, 1983, viidanud Urban & Trochim, 2009) ja loogikal, on oluline areng hindamise ajaloos. (Bickman, 1987; McLaughlin & Jordan, 1999; W.K. Kellogg Foundation, 2004, viidanud Urban & Trochim, 2009). Näiteks teooria poolt juhitud hindamine tugineb eeldusele, et vahepealne sekkumine hindamises peab olema põhjendatud ning seostatud. Selle hindamise praktika on näidanud, et see on võimas vahend paljude hindajate jaoks. See aitab hindajatel mõista, kuidas hindamise programmid/mudelid töötavad, mida on vaja selleks et need funktsioneeriksid. (Sidani & Sechrest,1999; Weiss, 2000, viidanud Urban & Trochim, 2009). Varasemalt vaadeldi hindamist lihtsalt kui „musti kaste“, mis sai sisendit ning tootis väljundit. Arendades hindamist ja selle teooriat, võimaldatakse hindajatel vaadata sellesse „musta kasti“ ning uurida põhjalikumalt hindamise mehhanisme, mis viivad meid soovitud tulemuseni. (Bickman, 1987, viidanud Urban & Trochim, 2009)
Hindamise teooriad kirjeldavad ja määratlevad, mida hindajad teevad või peaksid tegema hindamise läbiviimisel. Hindamise teooriad täpsustavad hindamise eesmärke, hindamise kasutamist ja kasutajaid, kes osalevad hindamisprotsessis ja millisel määral, üldist tegevust ja strateegiaid, meetodite valikuid, rolle, hindaja vastutust. (Fournier, 1995; Smith, 1993, viidanud Coryn, Noakes, Westine, Schröter, 2011)
Stufflebeam ja Shinkfield (2007, viidanud Coryn, Noakes, Westine, Schröter, 2011) väidavad, et juhul kui hindajad ei lähtu hindamisteooriast, on oluline neilt küsida, miks seda ei tehta. Võib juhtuda, et lähenemised ei ole piisavalt liigendatud üldiseks kasutuseks või praktikud ei ole piisavalt pädevad, et neid ellu viia. Samuti võib olla, et lähenemisviisidel puuduvad piisavad tõendid selle kohta, kas nende kasutamisel ilmnevad vajalikud hindamise tulemused. (Coryn, Noakes, Westine, Schröter, 2011)
Kuigi hindamisel on mitmeid variatsioone ning nende tähendus ja kasutus tihti erineb, on termini "teooriapõhine hindamine" all mõeldud sellist hindamist, kus iga hindamise strateegia või lähenemine selgesõnaliselt integreerib ja kasutab sidusgruppi, sotsiaalteadusi, ja muid teooriaid kontseptualiseerides, kavandades, läbi viies, tõlgendades ning rakendades hindamist. (Coryn, Noakes, Westine, Schröter, 2011)
Teooriapõhisel hindamisel on kaks elulist komponenti. Esimene neist on kontseptuaalne, teine empiiriline (Rogers et al,. 2000, viidanud Coryn, Noakes, Westine, Schröter, 2011). Kontseptuaalne teooriapõhine hindamine peaks lahti seletama teooria programmi või mudeli. Empiiriline teooriapõhine hindamine uurib, kuidas programmid põhjustavad taotluslikke või vaatluslikke tulemusi.
Kokkuvõtlikult, teooria-põhine hindamise tajutav väärtus seisneb teadmiste loomises ja programmi mehhanismide seletamises , mitte ainult selles, kas eelnimetatud on efektiivne või efektiivsem (see tähendab põhjuslikku kirjeldust ja seost A ja B vahel). Selliseid hindamisi ei ole tehtud ainult kujundava ja kokkuvõtva hindamise eesmärkidel (Scriven, 1967, viidanud Coryn, Noakes, Westine, Schröter, 2011), vaid millele Chelimsky (1997, viidanud Coryn, Noakes, Westine, Schröter, 2011 ) ja Patton (1997, 2008, viidanud Coryn, Noakes, Westine, Schröter, 2011) viitavad – hoopis teadmiste loomisse, mustrite tõhustamisse.
Viimastel aastatel on tekkinud uus huvi hindamise uurimise teooriate ja meetodite vastu. Samuti on järjest enam uuritud teooria ja praktikate omavahelisi seoseid. Järjest enam uuritakse erinevaid meetodeid, praktikaid ning tulemusi, tehakse süstemaatilisi ülevaateid antud teemadel, uuritakse hindamise kavandamist ja disaini, samuti konkreetseid teemasid, näiteks, kuidas hindamise käigus omandatud andmed mõjutavad otsuse tegijaid jms (Coryn, Noakes, Westine, Schröter, 2011).
Alljärgnevalt toome välja hindamise uurimise käigus selgunud aspekte. Järgnevate aspektide nagu tagasiside ja kujundava hindamise mõju on uuritud, kahtluse alla seatud ning uuringute käigus välja selgitatud järeldused:
Täiskasvanuhariduses on kujundav hindamine ja tagasiside endiselt õpetajate vastutusalas. Tagasiside kontseptsioon on üleüldises mõttes ülekandeprotsess, kuigi mitmed mõjukad uurijad on hiljuti selle seisukoha kahtluse alla seadnud (Sadler, 1998; Boud, 200; Yorke, 2003, viidanud Nicol & Macfarlane‐Dick, 2006)
Ülekandeprotsess tähendab, et õpetajad annavad õppijatele edasi informatsiooni, mis nende akadeemilises töös on õige ja vale, millised on tugevused ja nõrkused, ning õppijad kasutavad seda, et teha järeldusi ning asjakohaseid parandusi.
Protsessi puuduseks on arvatud asjaolu, et mitte alati ei jõua info õppijani selliselt nagu ülekandja seda eeldab ning seetõttu võib kuluda suur ajahulk analüüsile või ei osata infot praktikas üldse rakendada (Ivanic et al., 2000); Higgins et al., 2001, viidanud Nicol & Macfarlane‐Dick, 2006). Teiseks on väline tagasiside näidanud mõju sellele, kuidas õppijad ennast tunnevad ja endasse usuvad. Uurimused näitavad (Garcia, 1995, viidanud Nicol & Macfarlane‐Dick, 2006), et uskumused võivad mõjutada tagasiside sõnumeid.
On mitmeid arvestatavaid uuringutulemusi, mis kinnitavad, et efektiivne tagasiside viib paremate õppimistulemusteni. Must ja Wiliam (1998, viidanud Nicol & Macfarlane‐Dick, 2006) juhtisid tagasiside kohta kokku üle 250 uuringu alates 1988. aastast. Uuringute meta-analüüsist selgus, et tagasiside toob suurendatud teadmisi ja oskusi ja saavutused õppimises paranevad. Kuigi Blacki ja teiste uurimused on avaldanud suurt mõju praktikale koolides, pole paraku selle mõju suurust osatud veel hinnata täiskasvanuhariduses.
Mitmed uurijad on leidnud, et lisaks tagasiside sõnumite kvaliteedile peaks rohkem rõhku pöörama ka õppijate enesehindamisele (Boud, 200; Yorke, 2003, viidanud Nicol & Macfarlane‐Dick, 2006). Sadler (1989, viidanud Nicol & Macfarlane‐Dick, 2006) on leidnud, et õppijad, kes tegelevad enesehindamisega, saavutavad õppimises märkimisväärset progressi, isegi kui väline tagasiside, mis nad saavad, on vähene. See on probleem, kui tegemist on suurte gruppidega ning hindaja ei suuda tagada vajalikku hindamiskvaliteeti.
Hindamise uurimisel on välja toodud kujundava hindamise olulisuse aspekti (Dunn, Mulvenon, 2009):
- Uuringud on näidanud, et kujundaval hindamisel on toetav mõju õppija õpitulemustele- ja saavutustele.
- Kujundav hindamine toetab uuringute läbiviimist, mille tõhusam metoodika ja kujundus toob kaasa rohkem lõplike tulemusi ja arusaamist kujundava hindamise mõjust ja hindamisest õppija saavutusele.
Uuringud on näidanud, et õppijate saavutused/õpitulemused suurenevad põhjaliku ja usaldusväärse kujundava hindamise tulemusena. Seega on oluline arendada hindamispraktikaid ja statistilisi meetodeid, mis omakorda toodavad võimsaid ja positiivseid muutusi õppija arengus. (Dunn, Mulvenon, 2009)
Hindav uurimus (evaluation research) on tõlgendatav, kui hindamise meetod, mis kasutab sotsiaalseid uurimismeetodeid hindamise eesmärgil. Mõned indiviidid liigitavad hindava uurimuse spetsiifiliseks uurimuse meetodiks. Hindava uurimuse juures on oluline, et selged oleksid hindamise eesmärgid ning need oleksid kõigile üheselt mõistetavad. (Powell, 2006, 102-103)
Varasemalt on teoreetikud nagu Griffiths ja King (1991, viidanud Powell, 2006) välja toonud, et hindava uurimuse põhimõtted (Powell, 2006, 102-103):
- Hindamisel peab olema eesmärk;
- Ilma kindla eesmärgita ei ole võimalik hinnata;
- Hindamine peab olema rohkemat, kui lihtsalt kirjeldav - peab olema seotud indiviidi, esitluse ning eesmärgiga;
- Hindamine on vahendiks õppijate ning juhendaja vahel.