Tým doc. Jany Talašové vytvořil systém hodnocení akademických pracovníků
V posledních několika letech je v rámci zemí EU kladen velký důraz na vnitřní hodnocení kvality institucí terciárního vzdělávání – existence systému pro vnitřní hodnocení kvality je už sama o sobě považována za pozitivní signál o kvalitě dané vysoké školy. Nedílnou součástí vnitřního hodnocení kvality jsou systémy hodnocení akademických pracovníků, které jsou už dávno samozřejmostí na většině amerických univerzit a které nyní začínají být masově zaváděny i na českých vysokých školách. Tým aplikovaných matematiků vedený doc. Janou Talašovou přichází s návrhem systému hodnocení, který umožňuje sledovat a motivovat výkonnost akademických pracovníků, respektuje specifičnost postavení akademického pracovníka jako zaměstnance a komplexností svého pohledu na činnost akademického pracovníka usiluje o maximální spravedlivost hodnocení.
Hodnotit komplexně práci a celkovou vytíženost akademických pracovníků je velmi obtížné. Činnost akademických pracovníků je velice pestrá. Převážnou část jejich aktivit lze zařadit do jedné ze dvou hlavních oblastí - pedagogiky a výzkumu. Vedle toho někteří z akademických pracovníků vykonávají různé manažerské nebo akademické funkce, které jim mohou značně odčerpávat čas, po který by se jinak věnovali oběma výše jmenovaným oblastem. Vědecký tým kolem doc. Jany Talašové z Přírodovědecké fakulty navrhl systém sloužící jak k pravidelnému ročnímu zaznamenávání všech činností a výsledků jednotlivých akademických pracovníků na poli pedagogiky a výzkumu, tak také ke komplexnímu vyhodnocování shromážděných informací. Rozdíl proti ostatním modelům hodnocení akademických pracovníků používaných ve světě i v ČR spočívá především v matematickém uchopení problematiky hodnocení. Zatímco ostatní systémy hodnocení používají pro agregaci dílčích hodnocení pouze vážený průměr bodových hodnocení, model navržený týmem doc. Talašové využívá tzv. jazykově orientovaného fuzzy modelování. Tento moderní matematický nástroj má mimo jiné tu výhodu, že způsob hodnocení je popsán jazykovými prostředky a je tedy zcela srozumitelný jak pro hodnotitele, tak pro hodnocené pracovníky. V současné době se připravuje pilotní ověřování navrženého modelu hodnocení na Přírodovědecké fakultě UP. Ale vezměme to po pořádku.
Historie vzniku a vývoje modelu
Snahy o vytvoření systému hodnocení akademických pracovníků se datují na PřF UP až do roku 2006. „Naše pracoviště má tradici v oblasti metod vícekriteriálního hodnocení a bohaté zkušenosti s jejich aplikacemi. S vědomím toho, jak vysoce jsou ceněny (tj. jak velmi jsou drahé) kvalitní modely hodnocení akademických pracovníků v USA, jsem příležitostně nabídla vedení fakulty možnost využít našich znalostí metod vícekriteriálního hodnocení v této oblasti - a vedení tento nápad zaujal. S mým tehdejším doktorandem Ondřejem Pavlačkou jsme skutečně vytvořili první model ještě v roce 2006. Ideově byl inspirován jedním americkým modelem hodnocení, ale matematický způsob řešení byl zcela odlišný a překonával slabá místa původního modelu. Ačkoliv jsme měli podporu ze strany děkana naší fakulty, ukázalo se, že doba ještě nenazrála pro spuštění takového modelu.“ Od záměru se tedy v roce 2006 upustilo. Nicméně doba pokročila, modely hodnocení AP se staly poměrně běžnou záležitostí už i na českých vysokých školách. V minulém roce děkan Přírodovědecké fakulty prof. Juraj Ševčík znovu oslovil doc. Talašovou a její kolegy, aby připravili model hodnocení ke spuštění. Na jaře roku 2009 byl se základními charakteristikami modelu seznámen senát PřF. „Hodnocení akademických pracovníků jako takové mělo na senátu podporu. Zjistila jsem ale, že matematický model, na který jsme byli s kolegou Pavlačkou tak hrdí (a od r. 2006 jsme jej dále vylepšovali), je příliš komplikovaný na to, aby mohl být široce srozumitelný. Na druhé straně struktura tohoto modelu neumožňovala takové úpravy, aby dokázal splnit některé nové požadavky, které na senátu zazněly od vedení fakulty“. Tým se tedy snažil najít nové řešení, které by na vznesené požadavky bylo schopné optimálním způsobem reagovat. „Po delších diskusích jsme došli k závěru, že jediný model hodnocení, který současně splňuje podmínky velké obecnosti (má schopnost zohlednit různorodé požadavky hodnotitelů) a jasné srozumitelnosti pro všechny zúčastněné, je model, který pro výpočet agregovaných hodnocení využívá bází fuzzy pravidel. Na vývoji našeho nového modelu se podílel velmi výraznou měrou můj doktorand Mgr. Jan Stoklasa. Velkou výhodou mé spolupráce s ním je skutečnost, že je nejen mimořádně talentovaným matematikem, ale současně studuje psychologii na FF UP a personalistika je jednou z oblastí, na které se intenzivně zaměřuje.“ Nový model byl počátkem roku 2010 úspěšně otestován na jedné z kateder PřF UP. Při následné prezentaci na Akademickém senátě PřF UP na jaře tohoto roku byl model naprostou většinou hlasů podpořen. „Vývoj matematického modelu hodnocení akademických pracovníků a zejména jeho poslední verzi jsme letos představili také na několika velkých mezinárodních konferencích aplikované matematiky. Potěšitelné pro nás bylo, že zaujal i kolegy, kteří už na svých univerzitách modely hodnocení akademických pracovníků běžně používají“. Další vývoj tohoto modelu a jeho pilotní ověřování jsou zahrnuty do Individuálního projektu národního „Zajišťování a hodnocení kvality v systému terciárního vzdělávání“ Operačního programu Vzdělávání pro konkurenceschopnost.
Snaha o objektivní a komplexní pohled na činnost akademického pracovníka
„Zadáním od pana děkana bylo, aby do toho modelu byly zahrnuty jen činnosti a výsledky, které lze objektivně doložit a které jsou aspoň do jisté míry měřitelné. Snahou bylo, aby pokud možno každá činnost pracovníka, která má přínos pro fakultu, byla zohledněna. Přitom požadavky na akademického pracovníka mají záviset na pracovní pozici, kterou zastává (např. pokud jde o oblast výzkumu, mají růst od odborného asistenta po profesora). Model měl být jednoduchý v tom smyslu, aby akademickým pracovníkům nepřinášel další zbytečnou administrativní zátěž“. Další požadavky byly kladeny na výsledné hodnocení. Mělo samozřejmě maximálně odrážet přínos pracovníka fakultě. Mělo však také respektovat skutečnost, že některý pracovník tíhne víc k pedagogické, jiný vědecké činnosti (nicméně obě složky musejí být u akademického pracovníka zastoupeny). Model měl ocenit excelenci (mimořádné výsledky a nasazení) v kterékoliv z hodnocených oblastí. Model by se měl stát jedním z nástrojů řízení fakulty a zejména katedry, měl by být dostatečně srozumitelný všem akademickým pracovníkům a poskytovat jim zpětnou vazbu týkající se veškeré jejich činnosti.
„Cílem navrženého modelu není vytvářet nějaké žebříčky akademických pracovníků. Něco takového není z pohledu seriózního matematika ani možné. Čím odlišnější aktivity dáváme dohromady, tím obtížnější je rozhodnutí o vhodném nastavení parametrů agregace a tím je tedy i třeba brát výsledné agregované hodnocení s větší rezervou. To ale na druhé straně neznamená, že bychom pomocí vhodného matematického modelu nebyli schopni získat užitečnou informaci z hlediska řízení lidských zdrojů. Jen je třeba počítat s tím, že výsledná informace bude dost neurčitá. Např. jsme schopni dojít k závěru, že pracovník dosahuje téměř excelentní výkon ve výzkumu a spíše standardní v pedagogické činnost a že celkově je někde mezi velmi dobrým až excelentním výkonem.“ A v této verbální podobě (popř. také ve formě barevné škály) skutečně poskytuje navržený model výstupní data, výsledná hodnocení. Agregované hodnocení poskytuje pouze orientační informaci. Pokud např. hodnocení konkrétního pracovníka v daném roce nevychází zrovna pozitivně, je třeba se předně podívat na detailní popis činností (případně také na vývoj hodnocení v posledních letech) a doplnit i další informace, které má vedoucí pracovník k dispozici (hodnocený pracovník možná v daném roce rozjížděl organizačně náročný projekt, měl zdravotní problémy apod.), a teprve pak vyvodit závěr. Hodnocení stále zůstává manažerskou činností, která vyžaduje brát v úvahu širší kontext. Navržený model hodnocení se tuto náročnou činnost snaží usnadnit poskytnutím sice hrubé, ale stále hodnotné informace na nejvyšší úrovni agregace. Zároveň jsou však k dispozici podrobná data a částečně agregovaná s vyšší mírou přesnosti, na jejichž základě je možné hrubé agregované hodnocení lépe interpretovat.
Sledují se obě hlavní oblasti činnosti - pedagogika i výzkum
Výběr položek, které systém zohledňuje a přiřazuje jim body, je klíčový pro korektní posouzení výkonu každého pracovníka. V pedagogické oblasti se hodnotí výuka (například počet odučených hodin), vedení studentů (počet vedených diplomových prací, soutěžních prací SVOČ atd.) a také práce odvedená v souvislosti s rozvojem studijních oborů (např. příprava akreditací).
„U pedagogických činností se při bodovém hodnocení vychází především z jejich časové náročnosti, ale zohledňujeme i odbornou stránku věci. Něco jiného je třeba vést bakaláře a něco jiného vést doktoranda. Jdeme i do detailů. Zohledňujeme například, že někdo zavádí zcela nový předmět, druhý dostal poprvé výuku některého předmětu a třetí učí stejný předmět posledních 10 let – bodová hodnocení jsou pro každý případ jiná, odrážejí rozdílný čas nutný k přípravě výuky. Taky bereme určitým způsobem úvahu, jestli někdo má na kurzu tři nebo padesát studentů, všecko tohle se projeví.“
V oblasti vědecké práce slouží jako základní měřítko stávající metodika hodnocení vědy a výzkumu známá jako „kafemlejnek“. Navržený systém hodnocení AP však zohledňuje i výstupy, které nejsou v rámci platné metodiky bodovány (např. prezentace výsledků na konferencích, psaní učebnic nebo např. publikace v zahraničních recenzovaných neimpaktovaných časopisech); bodové hodnocení těchto výsledků je ale nižší než u výsledků uznávaných v rámci platné metodiky. Dále je do hodnocení výkonu ve vědecko-výzkumné oblasti zahrnuta také organizační činnost spojená s vědou a výzkumem – např. vedení grantů, členství v redakčních radách nebo popularizace vědního oboru. „Základem bodového hodnocení v oblasti výzkumu je platná metodika hodnocení VaVaI, tedy tzv. kafemlejnek; přes všechny námitky, které vůči tomuto modelu jako specialisté v oblasti metod hodnocení máme, rozumíme takovému požadavku vedení naší fakulty. Navíc v blízké době se dají očekávají změny v této oficiální metodice a věříme, že budou k lepšímu. Současně předpokládáme, že základní výsledky, které jakákoliv rozumná nová metodika může sledovat, budeme mít obsaženy v našich formulářích a změnit přiřazená bodová hodnocení pak nepředstavuje žádný problém. Model jsme vytvářeli s vědomím toho, že jej může být v budoucnu nutné upravit - sladit s novou metodikou. Tato případná úprava je možná a neovlivní zásadním způsobem filozofii či funkčnost modelu.“ Hodnocení výsledků v oblasti výzkumu vycházející z platné metodiky hodnocení VaVaI se snaží odrážet kvalitu a odbornost výsledků; např. u kvalitních časopiseckých publikací hodnocení výsledku dramaticky roste v závislosti na postavení časopisu v rámci oboru. Na rozdíl od toho v hodnocení pedagogické činnosti převažuje pohled časové náročnosti hodnocených aktivit. „Jde o hodnocení na škálách lišících se nejen měřítkem, ale i svým charakterem.“. Vedle výkonu akademického pracovníka v obou zmíněných oblastech se v rámci modelu sleduje také jeho zatížení manažerskou činností a akademickými funkcemi (vedoucí katedry, proděkani, děkan, předseda akademického senátu apod.). Tyto činnosti se ale nehodnotí, vstupují do modelu pouze jako aktivity, které připravují akademického pracovníka o čas, který mohl využít pro výzkum nebo pedagogickou činnost. Jednotlivým funkcím je přiřazen odhad části pracovní doby, kterou daná aktivita vyžaduje; opět je tedy použita naprosto odlišná škála.
Problémy s agregace hodnocení – hlavní musí být srozumitelnost modelu
Hodnocení v rámci každé z obou hodnocených oblastí (pedagogika, výzkum) se vypočte jako celkový dosažený počet bodů za realizované aktivity, vztažený ke standardnímu počtu bodů definovanému pro danou pracovní pozici. Problém nastává, pokud chceme vypočítat celkové hodnocení výkonu za pedagogickou i vědeckovýzkumnou oblast. Aby mohly být splněny všechny požadavky zadavatelů modelu, nebylo možné použít nějaký jednoduchý agregační model. „Fuzzy expertní systém, který jsme zvolili, má tu přednost, že je schopen namodelovat libovolný tvar agregační funkce. Jedná se přitom o zvláštní typ model. Pracuje se dvěma úrovněmi popisu – jazykovou, dobře srozumitelnou člověku, kde agregační funkce má podobu pravidel popsaných v přirozeném jazyce (pro dvě proměnné lze použít tabulku, viz…), a fuzzy, kterou lze uložit do počítače, protože jde o klasický matematický popis. Fuzzy expertní systém pracuje se speciálním druhem proměnných, jejichž hodnoty jsou opět vyjádřeny slovy a významy těchto slov jsou modelovány fuzzy čísly. S použitím těchto struktur lze jak hodnocení v obou hodnocených oblastech (pedagogika, výzkum), tak agregované hodnocení výkonu akademického pracovníka, popsat opět verbálně.“ Příklad výstupu z modelu ve formě slovního hodnocení je uveden na obr. …. Analogický postup je použije v navazujícím modelu, kde se zohledňuje zatížení pracovníka jeho akademickými funkcemi a manažerskou činností pro orientační stanovení jeho celkové vytíženosti.
V Evropě jsou podobné systémy běžné
Na amerických, kanadských či australských univerzitách je využívání podobných systémů zcela běžnou praxí. Také v Evropské unii se ukazuje trend, že zavádění podobných systémů hodnocení se bude realizovat na všech vysokých školách. „My máme nyní možnost udělat si model přesně podle svých potřeb a požadavků. Jinak za nějakou dobu převezmeme odněkud hotový produkt, kterému se budeme muset přizpůsobit.“ Systém olomouckých matematiků je na velmi vysoké odborné úrovni a poskytuje možnost zohledňovat opravdu detailní informace o každém pracovníkovi. „Je důležité, aby matematický aparát fungoval, tak, jak má. O podobné systémy se snaží i na jiných školách, ale často to nedopadá dobře, protože ti lidé často nemají potřebné matematické znalosti z oblasti metod hodnocení.“ Kladný ohlas, který výše popsaný model hodnocení vyvolává na prestižních mezinárodních konferencích svědčí o tom, že olomoučtí matematici soustředění v týmu kolem doc. Talašové skutečně mají co nabídnout. „Pro úspěšné zavedení modelu do praxe je však ještě nezbytné jeho prověření a odladění na reálných datech. Jakmile tento proces proběhne, bude mít Přírodovědecká fakulta Univerzity Palackého k dispozici unikátní model hodnocení akademických pracovníků, který bude v maximální míře vyhovovat jejím potřebám.“
Musí se zohlednit všecko dobré, co každý člověk dělá
Systém je zatím připraven k použití na Přírodovědecké fakultě. „Rozšíření na celou univerzitu v této chvíli neplánujeme. Celý systém chceme nejdříve odladit a odzkoušet na Přírodovědecké fakultě. Ideový základ systému a v něm použitý matematický aparát ovšem dává předpoklady k využití na libovolné fakultě nebo vysoké škole. Proto se také s naším typem modelu hodnocení počítá v tom velkém národním projektu o kvalitě vysokých škol. Informační základ navrhovaného systému má i širší využití než pouze pro oblast řízení lidských zdrojů. „Některé informace v systému obsažené lze použít třeba k propagaci pracoviště nebo navazování kontaktů s praxí. Zveřejněním vybraných výsledků lze např. ukázat, jaké věc a na jaké úrovni se na daném pracovišti dělají a tak získat zakázku z komerční sféry.“ Shromážděné informace jsou užitečné i pro samotné akademické pracovníky (přípravu podkladů pro grantové přihlášky, habilitace nebo pravidelná výběrová řízení). „Je to i dobrý pocit, když pak člověk vidí záznam o všech svých aktivitách a výsledcích za několik let zpátky a může si říct – toto vše jsem opravdu udělal. Máme ověřené, že už to, že pracovník své výsledky vykazuje, že je o nich přehled, ho motivuje k tomu, dosahovat jich víc a významnějších. Musí ale platit, že se bude opravdu zohledňovat všecko dobré, co akademický pracovník pro své pracoviště (katedru, fakultu) dělá. A to je právě jeden z hlavních atributů našeho systému.“
T. Chalupa ve spolupráci s doc. J. Talašovou a Mgr. J. Stoklasou, foto archiv doc. J. Talašové
Obr. 1: Báze pravidel
Obr. 2: Hodnotící funkce
Obr. 3: Výstup modelu
Doc. Jana Talašová, CSc., pracuje na Katedře matematické analýzy a aplikací matematiky PřF UP. Její výzkumná činnost je zaměřena na teorii a metody vícekriteriálního hodnocení a na oblast fuzzy množin a jejich aplikací. Významných výsledků dosáhla zejména v oblasti fuzzy metod vícekriteriálního hodnocení. Vytvořila vlastní teoretickou koncepci fuzzy hodnocení a na jejím základě velmi obecný matematický nástroj k řešení úloh vícekriteriálního hodnocení - tzv. řešič, který se svým týmem mladých kolegů a doktorandů dále rozvíjí. Podílela se na vzniku několika softwarových produktů pro podporu rozhodování; výsledky výzkumu posledních let jsou implementovány v softwaru FuzzME. Má zkušenosti s aplikacemi metod vícekriteriálního hodnocení a rozhodování při řešení úloh velkého rozsahu. V posledních letech se zaměřuje na využití matematických metod hodnocení v oblasti vysokého školství. Je známa např. svými kritickými analýzami vzorců pro rozdělování finančních prostředků na specifický výzkum VŠ. V současnosti její tým pracuje na tvorbě matematického modelu hodnocení tvůrčích výsledků uměleckých VŠ. Jako expert v oblasti matematických metod hodnocení se účastní řešení Individuálního projektu národního „Zajištování a hodnocení kvality v systému terciálního vzdělávání“ OP VK. Univerzitu Palackého zastupuje ve sněmu RVŠ; zastává zde funkci místopředsedkyně pracovní komise pro kvalitu VŠ a její hodnocení.
Aktuální zpravodajství a publicistiku z Univerzity Palackého najdete na stránkách Žurnálu Online.
