Hodnocení výsledků a dopadů je jednou z klíčových fází a zároveň odbornou činností managementu napříč odvětvími. Ani sociální práce není (nebo by neměla být) výjimkou. Právě dobré vyhodnocení výsledků a dopadů sociální práce a jejich prezentace mohou přinést klíčové argumenty pro její profesionalizaci, o které se v posledních letech tolik mluví. Tento článek volně navazuje na článek autora publikovaný v tomto časopise v čísle 6/2017. Onen článek shrnuje pohled sociálních pracovníků na profesi sociální práce a jako jeden z deficitů uvádí právě špatnou prezentaci výsledků sociální práce (Vojtíšek, 2017:152–159). A nejde jen o jeden z deficitů, ale rovnou o deficit zásadní. Nyní se budeme zabývat jednou z částí problému a tím je vyhodnocení výsledků a dopadů. Bez hmatatelných výsledků se složitě obhajuje jakékoliv konání, navíc financované v drtivé většině z veřejných prostředků. S hmatatelností výsledků v sociální práci je to však velmi obtížné. Na druhou stranu lze pomocí komplexní a relevantní evaluace prezentovat výsledky a dopady sociální práce alespoň ve viditelných rysech. I Barr se při své zevrubné ekonomické kvantifikaci sociálního státu dostává i k otázce veřejných služeb (v britském prostředí především veřejného zdravotnictví a školství) a sám uvádí, že na rozdíl od výdajů na dávky jsou výdaje na služby mnohem obtížněji vyhodnotitelné. Naráží přitom na problém kauzality mezi poskytovanou intervencí a výsledkem („uzdravením“) na straně beneficienta pomoci (Barr, 1993:291–293). Dále pak k efektivitě uvádí, že ji namísto měření a striktní monetizace musíme definovat spíše zásadami a standardizovanými legálními nároky (Barr, 1993:318).

Hodnocení a vyhodnocování označujeme souhrnně pojmem evaluace. Té můžeme přičíst i jeden další efekt, a sice zhodnocování – tedy přičítání hodnoty určité činnosti. A sice hodnoty, kterou odhalujeme až evaluací a která nemusela být při plánování zamýšlena.

Evaluace a sociální práce

Evaluace patří ke každodennímu konání a činnostem ve všech oborech lidské činnosti. Je vykonávána bezděčně, intuitivně a slouží jako klíčová součást plánování. Díky manažerským teoriím se evaluace jako pojem začíná systematizovat a dostává sofistikované podoby. Teoretických podkladů k evaluacím je řada a koření z prostředí manažerských teorií. Evaluace je nedělitelnou součástí Demingova cyklu (PDCA), kde spolu s fázemi plánování, realizace a tvorby opatření tvoří základní životní cyklus každého procesu, projektu a každé činnosti (Kreitner, 2008:492).

Evaluaci v sociální práci se uceleně teoreticky věnují Cheetman a kol., kteří rozlišují evaluaci orientovanou na klienta a na službu. Navíc se snaží i formulaci principů v zajištění ekonomické efektivity (Cheetman, Fuler a kol., 2000). Můžeme nalézt i současné autory, kteří se věnují evaluacím v různých odvětvích, které využívají metody sociální práce. Dobrým příkladem je např. de St. Croix, která se systematicky věnuje měření výsledků a dopadů u ohrožené mládeže (de St. Croix, 2017).

Tématu evaluace v sociální práci se v české literatuře okrajově dotýká ve své publikaci k managementu kvality v sociální práci Malík Holasová (2014:106–108). Kromě toho představuje i pár metod vhodných pro řízení evaluace, ale jde spíše o formální kritéria kvality řízení v organizaci než o evaluaci samotné sociální práce (např. modely TQM, ISO).

Pro praktickou přípravu evaluace v oblasti sociální práce nám může dobře posloužit metodika MPSV, která vznikla pro evaluaci projektů zaměřených na sociální začleňování v rámci ESF, OP Zaměstnanost 2014–2020 (MPSV, 2015). Obsahuje popis pojmů i nástrojů pro provádění evaluací, seznamuje např. s teorií změny, evaluačním designem (evaluační maticí) nebo typy evaluačních otázek. Není však zcela návodná, k její aplikaci jsou navíc ještě třeba zkušenosti s evaluací.

Evaluační strategie (nejen) v sociální práci mohou nabývat dvou základních pojetí:

Evaluace podle standardů¹, která se zaměřuje na posuzování zjištěných skutečností podle předem definovaných hodnotících kritérií. Nazýváme jí konfirmační evaluací neboli „goal-based evaluation“ (Hendl, Remr, 2017:301), nebo také jako „standard-based evaluation“ (Stake, 2004:54–85). Sama o sobě přináší exaktnější výsledky, které však mohou mít rezervy ve validitě.

1. Evaluační strategie založená na interpretativním způsobu posuzování zjištěných skutečností. Interpretativních strategií je celá řada a podrobněji je popisuje např. Remr (Hendl, Remr, 2017). Bývá také nazývána jako responzivní evaluace. Její výsledky sice nemusí být tolik měřitelné a plánovatelné, na druhou stranu může lépe reagovat na vývoj situace, která je hodnocena.

Uvedené dělení má blízko i k dělení postavenému na rozdílném zaměření evaluace a aplikace v různých fázích řízení. Rozlišujeme:

• evaluaci dopadu nebo dopadovou evaluaci (MPSV ČR, 2015; Stake, 2004:37–38)

Dopadová evaluace hodnotí podle evaluačního plánu předem stanovená výkonnostní kritéria, která nazýváme klíčové ukazatele výkonnosti, bývají označována jako KPI (Key Performance Indicators), přitom je musíme definovat skutečně výkonově, nikoliv jako jednoduchou metriku (simple metrics; Savkin, 2017:21), která je srovnatelná např. s daty vykazovanými poskytovateli sociálních služeb do OK systému. KPI musí být měřitelnými kritérii (nejčastěji kvantifikovatelnými) nebo definována výsledným stavem nebo ještě lépe kýženým dopadem. Produktem dopadové evaluace jsou faktické a měřitelné výstupy podložené důkazy.

–  evaluaci procesu nebo procesní evaluaci

Jedná se o pravidelnou kontrolní a korektivní činnost, která vede ke zlepšování procesů v organizaci, jak na úrovni procesů hlavních (samotné poskytování služby), tak i procesů podpůrných (řízení PR, řízení lidských zdrojů) a řídících (strategické řízení, řízení kvality). Procesní evaluace umožňuje identifikovat silná a slabá místa v průběhu poskytování služby klientovi a hned je korigovat ať už změnou jednání např. sociálního pracovníka nebo změnou okolností poskytování (změnou postupu, úpravou pravidel apod.). Za všech okolností je procesní evaluace záměrnou činností a neprovádíme ji mimochodem. Nemůže být nahrazena ani debrífinkem, ani supervizí. I procesní evaluace by měla mít svou evaluační metodiku a harmonogram.

Z pohledu zaměření na výsledek evaluace je možné ještě rozlišovat evaluaci:

• formativní

Formativní evaluace pomáhá formovat průběh činnosti (v našem případě např. průběh poskytování intervencí), organizační nastavení, vhodnost vybraných činností nebo celých služeb vzhledem k zamýšleným cílům, výběr vhodných cílů vzhledem k zamýšleným změnám, atd. Tedy jde spíše o průběžné vyhodnocování okolností vedoucích k dosahování žádoucího stavu.

• sumativní

Cílem sumativní evaluace je posouzení efektů, kterých bylo dosaženo. A to především výsledků a dopadů než pouhých výstupů činnosti. Sumativní evaluaci ale nesmíme zaměňovat s auditem, i když v řadě charakteristik je mu podobná. Nemá však kontrolní charakter.

Srozumitelné modely pro využití výše popsaných různých typů evaluací uvádí např. Hendl (Hendl, 2015:295).

Vojtíšek podrobněji popisuje i různé úrovně nebo patra evaluace, konkrétně jde o úroveň klienta (krátkodobé i dlouhodobé výsledky na straně klienta), úroveň organizace (výsledky poskytovatelské organizace či instituce) a úroveň společnosti (společenského nebo komunitního dopadu; Vojtíšek in Šámalová, Tomeš, 2018:34–36). Tyto úrovně jsou použity i při kategorizaci výsledků v následujícím textu.

Pro úplnost je nyní třeba ještě krátce popsat rozdíl mezi jednotlivými efekty nastávajícími činností sociálního pracovníka nebo celých týmů. Evaluační teorie rozlišuje:

• výstupy – Výstupy jsou většinou „hmatatelná“ a fakticky doložitelná fakta, která jsou bezprostředním plodem vykonávané činnosti. V sociální práci výstupy známe např. ze statistik OK systému MPSV ČR, který sbírá data o počtech klientů, minutách intervencí, počtu skupin, nákladovosti na hodinu práce apod. I přesto, že může jít o užitečná data, nemusí korelovat s (žádoucími) výsledky, které jsou od sociálních pracovníků očekávány.

• výsledky – Naopak to, co se očekává od sociálních pracovníků, jsou výsledky. Výsledkem je zamýšlená změna, která má díky intervenci/činnosti nastat. Jedná se o změnu na straně klienta, která však bohužel závisí kromě schopností sociálního pracovníka do velké míry i na vůli klienta. A v takovém případě je téměř nemožné evaluovat kauzalitu mezi výsledkem a činností sociálního pracovníka. Přitom otázka měření kauzality u evaluací byla již dříve zkoumána. Remr referuje o tom, že jako metoda měření byla použita metoda experimentu s kontrolní skupinou. Posléze ale byly vyloučeny oblasti, kde takový experiment s kontrolní skupinou a randomizovaným vzorkem není validní. I intervence v praxi sociální práce splňuje tyto znaky (Remr, 2017:288).

• dopady – Dopady bývají interpretovány buď jako dlouhodobé výsledky na straně klienta nebo změny na straně třetích stran a prostředí. V našem případě změny v životě klienta vzešlé z výsledků práce s ním a dále dopady na straně komunity nebo společnosti, které nastanou díky výsledkům u klientů. Měření dopadů je vlastně ověřováním dosažení definované vize. Dopady a jejich měření by mělo být doménou hlavně zadavatelů, tj. v našem prostředí především představitelů veřejné správy a samospráv.

Při jistém zjednodušení lze provést paralelu, kterou využívají při evaluaci např. procesní modely CAF nebo model excelence EFQM. Vizi odpovídají dopady, které nastávají v dlouhodobém horizontu. Cílům odpovídají výsledky ve střednědobém horizontu a procesům odpovídají výstupy jako okamžitý efekt.

Upřímně je nutné konstatovat, že rozdíl mezi dopady a výsledky v sociální práci je mlhavý, samotní sociální pracovníci – účastníci diskusí – tento rozdíl (oprávněně) zpochybňují, a to především kvůli efektu „mrtvé váhy"².

Evaluační praxe v sociální práci

Nyní přicházíme k prezentaci interpretovaných výsledků sady 6 skupinových diskusí, které proběhly v roce 2018 a kterých se účastnilo 152 sociálních pracovníků ze 6 krajů ČR. Diskuse byly pořádány Profesní komorou sociálních pracovníků, z. s., ve spolupráci s akademickými pracovišti (VŠ a VOŠ) a veřejnými institucemi (krajské a městské úřady). Nastavení diskusních skupin odpovídalo formě In-group forum (Berg, 2004:201), která umožňuje na rozdíl od klasických focus group (Flick, 2009:31) relativně homogenní složení skupiny respondentů orientovaných stejným tématem. Složení skupin probíhalo víceméně samovýběrem.

Díky sledování a interpretaci výsledků skupinových diskusí máme solidní přehled o evaluační praxi jak v neziskových organizacích, tak v sociální práci ve veřejné správě. Přitom se nejedná pouze o shrnutí výsledků, ale i jejich reflexi autorem.

Zcela jednoznačně se ukázalo, že v měření dopadů a výsledků jsou organizace (ve kterých působí sociální pracovníci) na různé profesionální a systematické úrovni evaluace.

Velká diskuse byla vidět opakovaně ve 4 skupinách v otázce porovnání dobré sociální práce a účinné sociální práce. Část účastníků vnímá dobrou a účinnou sociální práci jako synonymum. Druhá část připouští, že někdy dobře odvedená sociální práce nemusí být účinná a naopak, tedy účinek se někdy dostaví i bez intenzivní sociální práce, může být ovlivněn jinými faktory (prostředí, zásah jiného profesionála atp.). Často také záleží na zadavateli – pokud je jím klient, je větší pravděpodobnost, že dobře provedené metody sociální práce přinesou i očekávaný výsledek (účinek), kterým je odstranění nebo nezhoršování problému nebo dosažení cíle nastaveného při dojednávání zakázky. Účinná sociální práce je podle části účastníků i tam, kde pozitivní zpětná vazba od klienta je v souladu s pozitivní sebereflexí sociálního pracovníka. A dokonce se můžeme setkat i s takovou konfigurací, kdy i přes špatný pocit sociálního pracovníka (tedy přes negativní sebereflexi – např. nepřiměřené emoce při práci s klientem, nenastolení více variant klientovi) má jeho práce s klientem pozitivní účinek na život klienta.

V následující tabulce je přehledné shrnutí nejčastějších způsobů, které pro evaluace používají sociální pracovníci ať už sami nebo v rámci řízení organizace. Pro uvedená kritéria pak mají vlastní – více či méně – sofistikované a někdy spíše intuitivní operační definice. Jak je vidět, řada kritérií je spíše intuitivních, ale zato autentických. Jsou uváděna i kritéria, která jsou velmi subjektivní a mohou nahrávat i chybám v interpretaci.

V diskusi se odrážel velký rozdíl v dosažitelnosti měření a posuzování výsledků a dopadů s ohledem na způsob sociální práce (preventivní vs. terapeutická), jakož i v poskytovatelském subjektu (soc. pracovníci ve veřejné správě vs. pracovníci v soukromém neziskovém sektoru). Proto i v následujících přehledech bude uveden přehled podle oblastí sociální práce. U pracovníků ve veřejné správě navíc není zcela jasné, kdo je klientem a zadavatelem – ohrožená osoba nebo veřejná správa / politik? Pracovníci se tak dostávají do etického dilematu, ve kterém nemají systematickou oporu. A značně to komplikuje i evaluaci. Rozdělení oblastí sociální práce v tabulkách je ovlivněno skladbou sociálních pracovníků – účastníků diskusí.

Tab. 1 Shrnutí nejčastěji používaných způsobů evaluace v sociální práci ve službách sociální péče

Efekt	Kritérium efektivity	Zdroj sběru dat a měření
Dopady a výsledky na úrovni klienta	Výsledky: získaná důvěra klienta zajištěná péče o základní potřeby stabilita zázemí klienta	individuální plány rozhovory s klienty a blízkými osobami nástroje měření spokojenosti (škálování)
	Dopady: (do)žití v domácím prostředí (u terénních služeb) zachování sebevědomí, práva na rozhodnutí ve svém a o svém životě
Dopady a výsledky na úrovni organizace	Výsledky: zajištění služby dle přání klienta	nárůst zájemců statistiky (kvantita) – měří skutečně dopady sociální práce? Nebo jen výstupy?
	Dopady: naplňování poslání organizace pozitivně motivovaný a nízkofluktuující personál
Dopady a výstupy na úrovni společnosti	Výsledky: finanční efektivita ukázka dobré praxe soc. práce	finanční porovnání typů služeb – ekonomické studie analýzy a statistiky klientů i čekatelů dostatečná síť služeb v regionu
	Dopady: posílení vztahů v komunitě síť služeb s menší finanční náročností pro společnost více informovaná společnost o možnostech sociální práce (služeb)

Zdroj: autor, 2018

 

Tab. 2 Shrnutí nejčastěji používaných způsobů evaluace v sociální práci ve službách sociální prevence

Efekt	Kritérium kvality či efektivity	Zdroj sběru dat a měření
Dopady a výsledky na úrovni klienta	Výsledky: soulad potřeby klienta a poskytované podpory – zakázka motivace nemotivovaného klienta splněný plán klienta zlepšení/nezhoršení situace klienta subjektivní spokojenost klienta se službou, i s kvalitou života	intervizní setkání evaluační rozhovor dotazníky katamnestické rozhovory
	Dopady: už není klientem služby, služby již nepotřebuje klient se samostatně funguje v běžném prostředí informuje komunitu o možnostech řešení, organizaci atd.
Dopady a výsledky na úrovni organizace	Výsledky: naplněný cíl služby (u konkrétního klienta) naplnění veřejného závazku služby sumarizované údaje o činnosti a jejich trend (spíše výkonnost sociálního pracovníka, která nevypovídá o kvalitě jeho práce)	supervize intervize dokumentace personální veřejné mínění audity, inspekce, kontroly
	Dopady: míra fluktuace sociálních pracovníků prestiž sociálních pracovníků organizace má dostatek klientů, ví se o ní
Dopady a výstupy na úrovni společnosti	Výsledky: povědomí veřejnosti o sociální síti v regionu předávání informací správcům sítě (veřejné správě) zapojení organizace do tvorby legislativy	míra sociálně patologických jevů – dopady ve veřejných statistikách úbytek společenských problémů (měří politická reprezentace) informace od dalších institucí (nesystematický sběr zpětné vazby)
	Dopady: snížení finanční zátěže (rozpočet ČR) snížení výskytu soc. patologických jevů upravená síť služeb v regionu legislativa realizovaná v praxi dobrá medializace výsledků sociální práce v konkrétních případech

Zdroj: autor, 2018

 

Tab. 3 Shrnutí nejčastěji používaných způsobů evaluace v sociální práci ve zdravotnictví

Efekt	Kritérium kvality / efektivity	Zdroj sběru dat a měření
Dopady a výsledky na úrovni klienta	Výsledky: klient má informace o dávkách a službách spokojenost a uspokojení potřeb naplněné potřeby pacienta návrat k soběstačnosti aktivní zapojení rodiny a soc. sítě pacienta Dopady: převzetí zodpovědnosti za vlastní život (běžné fungování viz Tab. 1) pečující rodina	rozhovory dotazníky dokumentace statistiky zpětné vazby od rod. příslušníků a ostatních zainteresovaných institucí
Dopady a výsledky na úrovni organizace	Výsledky: přiměřená délka pobytu v nemocnici neopakující se sociální hospitalizace zaplacená péče z pojistného od pojišťoven	statistiky akreditační a inspekční řízení neformální benchmarking na workshopech
	Dopady: prodloužení akreditace více ošetřovaných pacientů (díky rychlejší fluktuaci pacientů)
Dopady a výstupy na úrovni společnosti	Výsledky: přiměřená úhrada pojišťoven méně sociálně vyloučených osob minimální finanční zátěž rodin i státu méně syndromu vyhoření pečujících osob méně pečujících osob ztratí práci v důsledku péče	statistiky a analýzy zdravotních pojišťoven statistiky krajů a dalších subjektů
	Dopady: méně patologických jevů (bezdomovectví, domácí násilí) prevence zanedbání péče negativní: zdravotnictví supluje sociální služby negativní: zneužívání zdravotnictví neplatičem pojistného (osoby dezintegrované)

Zdroj: autor, 2018

Zajímavým zjištěním je, že ucelený systém vnitřní evaluace v organizaci je spíše ojedinělý. Nebo je za systém evaluace považován souběh několika nereflektovaně poskládaných zdrojů zpětné vazby. K tomu zřejmě může vést i prosté následování formulace standardu kvality sociálních služeb číslo 15, stejně jako standardu kvality pro SPOD číslo 11, které evaluaci vytrhávají z kontextu řízení kvality.

Tam, kde existuje systematičtější evaluace, se jen výjimečně jde ještě o krok dál, tedy ke strategické práci s výsledky evaluací, např. pro následné sledování trendů, porovnávání či argumentaci v rámci veřejné správy nebo před dárci. Často se vede „pouze“ výkaznictví – a spíše se odevzdává, než aby se analyzovalo.

Hodnocení výsledků je mezi sociálními pracovníky opakovaně založeno na subjektivním vnímání vlastní profesionality, odbornosti a „dobrého pocitu, že se to podařilo“. Z pohledu formativní i sumativní evaluace je to sice těžko měřitelný, snad i irelevantní, ale pro vědomí dobře odvedené práce velmi důležitý aspekt nejen autoevaluace, ale i motivace pracovníků k další práci. Kromě autoevaluace je téměř u všech sociálních pracovníků (včetně těch ve výkonu kontroly ve veřejné správě) velmi důležitým zdrojem pro hodnocení výsledků zpětná vazba, a sice zpětná vazba od klienta. A to i přesto, že u preventivní sociální práce bývá méně častá než ve službách péče nebo v poradenství. Při diskusích o zdrojích zpětné vazby dále uvádějí i význam zpětné vazby od kolegů z pracoviště. Dobře podaná zpětná vazba je vnímaná jako prvek posilující týmovou spolupráci. Třetím zdrojem zpětné vazby jsou další spolupracující instituce, která se projevuje i tím, že vznikne důvěra ve spolupráci a probíhá např. předávání klienta, spolupráce na případu atd.

Poslední poznámkou nebo postřehem z diskusí je i fakt, že řada evaluačních kritérií definovaných sociálními pracovníky je negativně vymezena (absence negativních zpětných vazeb, dočasně stabilizovaná situace, absence pochybení apod.) a získávána náhodně z vnějšího prostředí (výsledky kontrol, inspekcí, spokojenost politiků).

Na závěr nám nechávají diskutující dvě otázky, které je možné ponechat v této podobě pro další zkoumání:

• „Posuzujeme úspěch (účinnost) sociální práce pro teď, nebo pro život?“ Tedy zda výsledek intervence v horizontu 1 roku je pro úspěch v životě produktivní, nebo kontraproduktivní?
• „Potřebuje sociální práce standardizaci, nebo bude lépe ji nechat diverzifikovanou dle osobnostních kvalit a aplikačních schopností sociálních pracovníků?“

Závěrečné doporučení k evaluaci v sociální práci

Namísto klasického shrnujícího závěru (který by jen shrnoval shrnutí) jsou předložena doporučení, která vznikla jako reakce na poznání stavu evaluace mezi sociálními pracovníky. Jsou výsledkem autorovy kritické reflexe a jsou formulovány pro praxi.

Nejen u preventivní sociální práce nebo při výkonu dohledu a kontroly je třeba se zaměřit na posuzování správné diagnostiky, správně stanovených cílů, správné aplikace postupů. Zároveň i na jejich konkrétní provázanost. Je třeba používat spíše procesní evaluaci. Výsledkem preventivní sociální práce může být i správná aplikace a reflexe postupů vzhledem k diagnostice a cílům³. A to zvláště v případě nemotivovaných klientů. Díky aplikaci procesní evaluace můžeme postupně vytvářet i standardizované postupy. Toto doporučení je mj. v intencích evaluačních metod v procesu sociální práce (Cheetman, Fuler, 2008:48–55). Má i blízko k metodice „process tracing“ (Schulte-Meklenbeck a kol., 2011), která se k takové evaluaci hodí. Měření změny (posunu) na úrovni klienta není totiž příliš validní. Obecně sociální pracovník musí nést odpovědnost za správnost procesu práce s klientem, nikoliv za výsledky, které jeho intervence přináší.

Na druhou stranu, pokud chce sociální práce pozitivní prezentaci, neobejde se do budoucna bez jasně formulovaných výsledků. Pokud si profese sociální práce chce vybudovat vespolečnosti své pevné a respektované místo, nezbyde než začít lépe systematizovat koncepční a legislativní práci na evaluacích v sociální práci, a to zejména v evaluacích dopadových.

______________

¹  Nikoliv standardů kvality sociálních služeb, ale standardů obecně – tedy jakýchkoliv normativních kritérií.

² Efekt mrtvé váhy je jednou z chyb při interpretaci evaluačních zjištění. Mluví o tom, že intervencím podléhajícím evaluaci jsou přičítány efekty, které mohly nastat i bez intervence.

³ Je třeba se ptát spíše: Byl správně definován problém a potřeba? Byly správně nastaveny cíle vzhledem k poznání problému? Byly vhodně zvoleny postupy práce vzhledem k cílům? Přinášejí postupy očekávané výsledky v očekávaném čase? Proč ne? atd. 

 

Petr Vojtíšek

Petr Vojtíšek je absolventem a nyní odborným asistentem Katedry sociální práce FF UK. Od roku 2006 působí ve vedoucích pozicích v sociálních službách, zabývá se managementem v sociální práci a sociální politice. Od roku 2010 vede soukromou praxi jako lektor a konzultant v oblasti řízení a vedení sociálních institucí a projektů.

 

Použité zdroje

BERG, B. L. 2004. Qualitative Research Methods for the Social Sciences. 5th Edition. Pearson Education Inc.

FLICK, U. 2009. Designing Qualitative Research. London: Sage Publications Ltd.

STAKE, R. E. 2004. Standard-Based and Responsive Evaluation. London: SAGE Publications.

BARR, N. 1993. The Economics the Welfare State. London: Weidenfeldt and Nicolson.

DE ST. CROIX, T. Youth work, performativity and the new youth impact agenda: getting paid for numbers? [online]. In Journal of Education Policy, Volume 33, 2018 - Issue 3. London: Taylor and Francis Online [9. 1. 2019]. Dostupné z: https://www.tandfonline.com/doi/full/10.1080/02680939.2017.1372637

HENDL, J. 2015. Kvalitativní výzkum. Praha: Portál.

HENDL, J., REMR, J. 2017. Metody výzkumu a evaluace. Praha: Portál.

CHEETMAN, J.; FULLER, R.; McIVOR, G.; PETCH, A. 2000. Evaluating Social Work Effectivness. Buckingham: Open University Press.

KREITNER, R. 2008. The Principles of Management, 11th Edition. Boston: Cengage Learning.

MALÍK HOLASOVÁ, V. 2014. Kvalita v sociálních službách a sociální práci. Praha: Grada.

MPSV ČR. 2015. Metodika pro evaluaci nesoutěžních projektů OP Zaměstnanost 2014–2020 [online]. Praha: MPSV ČR [7. 1. 2019]. Dostupné z: https://www.esfcr.cz/documents/21802/1872869/3.1+Metodika+pro+sebeevaluaci/f6701263-9e12-4a63-b73a-a881005b6fc0?version=1.0&previewFileIndex=

SAVKIN, A. 2017. 10 Steps KPI System. BSC Designer.

SCHULTE-MECKLENBECK, M.; KÜHBERGER, A.; RAYNARD, R., eds. 2011. A Handbook of Process Tracing Methods for Decision Research: A Critical Review and User’s Guide. New York: Taylor & Francis.

VOJTÍŠEK, P. 2017. Plánování a evaluace lokální veřejné politiky v sociálních službách v ČR. In ŠÁMALOVÁ, K., TOMEŠ, I. a kol. Řízení sociálních procesů v České republice. Praha: Univerzita Karlova, Nakladatelství Karolinum.