Evaluation, die

00:00:06: Das ist wieder eine neue Folge von Sozipedia.

00:00:11: Der Podcast zum Fachbegriff auf Abwägen mit Martin Bibericher, der vor mir kommt.

00:00:17: Hallo Martin!

00:00:18: Salut Meno, hallo!

00:00:19: Martin du bist immer noch Co-Bachelor Studiengangsleiter und ich arbeite im Digital Campus und heisse Meno Labrière Und ich habe von dir gehört dass du früher mal Evaluator warst.

00:00:33: Ja, das war so meine letzte berufliche Station.

00:00:35: Bevor ich hier zu ZAW gekommen bin und hier dann Dozent und Forscher geworden bin ist schon eine Weile her.

00:00:43: Mitte der Nullerjahre war Ich als Evaluator tätig in einem Evaluationsbüro In einer Firma die sich mit Evaluationen beschäftigt hat Und ich habe dort vor allem Projekte, Programme, Organisationen der sozialen Arbeit begleitet, evaluiert und auch unterstützt bei der Weiterentwicklung ihrer Angebote.

00:01:04: Und wir haben ja jetzt über die Sommerferien uns überlegt was könnte man für den nächsten Begriff nehmen?

00:01:10: Für unseren Podcast.

00:01:11: Und dann ist eigentlich gerade vor der Haustür gelegen bei dir.

00:01:15: Evaluation D!

00:01:17: Genau, Evaluation D und er liegt tatsächlich vor der Haustür weil ich glaube wir alle evaluieren den lieben langen Tag.

00:01:25: Vielleicht sind wir uns das nicht immer bewusst aber mal ein Beispiel heute Morgen auf dem Weg hier zu uns zur ZHW bin ich bei meinem Quartierbeck vorbei gekommen also einer großen Stadt bekannten Zürcher Bäckerei Und mich hat es irgendwie gluschtet, wie man so schön sagt.

00:01:40: Nach irgendwas Frühstücksgebäck und ich bin in die Bäckerei und habe die Auslage angeschaut von Nussgipfel über Zwetschgen-Gipfel, über Schockigipfel und alle viele andere Köstlichkeiten süß und salzig haben mich dort angelacht.

00:01:58: Und da musste ich schon die erste Evaluation des Tages treffen, nämlich die Frage was nehme ich und was wähle ich aus?

00:02:04: Und Evaluationen passiert immer Kriterien gestützt.

00:02:09: Meine Kriterie für die Auswahl waren wie viel Hunger habe ich, worauf habe ich los, süß oder salzig?

00:02:16: und was würde mir einen guten Start in den Tag bringen.

00:02:19: Ja und gestürzt auf das habe ich dann meine Evaluation vorgenommen und es ist mit einem Nussgipfel geendet.

00:02:26: sind Kalorien bei dir kein Skriterium.

00:02:30: Ich

00:02:30: komme mit dem Willen zur Arbeit, da liegt das drin!

00:02:34: Gut und was sagt die Ethymologie über unser Begriff?

00:02:39: Ja, das ist ganz spannend.

00:02:40: in Evaluation stecken wieder mal zwei lateinische Begriffe drinnen.

00:02:45: Einenseits der Begriff Valor, das meint so viel wie Der Wert und die Vorsilbe E, die eigentlich X reißt.

00:02:53: Eigentlich müsste es heißen X-Valuation Überall, wo wir die Vorsilbe X oder E hören.

00:02:59: Da wird etwas herausgeholt oder X rausgezogen.

00:03:03: Kann man sich auch gut merken?

00:03:04: Wir sind ja beim Frühstücksthema mit dem Espresso den ich dann hier genossen habe über uns am ZW und bei dem Espresso da wird er mit heißem Wasser oder mit Dampf der mit einem gewissen Druck auf das Kaffeepulver gedrückt wird läuft dann sozusagen der Geschmack mit dem Wasser heraus, aus diesem Kaffeepulver in die Tasse.

00:03:26: Also der Geschmak wird herausgeholt und bei der Evaluation wird eben der Wert heraus geholt also es wird etwas ausgewertet.

00:03:35: Evaluation ist also nichts anderes als eine strukturierte und kriteriengestützte Auswertung von etwas.

00:03:42: Und jetzt sind wir ja aber in einem Podcast für soziale Arbeit und leider nicht beim Frühstück.

00:03:51: Was bedeutet Evaluation für die Sozialarbeit?

00:03:54: Das haben wir eigentlich auf zwei Ebenen, zum einen – und das ist wahrscheinlich das wo wir viele daran denken wenn wir den Begriff hören – findet Evaluation natürlich auf der Ebene statt dass wir Programme, Projekte übergeordnete Prozesse, Organisationen und Maßnahmen evaluieren.

00:04:13: Uns also fragen was bewirkt ein bestimmtes Projekt?

00:04:17: Sei das im Bereich der Befähigung von Kindern und Jugendlichen oder sei das als Schutzort für Frauen und Mädchen?

00:04:24: Was bewirgt das in seiner Umsetzung?

00:04:27: und wie könnte man dieses Projekt, dieses Programm, dieses Angebot verbessern?

00:04:32: Das ist sozusagen die Evaluation auf der organisationalen Ebene.

00:04:36: Daneben haben wir aber, wenn wir über Fallarbeit nachdenken.

00:04:40: Also die Frage wie arbeiten wir in einzelnen Fällen?

00:04:45: Haben wir dort auch das Element der Fallevaluation.

00:04:49: Neben dieser Programmprozess-Projektevolution kennen wir in der sozialen Arbeit doch die Fallevaluation wo wir uns im Verlauf der Fallarbeit zu bestimmten Punkten immer mal wieder Fragen, Kriterien gestützt fragen Was hat eigentlich wer im Verlauf der Fallarbeit gemacht?

00:05:08: Was hat es gebracht?

00:05:09: und ganz wichtig, wo müssen wir umsteuern, verändern weiterentwickeln.

00:05:14: Um den Fall auch zu einem guten weiteren Verlauf zu bringen.

00:05:20: Jetzt fragt man sich vielleicht ja, wo ist denn da der Abweg bei diesem Begriff?

00:05:27: Und ich habe vielleicht zwei.

00:05:30: Ideen dazu.

00:05:32: Einerseits sind ja mehrere Menschen beteiligt, subjektive Wahrnehmung, Evolution klingt nach einem objektiven Messinstrument ist es im besten Fall auch aber was bedeutet das für Adressat innen und vielleicht für andere professionelle im Fall?

00:05:51: Und Andere ist aber auch meine subjektive Wahrnehmung, dass relativ schnell von Evaluation geredet wird und ich mich frage wie konsequent die Evaluation

00:06:03: ist.

00:06:03: Genau.

00:06:04: Und ich glaube, ich gehe es zu dem zweiten Punkt.

00:06:06: Ich glaube das ist ein Punkt wo wir wirklich bewusst auch in unserer Wortwahl sein wollen.

00:06:11: Ich höre das noch auf jetzt switche ich fast schon in zwei Schweizerdeutschen weil das auch nur mir natürlich die Umgebungssprache ist.

00:06:17: aber so Ausdrücke ich habe etwas evaluiert oder so.

00:06:20: also das passiert einfach im Alltag nochmal schnell dass man etwas evaluieren sie ja auch mein Gipfel die Beispiel vorhin.

00:06:28: Dass wir aber wenn wir fachlichen unterwegs sind dass wir uns wirklich bewusst sein müssen Evaluieren ist eigentlich auch immer etwas Kriterien gestütztes und etwas gestützte auf bestimmte Sammlungen von Informationen.

00:06:42: Vielleicht können wir nachher anschauen, was das heißt?

00:06:43: Auf der Fallebene oder vielleicht auf der Projektdebene – das ist mal ganz wichtig!

00:06:48: Und insbesondere... die Frage, was du mit dem zweiten Antönst?

00:06:52: Die Frage mit der Subjektivität.

00:06:55: Also wer definiert eigentlich, was hier die Wahrheit ist oder was wie vorgegangen worden ist wo auch Grenzen vom Tätigkeit waren?

00:07:05: das ist der zweite große Punkt dass wir das anschauen müssen, dass wir uns bewusst sein müssen Evaluation insbesondere Fallevaluation ist immer auch ein Stück Subjektivity und die Frage ist Wie gehen wir mit diesen unterschiedlichen subjektiven Wahrnehmungen, Wahrheiten um?

00:07:21: und das wiederum ist dann nochmal ein anderer Begriff.

00:07:24: Das wäre vielleicht so auch der Qualitätsdialog also dass in der Auseinandersetzung sein über die Frage was haben wir getan?

00:07:30: Wer hat etwas getan?

00:07:31: Was hat es gebracht?

00:07:33: Und das Aufnehmen von ganz unterschiedlichen Perspektiven.

00:07:37: Wir kommen vielleicht gleich noch dazu.

00:07:39: Es gibt so ich zitiere gerne immer wieder Burkhard Müller den großen verstorbenen Praxisdenker aus meiner Perspektive der mal den schönen Begriff definiert hat, Evaluation von unten.

00:07:52: Also was deponieren unsere Adressatinnen eigentlich für Rückmeldungen die wir aus einer evaluierenden Perspektive mitnehmen sollten?

00:08:04: Auch wenn diese Rückmeltung vielleicht nicht immer oder im Regelfall nicht in der aufbereiteten Form kommen wie wir uns das wünschen.

00:08:13: also auch eine gepfefferte Beschwerde Vielleicht mit Schimpfwörtern und Emotionalität, herausgeworfene Schimpftierade gegenüber uns.

00:08:22: Ist eigentlich eine Evaluation von unten?

00:08:25: Oder auch Rückzüge von etwas oder Lethargie

00:08:30: usw.,

00:08:31: das können Evaluationen von unten sein also mit den Adressatinnen zum Ausdruck bringen dass sie möglicherweise mit unserem Handeln nicht ganz zufrieden sind.

00:08:41: Mit dem Ufro für Online Shopping ist ja auch die ganze Bewertung von Produkten und Dienstleistungen gekommen.

00:08:52: Am Beispiel von Galaxus, da findet man zum einen Haarspengel noch irgendwie das Feedback wie gut es hier ist.

00:09:01: Findet das auch in der sozialen Arbeitsstadt über Angebote- und Dienstleistungsprozesse?

00:09:08: Ich glaube ja!

00:09:10: Und zwar immer mehr... Und wir sind gefordert, diese Initiativen, diese Rückmeldungen aufzugreifen und ernst zu nehmen.

00:09:19: Das heißt nicht dass wir alles immer sofort umsetzen müssen oder so machen müssen wie es sich irgendwer wünscht.

00:09:26: Gleichwohl heißt das aber natürlich prüfen müssen was denn das für Rückmeltungen?

00:09:30: Ein weiterer Gedanke den Burghardt Müller formuliert zum Thema Evaluation ist das er sagt sinngemäß.

00:09:37: Immer aber heißt Evaluation zu Prüfen ob das Handeln der Professionellen verantwortlich genannt werden kann.

00:09:44: Ihr Gegenstand ist es nicht, ob das auch für die Adressatinnen zutrifft.

00:09:47: also ganz klar sich zu fragen wie haben denn die fallbeteiligten professionellen in der Fallkonstellation im Fallverlauf auch agiert?

00:09:58: unter welchen Rahmenbedingungen haben sie?

00:10:02: mit welchen Zielen haben sie agiert?

00:10:04: Inwiefern wurden diese Ziele auch transparent gemacht, inwiefern wurde die Partizipation der Adressatinnen berücksichtigt.

00:10:12: Inwieferen wurde der co-produktive Prozess eingehalten und so weiter.

00:10:17: Das sind die Fragen, die uns in der Evaluation interessieren – in der Fallevaluation.

00:10:21: Und weniger die Fragen.

00:10:24: ja was hat alles dafür gesorgt dass wir nicht erfolgreich waren?

00:10:28: Es gilt sicher darum das zu berücksichtig Denn Burkhard Müller betont so die Wichtigkeit auch innerhalb der gegebenen Außenrealitäten zu handeln.

00:10:36: Aber das Entscheidende ist, wie wir verantwortlich handeln – also wir als Professionelle der sozialen Arbeit.

00:10:43: Hast du einen Fallstrick?

00:10:44: Wenn du evaluierst über den du früher gestolpert bist und als Tipp mit auf den Weg gehst.

00:10:53: Also ganz wichtig ist sich bewusst zu machen was wollen wir eigentlich evaluieren.

00:10:56: Was will ich evaluieren?

00:11:01: Ich habe früher als Evaluator immer mit Fragestellungen gearbeitet, dass ich mir also möglichst klar und präzise Fragen formuliere die auf bestimmte Wirkungen hinadressiert sind.

00:11:13: Ich will das jetzt nicht zu weit ausführen weil wir ja auf der Ebene Fallevaluationen sind.

00:11:18: man kann dann solche Wirkungsmodelle bauen.

00:11:20: das ist aber glaube ich nicht der richtige Ort für so ein Podcast.

00:11:23: Aber man kann sich fragen was will ich eigentlich evaluieren?

00:11:27: Beispielsweise Jetzt, ich denke mir mal spontan ein Fall vielleicht mit einer Jugendlichen die in einer stationären Jugendhilfe Einrichtung lebt.

00:11:36: Die vielleicht so in der dritten Säck ist und man langsam auf das Thema Lehre hinarbeitet.

00:11:41: Und da kann ich mich natürlich fragen im Fallverlauf Inwiefern ist es gelungen eine Lehrstelle zu finden?

00:11:49: Aber ich sollte mich vielleicht auch fragen in wiefern ist das gelungen die Perspektive oder die Meinung und die Lebensrealitäten der Jugendlichen mit einzubeziehen.

00:11:58: Inwiefern ist es gelungen, diese Leerstelle auch auf die Bedürfnisse und Wünsche und auf die lebensperspektiven der Adressat hinzuentwickeln?

00:12:08: Inwiefernd ist das gelungen ihr intellektuelles Potenzial oder wie sagt man Begabungen, Kompetenzen und so weiter.

00:12:17: Und du merkst schon, wenn ich solche inwiefern Fragen formuliere dann kann ich die schlecht mit Ja oder Nein beantworten?

00:12:23: Das ist genau die Idee es nicht mit ja oder nein zu beantwortet sondern ich brauche ja Punkte an denen mich auch nachher meine Arbeit weiterentwickeln kann.

00:12:31: also wir sprechen da Fachbegriff von der sogenannten formativen Evaluation also Evaluationen die auf etwas hinaus zielen was nachher die Arbeit besser qualifiziert.

00:12:44: Irgendwie fernfragen mir Stelle, komme ich an diese empfindlichen Punkte.

00:12:49: Weil ich muss mich dann ehrlich machen.

00:12:51: Zu ergänzigen noch schon.

00:12:52: es geht auch summative Evaluation.

00:12:55: was ist der Unterschied?

00:12:57: Also kann man sich auch wieder... Ich spreche mal wieder in Bildern.

00:13:00: Formativ ist sozusagen das Einwirken auf den weiteren Prozessverlauf Und summativ ist eigentlich, wenn ich eins und eins zusammenzähle dann bilde ich eine Summe.

00:13:09: Dann ziehe ich einen Schlussstrich drunter und komme dann auf eine Summa- und summative Evaluationen macht man in der Regel dann, wenn etwas abgeschlossen ist.

00:13:17: Wenn es sozusagen rückblickend gilt auf ein Verlauf, auf ein Ergebnis zu schauen und das beispielsweise am Ende eines Projektes oder eines Programmes oder auch dann die besagte Jugendliche die Juwoneinrichtung verlässt, dann kann ich mich noch mal fragen wie ist der gesamte Fall verlaufen im Sinne von einem summativen Rückblick.

00:13:38: Auch da natürlich immer mit der Idee was könnte ich daraus lernen für die Zukunft?

00:13:42: Und im besten Fall wenn ich dir richtig verstehe gibt es diese Evaluation etwas wo du dich selbst weiterentwickeln

00:13:51: kannst oder

00:13:52: eine Dienstleistung oder ein Angebot des

00:13:54: Projekts.

00:13:55: Genau, das ist die Ebene auf der wir es anschauen.

00:13:57: Also entweder im Milch oder im Idealfall die Fallarbeit.

00:14:01: also insofern ist Evaluation immer etwas was auch wieder einen Rückfluss haben muss.

00:14:06: Es darf nie selbst für sich sein.

00:14:09: dann das kann aus einer wissenschaftlichen Perspektive interessant sein aber das hat eigentlich nicht mehr den Faktor von zukünftige Wirkungen beeinflussen?

00:14:20: Ja, genau.

00:14:20: Aber sie nehmen schon ab und zu wahr, dass es evaluiert wird zum sich absichern.

00:14:26: Man hat's gut gemacht oder man kann sich auf die Schulter klopfen und eigentlich das nicht als Witterentwicklungstool gebraucht werden.

00:14:34: Und das wäre ja der falsche Punkt.

00:14:36: ich finde auch da wieder mal Burkhard Müller zitiert er sagt ja nicht Evaluation ist das genaue Zugänglich machen von empfindlichen Punkten.

00:14:46: Also dahin, wo es weh tut eben nicht da, wo man gut war sondern da wo man nicht gut war.

00:14:51: und das geht auch gar nicht um einen Blaming oder eine Schuldzuweisung oder sowas sondern um Prozesse zu definieren oder herauszufinden an Punkte wo man besser werden kann Und diese empfindliche Punkte das zugänglich zu machen.

00:15:04: das bedarf natürlich auch eines organisationalen Klimas.

00:15:08: also ich muss mir so eine Evolutionskultur auch leisten können.

00:15:12: wenn ich das Gefühl habe, ich bin in einer Organisation oder einem Team, indem ich sobald ich Fehler zugebe quasi zum Abschluss freigegeben bin.

00:15:21: Dann hilft das alles nicht.

00:15:22: Dann brauche ich gar nicht erst anfangen mit Evaluationen sondern Evaluation muss immer auch ein Klima haben, in der ich eine positive Fehlerkultur leben kann und den der ich aus diesen Fehlern lernen kann.

00:15:35: Das heißt auch Ich kann Evaluation nicht mal ebenso Schnell, schnell zwischendurch.

00:15:40: Teamsitzung – ach jetzt haben wir noch zehn Minuten!

00:15:42: Lass uns doch mal hier Fall XY evaluieren.

00:15:45: Das geht nicht sondern eine Evaluation braucht immer Grundlagen.

00:15:50: das sind zum Beispiel Dokumentationen, das können Fallberichte sein, Journal-, Übergabe-Protokolle.

00:15:57: I don't know und ich brauche dafür ein Stück Distanz von der Fallarbeit.

00:16:01: Ich muss mich also sozusagen herausnehmen aus der genau jetzt sagen, jetzt haben wir mal nur diese Fallevaluation.

00:16:09: Und ich muss sozusagen Kriterien entwickeln an der Frage Wann war unser Handeln verantwortlich?

00:16:14: und muss dann darauf passende Fragestellungen die ich ja gerade schon erwähnt habe definieren und das dann in der Regel wenn ich jetzt an so klassische sozialarbeiterische Settings denke wie sonst stationäre Jugendhealvereinrichtung in der regel passiert.

00:16:29: es im Team ist also Selbstevaluation.

00:16:32: Also wir diskutieren, gestützt auf die Kriterien über unser Handeln und versuchen dieses weiter zu entwickeln.

00:16:39: Und wenn empfiehlt Stur-Fremd-Evolution?

00:16:42: Die empfehle ich eigentlich und das wird empfohlen.

00:16:45: dann, wenn es sozusagen wirklich darum geht eine Außenperspektive zu haben... selten nützlich sein, wenn so in einem konkreten Fall ein konkreter Fall optimiert werden muss.

00:16:57: Die ist dann nützlich, wenn ich für organisationale Prozesse eine Außenperspektive brauche.

00:17:03: Wenn ich möglicherweise auch in Krisensituationen in eine nachtägliche Analyse von Prozessen gehen muss, dann wären eher Fremdevolutionsperspektiven von Belang.

00:17:14: ja aber auch da, wenn nicht das kurz noch ergänzen darf es gibt so Ja einer meiner Mentoren, der mich so in der als ich Evaluator war begleitet hat mein damaliger Chef Credits hier Andreas Balter sah.

00:17:27: Der hat den Begriff geprägt des sogenannten Critical Friend Approach.

00:17:31: also Ich bin als Evaluar Tor auch als externer Evaluer Tor Bin ich ein kritischer Freund?

00:17:37: Ich bin also nicht der der dich in die Pfanne haut aber ich bin der der sagt hey das und dass ist wirklich nicht gut gelaufen Und da musst du hin und das und das muss zu so und so besser machen.

00:17:47: Und das ist vielleicht der Punkt, der Evaluation von Revision unterscheidet.

00:17:52: Revision also wenn man es mit der internen Ermittlung sozusagen zu tun hat, so ein Polizeierbegriff dann ist was richtig falsch gelaufen und die haben natürlich auch Sanktionsmöglichkeiten solche internen Emittler oder externe Ermittler.

00:18:05: aber Evaluation ist nicht dazu geeignet um sozusagen Sanktsionen zu verhängen sondern Evaluation hat diesen Critical Friend den kritischen Freund Perspektive.

00:18:16: Dann müssen wir mal herausfinden, wie unsere Evaluationskultur in unserem Podcast-Team ist.

00:18:24: Wenn ich den Blick auf die Zeit werfe, dann gebe ich dir das letzte Wort und danke dir vielmals Martin für diesen Einblick in deine Gedanken.

00:18:31: Es war einmal sehr spannend und lehrig.

00:18:35: Mein letztes Wort ist ein Appell!

00:18:37: ein bisschen fachlicher Appell.

00:18:39: Ich erlebe das oft und ich darf mich da nicht ausnehmen, als sie wirklich noch richtig in der sozialen Arbeit war.

00:18:46: In der Regel war man froh weil man sich irgendwie durchgewurschtelt hat im Fällen.

00:18:50: Und ich verstehe auch dass wir oftmals unter so hohem Zeitdruck Falldruck Entscheidungsdruck sind, dass diese Evaluationsphasen oftmals zu kurz kommen.

00:19:01: Meine Appell wäre aber das nicht zuzulassen sondern zu einer Professionellen, fundierten Fallarbeit gehört dieses Schaffen von bewussten Evaluationspunkten und dazu gehört auch das Schaffen einer Kultur in der ich mir erlauben kann.

00:19:16: In der ich auch sozusagen das Lernen möglich machen kann weil das qualifiziert dann letztendlich meine Weiterarbeit.

00:19:21: Danke vielmals Martin!

00:19:23: Danke dir Menno!

00:19:24: Und

00:19:24: hoffentlich bis bald!

00:19:25: Ja gerne.

00:19:27: Ich danke auch Ihnen fürs Zuhören und wenn Sie unseren Podcast evaluieren, Feedback haben oder neue Fachbegriffe auf Abwägen sind dann melden Sie diese unbedingt in den Kommentarspalten oder per Mail an kommunikation.sozialearbeitatzawe.ch.

00:19:49: Danke und bis bald!