אורחת: ד"ר גילה מלך מנחה: ד"ר ליאת בסיס
פ ס י כ ו מ ט ר י ק ה. לכאורה, מושג פשוט, פסיכו=נפש, מטריקה=מדידה. וביחד המדידה של הנפש. אך אם נבקש את העוסקים בתחום להגדיר מה היא כוללת, סביר שנקבל מגוון נרחב של הגדרות. את מרבית הבמה בתחום הפסיכומטרי מקבל תחום המבחנים הקלאסי. וכשאומרים שזקוקים לפסיכומטריקאי, מתכוונים לרוב למישהו שיודע לפתח מבחנים. ואולם בשנים האחרונות עולה הביקוש לאנשים שמומחיותם היא הערכה. שני התחומים חבוקים וחופפים חלקית, ארגונים כמו ראמ"ה – הרשות הארצית למדידה והערכה בחינוך, או מאל"ו – המרכז הארצי לבחינות ולהערכה, בהגדרה עוסקים בשניהם, אך גם בהם אפשר יהיה למצוא חלוקה מסוימת בין אלו המומחים בחלק של ההערכה ואלו של מדידה. הערכה פר סה, ששכיחותה עולה על גדותיה בשנים האחרונות, במיוחד בתחום החברתי והציבורי, כמעט ולא מקבלת במה. איש הערכה לא יכנה את עצמו פסיכומטריקאי וככל הנראה גם לא יתפס ככזה. הזמנתי את ד"ר גילה מלך, מומחית מוערכת להערכה ולחשיבה הערכתית להתארח בבלוגומטרי כדי לדבר על הפער הזה, על חשיבה הערכתית ועל מה שקורה היום בישראל בתחום ההערכה.
אציג תחילה את גילה דרך שלושת המקורות שעיצבו אותה מקצועית:
1. את תפיסת העולם כי נתונים וידע חשובים לצורך קבלת החלטות, וכי אחריות רבה חלה על כתפיו של מקבל ההחלטות, גיבשה בהיותה קצינה בחיל המודיעין. מאז היא עסוקה מאד גם בשאלות של הנגשת המידע למקבלי החלטות והיכולת שלהם לעשות במידע שימוש הולם ותקף כדי לקבל החלטה טובה.
2. את המתודולוגיות של מחקר בכלל ומחקר יישומי מחוץ למעבדה בפרט, גיבשה בלימודי הדוקטורט בפסיכולוגיה חברתית באוניברסיטה העברית, ובמהלך 20 שנות עבודה עם תכניות וארגונים חברתיים וחינוכיים, ובהקמת יחידות מדידה והערכה פנימיות ב-IVN ובקרן רוטשילד קיסריה.
3. את מיומנויות התקשורת וההבנה הארגונית רכשה בהכשרה להנחיית קבוצות. אלו מיומנויות קריטיות בעבודת המעריך שהיא ממשיכה לשכלל וללמוד כל הזמן.
אז אולי כדאי להתחיל בלהבין למה מתכוונים כשאומרים הערכה ומדידה? אני רוצה לתקן אותך, אני שמה את המדידה לפני ההערכה. מנקודת הראות שלי, אין הערכה בלי מדידה. הערכה טובה צריכה להתבסס על מדידה שהיא איסוף שיטתי של נתונים בכלים מהימנים ותקפים.
הערכה, לעומת זאת, מכילה בתוכה את המילה ערך ומרמזת על המחוייבות של תהליך הערכה לתת ערך למידע שמתקבל במדידה. גם באנגלית אפשר לזהות את המילה ערך, value, במילה evaluation.
כך למשל, אם המדידה הניבה גובה 1.70 במטר תקני, הערכה תסייע במתן משמעות למספר שהתקבל. המשמעות יכולה להנתן בהשוואה לציפייה שהוגדרה מראש (יעד), בהשוואה לנורמה או סף (benchmark) קיימים או בהתאם לחוות דעת של מומחה או קבוצת מומחים, בהשוואה למדידה קודמת , בהשוואה למדידה של אדם אחר, או קבוצה אחרת, בהשוואה למדידה בתחום אישיות אחר , או מתוך מכלול של מדידות והשילוב ביניהן ועוד ועוד. בדוגמה קצת יותר מורכבת מעולם התכניות החברתיות, נניח שמצאנו שתכנית מתמחים חדשה הצליחה לקדם השתלבות בתעסוקה הולמת של 80% אקדמאים מהפריפריה שהשתתפו בתכנית, לעומת 50% השתלבות לפי נתוני למ"ס, ובהשוואה ליעד של 75% השמה שהוצג על ידי מנהלי התכנית. על פניו, נראה שהתכנית עושה משהו טוב. זה סוג מסויים, נפוץ ומקובל של הערכה, שעונה על הציפייה שמחקר הערכה יאפשר לסכם ולהבין אם התכנית "טובה", "מצליחה", כדי להחליט האם להמשיך, להרחיב ולשכפל אותה. אני רוצה לציין שארגונים ותכניות יכולים להפיק הרבה מאד תועלת מסוגים אחרים של פעולות הערכה, שמתמקדים יותר בדרך שבה מגיעים לתשובות מהסוג שהדגמתי כאן - ובכללם הערכה מעצבת, הטמעה של חשיבה הערכתית בתהליך הארגוני או בפיתוח תכניות חברתיות, שעוד נדבר עליהם בהמשך.
מי צריך מדידה והערכה? אני נוהגת להגיד, שכל מי שרוצה ללמוד על המשמעות של מה שהוא עושה, ולראות איך אפשר לעשות עוד יותר טוב, צריך מדידה והערכה.
בתוך הקבוצה הזו כלולים אנשים וגופים שיוזמים או פועלים לשיפור מצבן של קבוצות מסוימות בחברה באמצעות תכניות התערבות חברתיות, ורוצים לדעת מה התוצאות של הפעולה שלהם, האם אכן מתרחש שיפור, באיזו עוצמה והיכן, ומבקשים לבסס את הידיעה הזו בעדויות. שאלות מסוג זה שכיחות בעיקר בעולמות החברתיים-ציבוריים אך ניתן לפגוש בהן גם בעולם העסקי, למשל במדידת אפקטיביות של הדרכה, סקרי שביעות רצון כבסיס להצבת יעדים למשאבי אנוש ועוד. גורמים כאלה יכולים לפנות להערכה גם כדי לענות על סוג אחר של שאלות- מה הסיבות להבדלים שנמצאו בין קבוצות שונות, מה יקרה אם מאפיין כזה או אחר יהיה שונה, שאלות שעולות תוך כדי ביצוע ההתערבות, ותהליכי הערכה מעצבת יכולים לסייע במתן מענה ושיפור התכנית.
גורמים נוספים שיכולים לצרוך הערכה הם אלו שמקצים כספים לתכניות, בראש ובראשונה גורמים ממלכתיים שיש להם אחריות כלפי המוטבים של ההתערבויות האלה, ואחריות על הכסף המושקע. בשימוש בכספי ציבור ירצו להבטיח כי נעשה שימוש נבון בכספים הללו כבסיס לקבלת החלטות המשך, למשל האם להרחיב תכנית או פעולה או להפסיקה.
בעולם הפילנתרופי (תורמים פרטיים או קרנות) הציפיות משתנות בשנים האחרונות, ומושגים כמו נדבה, צדקה, תרומה ושאיפה "לעשות טוב", מוחלפים בשאלות כמו מה יוצא מההשקעה החברתית שאני משקיע, ובשאיפה "לעשות את הדבר הנכון". השינוי הזה חשוב ומשמעותי, גם אם לפעמים מגיעים למצבים מוגזמים בהם תורמים מבקשים לדעת מהו ה"אימפקט" של תכנית קטנה על החברה בכללותה, או מבקשים לייחס הצלחות להתערבות מסויימת כאשר השינוי המדובר רחב ונובע ממגוון מקורות. למדידה והערכה יש גבולות ולא תמיד ניתן להגיע למסקנות חד משמעיות כפי שהיינו רוצים.
בסיכומו של דבר, בין אם מדובר ביזמים או מפעילים של תכניות חברתיות ובין אם בגורמים מממנים, אנו עוסקים בהתערבויות שבמסגרתן יש הבטחה למוטבים שאם ישתתפו בתכנית, מצבם, או מצב החברה, יהיה טוב יותר. מעבר לכוונות הטובות, יש לכל הנוגעים בדבר מחויבות מוסרית, וצריכה להיות גם ציפייה כזו גם מצד כלל הציבור, שתהיה התייחסות רצינית לשאלה האם ההתערבויות הללו אכן מועילות.
כתבתי בהקדמה שאיש הערכה לא ייתפס כפסיכומטריקאי. למה זה קורה? למה הערכה אינה דיסציפלינה מוערכת בקרב הפסיכוטמריקאים?
אני מאד סקרנית לשמוע מה ישיב פסיכומטריקאי לשאלה הזו, ואני גם לא מאמינה שכולם חושבים כך באופן קטגורי, אבל בתשובה שלי אני יכולה לנסות להתמודד עם חלק מהביקורת שאני מכירה כלפי התחום: בעיני, סביבת העבודה של המעריך החברתי הוא השדה, הארגון, התכנית, הפעילות בתכנית, ואופי העבודה שלו יותר אינטראקטיבי ומתערב, בהשוואה לסביבת העבודה של הפסיכומטריקאי. כמובן, שסביבה כזו מייצרת "רעש" ו"מפריעה" ליכולת לבצע עבודה מחקרית טובה, שחשובים - בצדק - לפסיכומטריקאי. בואי ניקח את המשפט שהזכרתי קודם: "תכנית מתמחים חדשה הצליחה לקדם השתלבות בתעסוקה הולמת של 80% אקדמאים מהפריפרייה, לעומת 60% השתלבות לפי נתוני למ"ס ". היכולת לנסח משפט כזה היא משאת נפשו של יוזם התכנית והמפעיל שלה, אבל... הדרך לניסוחו מורכבת ורצופת אתגרים, כאשר אנו מדברים על התערבות חברתית עם מספר בעלי עניין המתרחשת בשדה (למשל, במספר מוסדות לימוד אקדמיים ומרכזי צעירים בישובים, כאשר המימון לתכנית מגיע ממקורות שונים). למשל - מהי הגדרה של "תעסוקה הולמת" והאם נוכל להגיע להגדרה מוסכמת? האם ההתערבות שהופעלה במוסד אקדמי א' דומה לתכנית שהופעלה במרכז צעירים ב'? מתי מודדים את ההשתלבות – כמה זמן מסיום התואר? האם מודדים לפי השתכרות או לפי שביעות רצון? מיהי קבוצת ההשוואה המתאימה, איך מגיעים אליה ומה מודדים בהשוואה וכו'. גם פסיכומטריקאי מתמודד עם שאלות כאלה אבל נדמה לי שיש לו יותר שליטה על ה"רעש" שהמציאות יכולה לייצר, באמצעות היכולת להפעיל הגדרות וכלים סטנדרטיים ובאמצעות מדגמים מספיק גדולים. המעריך עובד עם הרעש הזה- אינטרסים, אמוציות, שינויים בלתי מתוכננים בהתערבות שמתגלים בדיעבד, לוחות זמנים ותקציב מוגבלים...זה לחם חוקנו.
אז איפה הגבולות, מה קובע אם פעילות מסוימת של מדידה והערכה היא "מספיק טובה" או לא?
ראשית, האגודה הישראלית להערכת תכניות- איל"ת, ישבה על המדוכה והגדירה קווים מנחים של הערכה ראויה. כמובן שבעקבות האגודה האמריקאית (AEA) והקנדית (CES). מעבר לכך, אני שוב מדגישה את ההבחנה בין מדידה לבין הערכה. כאשר הערכה מתבצעת ללא מדידה או מתבססת על מדידה מוגבלת מאד בהיבטים של הגדרת המשתנים, הדגימה, הכלים, איסוף הנתונים או עיבודם, בעייתי מאד להסיק מסקנות או לנסח המלצות You are just another person with an opinion. מצבים כאלו מתרחשים ביתר שאת כאשר מזמינים את המעריך לפיילוט או להערכה של תכנית שהיא עוד לא מספיק מוגדרת, לפעמים נזכרים במעריך מאוחר מדי או מציעים לו משאבים מוגבלים מדי (תקציב, זמן) ומצפים למסקנות חותכות. במצבים כאלה, הציפייה לא מתאימה, ושביעות הרצון, או היכולת להפיק תועלת מההערכה- בהתאם. אני שבה וטוענת שבהרבה מצבים הערכה יכולה לתרום הרבה יותר אם תהיה גורם מלווה ומשתתף בפיתוח התכנית, כמקור המזמן נתונים ומעודד אצל מובילי התכנית חשיבה שמתייחסת לנתונים, שלומדת תוך כדי תנועה, משנה, מתאימה ומקדמת את התכנית על סמך עדויות. יש דוגמאות לכך, בהבנייה ארגונית של גורם הערכה פנימי (בעיקר בעמותות גדולות, בקרנות פילנתרופיות או מוסדות ממשלתיים) או בהזמנה ייעודית של איש מקצוע חיצוני לסוג כזה של עבודה.
משהו נוסף - לדעתי, אם מדברים על הערכת פעולות שמתרחשות בשדה החברתי, לתוצאות חד פעמיות - אפילו אם המדידה היתה טובה - עשויות להיות משמעויות מוגבלות שכן המציאות והסביבה מזמנות שינויים בתכנית, במפעילים, במיקום, באופי המשתתפים. לכן, התועלת ארוכת הטווח והקיימות של ההערכה נמצאים בתהליך ובהטמעה של חשיבה הערכתית כחלק מההתנהלות הארגונית.
מהי חשיבה הערכתית וכיצד מכניסים אותה לניהול של התכנית? חשיבה הערכתית כוללת שורה של מיומנויות ותפקודים בשלבי התכנון והניהול של תכנית חברתית או בתפקוד הארגוני השוטף- החל משאילת שאלות והגדרת מושגים ליצירת בהירות ושפה משותפת, דרך הגדרה טובה של מדדים ויעדים למדדים, ניסוח תיאוריית השינוי של ההתערבות להשגת היעדים, ניסוח מודל לוגי שדואג לכך שכל מרכיב בתכנית קשור בצורה לוגית לתוצאות הצפויות, הסתכלות על תגובות הגורמים השונים לתהליך ההערכה, ועד התייחסות מאד קפדנית לכל שאלת ההנגשה של המידע ההערכתי והשימוש שנעשה בו על ידי בעלי עניין שונים.
הניסיון שלי מלמד שהתפקודים הללו מביאים ערך גדול מאד לדיוק, לחידוד ולניצול הנכון של משאבי התכנית, כמו גם לצורה שבה אנשים מדברים, מנהלים ומתנהגים בהפעלתה. וכל זה עוד לפני שהתחלנו למדוד משהו! חשיבה הערכתית היא דפוס בו גורמים שונים שמעורבים בהיבטים שונים של תפקוד ארגוני (הכשרה, גיוס, משאבי אנוש, בטיחות, מערכות מידע) משלבים בין השיקולים שלהם גם שאלות שקשורות ב"למה אני עושה", "לאילו תוצאות אני מצפה", "איך אדע שאני מתקדם".
המצב המיטבי הוא כמובן של גם וגם: חשיבה הערכתית יחד עם יכולת לבצע מדידה טובה לאורך זמן במערך נכון ולמידה מתוכן. כן, ומדי פעם אפשר גם לעשות מחקר הערכה מסודר, "כמו בספר", ולהגיע למסקנות גדולות עם יכולת הכללה ולקבל החלטות גדולות.
לאחרונה ראו אור שתי חוברות מצויינות המציגות בצורה נגישה ויישומית את העקרונות הבסיסיים של הערכה משתפת, ושל שילוב חשיבה הערכתית בארגונים חברתיים. לשמחתי הן גם תורגמו לעברית, ואפשר למצוא אותן בקישור הבא
http://www.rcf.org.il/images/Integ%20Eval%20Capacity%20Final.pdf
http://www.rcf.org.il/images/Participatory%20Evaluation.pdf
מעבר לשאלה מי צריך הערכה ומהם סוגי ההערכה, חשוב לשאול גם מי נותן מענה לצרכי ההערכה בארץ? בארץ יש מספר קטן של מכונים המספקים מחקרי הערכה בהיקפים גדולים, יש חברות קטנות יחסית שעושות תהליכי הערכה שונים, ויש יועצים עצמאיים שנותנים שירותי הערכה. בנוסף, חוקרים מהאקדמיה עושים מחקרי הערכה באופי שדומה יותר למחקר אקדמי עם האיכויות הידועות, והמגבלות הספציפיות עליהן דיברתי. זה אולי נשמע הרבה אבל בסך הכל מדובר בכמה עשרות אנשי מקצוע העוסקים במדידה והערכה כעיסוק מרכזי בארץ, זה לא מספיק כבר עכשיו והמחסור יילך ויגדל.
מדוע זה קורה? מצד אחד הביקוש להערכה הולך וגדל, כחלק מההתמקצעות של הארגונים החברתיים, הטכנולוגיה שמאפשרת ומנגישה נתונים רבים, הדרישות של הגורמים המממנים וסיבות נוספות; מצד שני אין לנו מספיק היצע של אנשי הערכה מנוסים בתחום ואף לא של מתחילים. יש מחסור גם בהיבט כמותי וגם בהיבט איכותי, הנובע מכך שהתחום הזה פחות מפותח בארץ עד לאחרונה, ושלא קיימת הכשרה פורמלית אקדמית או אחרת למדידה והערכה חברתיים (פרט להכשרה ייעודית בתחום החינוך). לרוב, אנשים שעוסקים בתחום מגיעים אליו מכיוון שהם יודעים משהו במחקר, מתעניינים בעולם החברתי, והם לומדים עוד קצת ועוד קצת על הערכה- תוך כדי תנועה. אין לנו דור צעיר שרוכש את המיומנויות הבסיסיות המיוחדות לעבודה של מעריך, וגם לא מספיק הזדמנויות להיחשף לחידושים ופיתוחים הנדרשים ממעריך במאה ה-21. אני חושבת שהמצב הזה צריך להשתנות, אבל זה כבר נושא לבלוג אחר (:
מה תרצי לאחל לאנשי ההערכה לשנה החדשה?
שיהיו יותר אנשי מקצוע בתחום המדידה וההערכה, אשר ייצרו יותר חוויות חיוביות בקרב צרכני הערכה, ויסייעו לשיפור באיכות החיים של המוטבים של התכניות וההתערבויות השונות.
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
תגובות
2. הערכה ומדידה נחום שמי (19/01/2016)
תודה על הפוסט. הנושא חשוב ומעניין.
1. מדידה והערכה - דיכוטומיה או רצף? אייל גמליאל (08/01/2016)
תודה לגילה ולליאת שפתחו צוהר לשני ההיבטים של התחום שלנו. ככל הנראה יש לנו צורך אנושי להשתייך לקבוצה אחת, ואולי אפילו להגדיר עצמנו מקצועית כלא שייכים לקבוצה השנייה.. חוקרים כמותיים יטרחו לעתים לציין שאינם עורכים מחקרים איכותניים, וחוקרים איכותניים עשויים לטעון שאינם עורכים מחקרים כמותיים; פסיכומטריקאים, כפי שנטען בריאיון, עלולים להסתייג מהגדרתם כאנשי הערכה, ואולי גם להפך. גילה הציגה את תחומי העיסוק של מדידה והערכה באופן שממחיש את חוסר ההיגיון שבדיכוטומיה, ואת התועלת הרבה שיש בשילוב של השניים. החשיבות והמשמעות החברתית של תוצאות המדידה ופרשנותן ההערכתית הזכירו לי נושא אנלוגי של הוויכוח המתודולוגי הנצחי של מה חשוב יותר - תוקף פנימי או תוקף חיצוני? קריאת הדברים של גילה הותירה אותי אופטימי לגבי היכולת לשלב תוצאות מדידות בהקשר חברתי/ארגוני. ברכות לליאת על בחירת נושא מעניין ועל הצגתו המלמדת.