3 - עקרונות המדידה
איכות כלי מדידה
- איכות ( טיב ) מתקשר לעד כמה טוב מודד הכלי מדידה את המשתנה התאורטי.
- מידת ההלימה/החפיפה בין המשתנה התצפיתי למשתנה התיאורטי.
ממה מורכב כלי מדידה?
צירוף של:
- שיטה - אופן כללי לאיסוף נתונים: ראיון, תצפית, מבחן, שאלון וכו'
- תכונה - המשתנה התיאורטי שבודקים בכלי
איך בוחרים באיזה כלי להשתמש?
הבחירה תלויה בין היתר, בסולם המדידה של המשתנה
סולמות מדידה
| סולם | תיאור | דוגמה | משמעות המספרים | מה אסור לעשות | טרנספורמציות מותרות |
| שמי ( נומינלי, קטגורי ) | משתנה שאין חשיבות לסדר בין הערכים השונים בו | מגדר | זהות שונה |
| שומרות זהות |
| סדר ( אורדינלי ) | משתנה שיש חשיבות לסדר הערכים וניתן לדרג את הערכים בו מנמוך לגבוה | רמת השכלה |
|
| שומרות סדר |
| רווח ( אינטרוואלי ) | משתנה שיש חשיבות להפרש בין הערכים השונים בו. אבל הערך 0 הוא שרירותי ( נדיר ) | טמפרטורה |
| כל השאר | לינארית חיובית |
| מנה ( יחס ) | הסולם הגבוה ביותר, בו יש חשיבות גם לסדר וגם להפרש וגם הערך 0 מייצג היעדר תכונה ( אבסולוטי ). ניתן לדבר בו גם במונחים של יחס או כפולות. | משקל |
| כל השאר | הכפלה בקבוע חיובי |
טרנספורמציות לינאריות
- לכל סולם נתן לערוך שינוים מגמתיים, טרנספורמציות לינאריות
- ככל שהסולם גבוה יותר, כך ניתן לבצע פחות טרנספורמציות, על מנת לשמור על תכונותיו.
קשר בין מהימנות לתוקף
- מהימנות של כלי בודק עקביות, לכן מבצע 2 מדידות שונות באותו כלי מדידה ( שיטת אחת ותכונה אחת ), אבל תוקף משווה בין שני כלי מדידה שונים ( או שהם נבדלים רק בשיטה או רק בתכונה או בשניהם ).
- שורש מהימנות מהווה חסם עליון לתוקף.
- כלומר ערך של תוקף כלי לא יכול להיות גבוה יותר משורש מהימנות הכלי.
לסיכום:
כלי תקף 👈 בהכרח גם מהימן.
כלי אינו תקף 👈 לא אומר דבר על המהימנות שלו.
כלי מהימן 👈אינו בהכרח תקף ( לא ניתן לדעת ללא המשך בדיקה )
כלי לא מהימן 👈 בהכרח גם לא תקף
טבלת השוואת דרכי בדיקת מהימנת ותוקף
| סוג | סוג הבדיקה | תיאור כללי | מספר קבוצות הנבדקים | מספר שיטות | מספר תכונות | מהי תוצאה רצויה | משמעות התוצאה |
| מהימנות | מהימנות כיציבות | מתאם בין שני מועדים שונים | 1 | 1 | 1 | מתאם של לפחות 0.8 | בודק אם משוחרר מטעויות מקריות של זמן בלבד |
| מהימנות | מהימנות כאקוויוולנטיות | מתאם בין שני נוסחים | 1 | 1 | 1 | מתאם של לפחות 0.8 | בודק אם משוחרר מטעויות מקריות של תוכן בלבד |
| מהימנות | מהימנות כעקיבות פנימית | מתאם בין פריטים בתוך נוסח אחד | 1 | 1 | 1 | מתאם של לפחות 0.8 | בודק אם משוחרר מטעויות מקריות של תוכן בלבד |
| מהימנות | מהימנות בין שופטים | מתאם בין 2 מעריכים מאותו סוג | 1 | 1 | 1 | מתאם של לפחות 0.8 | בודק אם משוחרר מטעויות מקריות של מעריך/שופט בלבד |
| תוקף | תוקף מתכנס | 1 | 2 | 1 | מתאם חיובי גבוה | שתי השיטות אכן בודקות אותה תכונה | |
| תוקף | תוקף ניבוי | מקרה פרטי של מתכנס - קבוצת מנבא וקבוצת קריטריון | 1 | 2 | 1 | ערך מוחלט של מתאם קרוב ל-1 | יכולת ניבויית גבוהה של המנבא את הקרטריון |
| תוקף | חקר הבדלים בין קבוצות כחלק מתוקף מבנה | 1 או כמה | 1 או כמה | 1 | הבדלים בכיוון מצופה | קיימת ציפיה מראש וברורה מאליה, התאמה לצפי מראה על אישוש הציפיה ואכן קיים הבדל. | |
| תוקף | חקר מתאמים | 1 או כמה | 1 או כמה | 2 שונות | אין ציפייה ברורה מאליה, לא ניתן לדעת כל עוד לא נאמר מה התאוריה מנבאת/ציפיות החוקר | ||
| תוקף | תוקף מבחין | 1 | 1 או כמה | 2 דומות | מתאם נמוך | ניתן להבחין בצורה טובה בין התכונות על ידי הכלי למרות הדמיון | |
| תוקף | תוקף תוכן | עד כמה כלי המדידה ממצה/מכסה את כל ההיבטים השונים או עולם התוכן של המשתנה הנחקר. רלוונטי רק במבחני ביצוע הבודק הישגים/רמת ידיעות בתחום מסוים. | |||||
תרגול 1 - מהימנות ותוקף
כחלק ממיון מועמדות להתנדבות במרכז סיוע לנפגעות תקיפה מינית, בנתה חוקרת מכשיר לבחינת יכול אמפטית באמצעות שאלון.
במחקר לקחו חלק 40 מועמדות לקורס.
באמצע הקורס ובתום הקורס, על אחת דרגה את מידת האמפטיה של הנשים האחרות בקורס בין 1-כלל לא לבין 4-מאוד.
הופק ציון עבור כל מועמדת.
היא מצאה a של קרונבאך 0.89 של השאלון כל אחד משני המועדים.
א. איזה מבדיקת מ הימנות ערכה החוקר? הסבר במונחי שיטות/תכונות
בדיקת מהימנות כעקיבות פנימית, כשמקדם המהימנות הוא a של קרונבאך, כיוון שמתואר מתאם בין פריטים שונים בתוך נוסח אחד שמועבר פעם אחת ושר מודד תכונה אחת שהיא אמפתיה, באמצעות שיטה אחת שהיא שאלון.
ב. כל מועמדת אף מלאה שלון הערכה עצמית לגבי יכולתה האמפתית על סולן בין 1-מאוד אמפתית לבין 4-כלל לא אמפטית.
נבדק המתאם בין הערכת הנבדקת את עצמה ובין ההערכה שקבלה מנשות הקורס לגבי יכולתה האמפטית. נתקבל מתאם של 0.75-.
1. הם זוהי בדיקת תוקף או מהימנות?
תוקף
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
תוקף מתכנס, כיוון שחושב מתאם בין שתי שיטות שונו: הערכה עצמית והערכה מנשות הקורס, שמודדות תכונה אחת - אמפטיה.
3. מה תוכל לומר על טיב השאלון בהקמה לשאלה על סמך התוצאה שהתקבלה? נמק.
כאשר יש מתאם שלילי צריך לבדוק האם זה עניין טכני או מהותי: במקרה שלנו מדובר בסולמות הפוכים בשתי השיטות, ולכן מתאם של 0.75- מעיד על מתאם חיובי גבוה, שזו התכנסות טובה, המעידה ששתי השיטות א\כן מודדות את אותה התכונה וקיים חיזוק לתוקף השאלון.
ג. השאלון הערכת נשות הקורס הועבר במצע ובתום הקורס-לאחר חודש.
נתקבל מתאם של 0.87 בין הערכה מנשות הקורס כפי שנתקבל במועד הראשון לבין זה שנתקבל במועד השני.
1. האם זוהי בדיקת תוקף או מהימנות?
מהימנות
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
מהימנות כיציבות, כי חושב מתאם בין שני מועדים שונים של אותו נוסח של הכלי שמודד תכונה אחת - אמפטיה, באמצעות שיטה אחת- שאלון.
3. לאור הבדיקה שנערכה בסעיף זה האם ניתן לומר כי 87% משונות הציונים משוחררים מכל סוגי המקורות האפשריים לטעות? הסבר.
מהימנות כיציבות רגישה ולכן מודדת רק מקור אחד לטעות מקרית - זמן, ואילו שני המקורות האחרים לטעות - תוכן ומעריך, מוחזקים קבוע בבדיקה זו, לכן לא מתקבל מידע לגבי רגישות השאלון לתוכן ומעריך. מתאם של 0.87 משמע ש-87% משונות הציונים הנצפים בשאלון נקיים/משוחררים מטעויות מקריות של זמן בלבד.
ד. בתום הקורס מנחת הקורס נתבקשה להעריך את מידת האמפטיה של על מועמדת ונמצא שהמתאם בין הערכת המנחה לבין הערכת נשות הקורס שהתקבל בתום הקורס הוא 0.6.
1. האם זוהי בדיקת תוקף או מהימנות?
תוקף
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
תוקף מתכנס, חושב מתאם בין 2 שיטות שונות - הערכת מנחה והערכת נשות קורס, נמדדה תכונה אחת - אמפטיה.
3. האם התוצאה מפתיעה אותך לאור התוצאה שהתקבלה בסעיף הקודם? נמק.
שורש מהימנות מהווה חסם עליון לתוקף ולכן לא מפתיע שהערך של תוקף הכלי 06.6 נמוך יותר מערך מהימנות הכלי 0.87
ה. כעבור שנה, רכזת המתנדבות במרכז דירגה על פי איכות הסיוע את האמפטיה שהפגינה ל מתנדבת במהלך השנה כלפי המתקשרות למרכז סיוע.
נמצא כי המתאם בין הציון בשאלון הדיווח העצמי לדירוג הרכזת היה 0.59.
1. האם זוהי בדיקת תוקף או מהימנות?
תוקף
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
תוקף ניבוי, כי חושב מתאם בין שתי שיטות שונות כאשר אחת מהן המנבא - שאלון דיווח עצמי, והשנייה היא קריטריון ( מדד להצלחה, תפקוד בפועל ) -דירוג הרכזת. ושתי השיטות מודדות תכונה אחת - אמפטיה. המטרה היא לבדוק עד כמה המנבא שאלון הדיווח העצמי אכן מצליח לחזות את מה שיקרה בפועל בתפקיד כפי שהתקבל בקריטריון- דירוג הרכזת.
ו. החוקר חישב ומצא מתאם של 0.83 בין שלון הערכה מנשות הקורס הבודק אמפטיה לבין שאלון הערכת עמיתים קיים הבודק רגישות לסביבה ( הנח כי שאלון זה מהימן ותקף )
1. האם זוהי בדיקת תוקף או מהימנות? מאיזה סוג? הסבר במונחי שיטות/תכונות
תוקף ניבוי, כי חושב מתאם בין 2 תכונות דומות - אמפטיה ורגישות הסביבה, שנמדדות באמצעות שיטה אחת - הערכת עמיתים.
2. מה אומרת התוצאה על טיבו של שאלון האמפטיה.
המתאם 0.83 הוא חיובי גבוה, זוהי אינה תוצאה רצויה כיוון שמעידה על יכולת הבחנה לא טובה בין 2 התכונות, לכן קיימת החלשה לתוקף השאלון.
במחקר לקחו חלק 40 מועמדות לקורס.
באמצע הקורס ובתום הקורס, על אחת דרגה את מידת האמפטיה של הנשים האחרות בקורס בין 1-כלל לא לבין 4-מאוד.
הופק ציון עבור כל מועמדת.
היא מצאה a של קרונבאך 0.89 של השאלון כל אחד משני המועדים.
א. איזה מבדיקת מ הימנות ערכה החוקר? הסבר במונחי שיטות/תכונות
בדיקת מהימנות כעקיבות פנימית, כשמקדם המהימנות הוא a של קרונבאך, כיוון שמתואר מתאם בין פריטים שונים בתוך נוסח אחד שמועבר פעם אחת ושר מודד תכונה אחת שהיא אמפתיה, באמצעות שיטה אחת שהיא שאלון.
ב. כל מועמדת אף מלאה שלון הערכה עצמית לגבי יכולתה האמפתית על סולן בין 1-מאוד אמפתית לבין 4-כלל לא אמפטית.
נבדק המתאם בין הערכת הנבדקת את עצמה ובין ההערכה שקבלה מנשות הקורס לגבי יכולתה האמפטית. נתקבל מתאם של 0.75-.
1. הם זוהי בדיקת תוקף או מהימנות?
תוקף
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
תוקף מתכנס, כיוון שחושב מתאם בין שתי שיטות שונו: הערכה עצמית והערכה מנשות הקורס, שמודדות תכונה אחת - אמפטיה.
3. מה תוכל לומר על טיב השאלון בהקמה לשאלה על סמך התוצאה שהתקבלה? נמק.
כאשר יש מתאם שלילי צריך לבדוק האם זה עניין טכני או מהותי: במקרה שלנו מדובר בסולמות הפוכים בשתי השיטות, ולכן מתאם של 0.75- מעיד על מתאם חיובי גבוה, שזו התכנסות טובה, המעידה ששתי השיטות א\כן מודדות את אותה התכונה וקיים חיזוק לתוקף השאלון.
ג. השאלון הערכת נשות הקורס הועבר במצע ובתום הקורס-לאחר חודש.
נתקבל מתאם של 0.87 בין הערכה מנשות הקורס כפי שנתקבל במועד הראשון לבין זה שנתקבל במועד השני.
1. האם זוהי בדיקת תוקף או מהימנות?
מהימנות
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
מהימנות כיציבות, כי חושב מתאם בין שני מועדים שונים של אותו נוסח של הכלי שמודד תכונה אחת - אמפטיה, באמצעות שיטה אחת- שאלון.
3. לאור הבדיקה שנערכה בסעיף זה האם ניתן לומר כי 87% משונות הציונים משוחררים מכל סוגי המקורות האפשריים לטעות? הסבר.
מהימנות כיציבות רגישה ולכן מודדת רק מקור אחד לטעות מקרית - זמן, ואילו שני המקורות האחרים לטעות - תוכן ומעריך, מוחזקים קבוע בבדיקה זו, לכן לא מתקבל מידע לגבי רגישות השאלון לתוכן ומעריך. מתאם של 0.87 משמע ש-87% משונות הציונים הנצפים בשאלון נקיים/משוחררים מטעויות מקריות של זמן בלבד.
ד. בתום הקורס מנחת הקורס נתבקשה להעריך את מידת האמפטיה של על מועמדת ונמצא שהמתאם בין הערכת המנחה לבין הערכת נשות הקורס שהתקבל בתום הקורס הוא 0.6.
1. האם זוהי בדיקת תוקף או מהימנות?
תוקף
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
תוקף מתכנס, חושב מתאם בין 2 שיטות שונות - הערכת מנחה והערכת נשות קורס, נמדדה תכונה אחת - אמפטיה.
3. האם התוצאה מפתיעה אותך לאור התוצאה שהתקבלה בסעיף הקודם? נמק.
שורש מהימנות מהווה חסם עליון לתוקף ולכן לא מפתיע שהערך של תוקף הכלי 06.6 נמוך יותר מערך מהימנות הכלי 0.87
ה. כעבור שנה, רכזת המתנדבות במרכז דירגה על פי איכות הסיוע את האמפטיה שהפגינה ל מתנדבת במהלך השנה כלפי המתקשרות למרכז סיוע.
נמצא כי המתאם בין הציון בשאלון הדיווח העצמי לדירוג הרכזת היה 0.59.
1. האם זוהי בדיקת תוקף או מהימנות?
תוקף
2. מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות
תוקף ניבוי, כי חושב מתאם בין שתי שיטות שונות כאשר אחת מהן המנבא - שאלון דיווח עצמי, והשנייה היא קריטריון ( מדד להצלחה, תפקוד בפועל ) -דירוג הרכזת. ושתי השיטות מודדות תכונה אחת - אמפטיה. המטרה היא לבדוק עד כמה המנבא שאלון הדיווח העצמי אכן מצליח לחזות את מה שיקרה בפועל בתפקיד כפי שהתקבל בקריטריון- דירוג הרכזת.
ו. החוקר חישב ומצא מתאם של 0.83 בין שלון הערכה מנשות הקורס הבודק אמפטיה לבין שאלון הערכת עמיתים קיים הבודק רגישות לסביבה ( הנח כי שאלון זה מהימן ותקף )
1. האם זוהי בדיקת תוקף או מהימנות? מאיזה סוג? הסבר במונחי שיטות/תכונות
תוקף ניבוי, כי חושב מתאם בין 2 תכונות דומות - אמפטיה ורגישות הסביבה, שנמדדות באמצעות שיטה אחת - הערכת עמיתים.
2. מה אומרת התוצאה על טיבו של שאלון האמפטיה.
המתאם 0.83 הוא חיובי גבוה, זוהי אינה תוצאה רצויה כיוון שמעידה על יכולת הבחנה לא טובה בין 2 התכונות, לכן קיימת החלשה לתוקף השאלון.
תרגול 2 - מהימנות ותוקף
כחלק ממיון מועמדים לקורס הסבה מקצועית לתעודת הוראה, הועבר ל -100 מועמדים מבחן הבוחן את יכולתם להעביר חומר לימוד לקבוצה של תלמידים לאחר שעה של קריאות החומר.
המבחן הוערך על ידי מורה בכיר מנוסה אשר הפיק לכל מועמד ציון שנע בין 1-מסביר גרוע לבין 10-מסביר מעולה.
א. כחלק מבדיקת טיב כלי המדידה, נבדק המבחן באופן בלתי תלוי על ידי מורה מנוסה אחר.
עבור 90% מהנבדקים נתקבלה הסכמה בין שני הבודקים.
1. האם זו בדיקת מהימנות או תוקף? מאיזה סוג? הסבר במונחי שיטות/תכונות
מהימנות בין שופטים, כי חושב מתאם בין שני מעריכים/שופטים - מורים מנוסים, שבודקים תכונה אחת - יכולת להעביר חומר לימוד/התאמה להוראה, באמצעות שיטה אחת - מבחן.
2. האם ניתן לומר ש-90% משונות ציוני המבחן משוחררים מטעויות שמקורן בזמן?
לא, כי מהימנות בין שופטים מודדת טעויות שמקורן במעריך בלבד, ואילו הזמן מוחזק קבוע, לכן לא מתקבל מידע כלשהוא על רגישות הכלי לשינוים בזמן.
ב. החוקר העביר נוסח זהה של המבחן לאחר חודש ונתקבל מתאם ל 0.82 בין שני המועדים.
1. האם זו בדיקת מהימנות או תוקף? מאיזה סוג? הסבר במונחי שיטות/תכונות
מהימנות כיציבות, כי חושב מתאם בין שני מועדים שונים של אותו נוסח שבודק תכונה אחת - התאמה להוראה, באמצעות שיטה אחת - מבחן.
2. האם ניתן לומר על סמך בדיקה זו מהו אחוז שונות הטעויות שמקורן בשינויים בזמן?
מתאם של 0.82 מעיד על כך ש-18% נובעים/מקורם מטעויות מקריות של זמן.
3. מהו המקור האפשרי לשונות האמיתית בציוני הנבדים במועד הראשון? נמק.
השונות האמיתית היא תמיד השונות שאנו רוצים למדוד בכלי, כלומר ההבדלים האמיתיים בין הנבדקים השונים בתכונה הנמדדת בכלי, הבדלים בין המועמדים ביכולתם להעביר חומר לימוד
ג. כל המועמדיםם נתקבלו לקורס ללא התחשבות בציונם במבחן הקבלהל.
החוקר בד את הקשר בין ןהציון במבחן לבין הציון בסוף הקורס.
נתקבל מתאם של 0.34.
האם זו בדיקת תוקף או מהימנות? מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות.
תוקף ניבוי כי חושב מתאם בין 2 שיטות שונות, האחת המנבא - המבחן, והשנייה הקריטריון - הציון בסוף הקורס, אשר מודדות תכונה אחת - התאמה להוראה, הרציונל היה לבדוק עד כמה מבחן הקבלה מצליח לחזור/לנבא הצלחה בקורס.
ה. באיזה סולם מדידה נתון כל אחד מהפריטים המתוארים במבחן ?
סולם סדר, מנמוך-גרוע ועד גבוה-מעולה.
ו. החוקר החליט לצמצם את הדרגות של הפריט ל-2 עבר/נכשל. האם סולם המדידה היה משתנה?
אם צמצמנו את סולם הדרגות ל-2, עבר/נכשל, נשאלת השאלה האם נשארה ההיררכיה של סולם סדר - ערך גבוה ונמוך? בהחלט כן, עדין ניתן לדרג אותם מנמוך לגבוה כי עבר גבוה מנכשל.
לכן עדין מדובר בסולם סדר.
ז. החוקר העביר את מבחן הקבלה לקורס הסבה לשני מדגמים: מדגם של מורים בכירים שקיבלו תעודת הצטיינות על פעילותם ומדגם נוסף של מורם שפוטרו עקב תלונות מרובות של הורים.
1. איזו בדיקה ערך החוקר? תוקף או מהימנות. הסבר בקצרה.
תוקף, כי משווים בין 2 קבוצות, ולכן לא יכול להיות מהימנות שמחייב ש-2 המדידות יתבצעו על קבוצה אחת.
2. מאיזה סוג?
חקר הבדלים בין קבוצות, כי נבדקה תכונה אחת - התאמה להוראה, באמצעות 2 שיטות שונות, האחת היא השיוך הקבוצתי כפי שהתארח במציאות - מורים מצטיינים ומורים שפוטרו, השיטה השנייה - מבחן הקבלה. כמו כן קיימת צפיה מראש וברורה מאליה שמורים מצטיינים מתאימים יותר להוראה מאלה שפוטרו.
3. איזו תוצאה תהיה רצויה לו ואיזה לא - הסבר בקצרה.
תוצאה רצויה - שממוצע הציונים במבחן קבלה של מורים מצטיינים יהיה גבוה יותר באופן מובהק ממורים שפוטרו, מה שיהווה חיזוק לתוקף המבחן.
תוצאה לא רצויה - ממוצע הציונים במבחן הקבלה של מורים מצטיינים יהיה נמוך או שווה לאלה שפוטרו, מה שיחליש את תוקף המבחן.
המבחן הוערך על ידי מורה בכיר מנוסה אשר הפיק לכל מועמד ציון שנע בין 1-מסביר גרוע לבין 10-מסביר מעולה.
א. כחלק מבדיקת טיב כלי המדידה, נבדק המבחן באופן בלתי תלוי על ידי מורה מנוסה אחר.
עבור 90% מהנבדקים נתקבלה הסכמה בין שני הבודקים.
1. האם זו בדיקת מהימנות או תוקף? מאיזה סוג? הסבר במונחי שיטות/תכונות
מהימנות בין שופטים, כי חושב מתאם בין שני מעריכים/שופטים - מורים מנוסים, שבודקים תכונה אחת - יכולת להעביר חומר לימוד/התאמה להוראה, באמצעות שיטה אחת - מבחן.
2. האם ניתן לומר ש-90% משונות ציוני המבחן משוחררים מטעויות שמקורן בזמן?
לא, כי מהימנות בין שופטים מודדת טעויות שמקורן במעריך בלבד, ואילו הזמן מוחזק קבוע, לכן לא מתקבל מידע כלשהוא על רגישות הכלי לשינוים בזמן.
ב. החוקר העביר נוסח זהה של המבחן לאחר חודש ונתקבל מתאם ל 0.82 בין שני המועדים.
1. האם זו בדיקת מהימנות או תוקף? מאיזה סוג? הסבר במונחי שיטות/תכונות
מהימנות כיציבות, כי חושב מתאם בין שני מועדים שונים של אותו נוסח שבודק תכונה אחת - התאמה להוראה, באמצעות שיטה אחת - מבחן.
2. האם ניתן לומר על סמך בדיקה זו מהו אחוז שונות הטעויות שמקורן בשינויים בזמן?
מתאם של 0.82 מעיד על כך ש-18% נובעים/מקורם מטעויות מקריות של זמן.
3. מהו המקור האפשרי לשונות האמיתית בציוני הנבדים במועד הראשון? נמק.
השונות האמיתית היא תמיד השונות שאנו רוצים למדוד בכלי, כלומר ההבדלים האמיתיים בין הנבדקים השונים בתכונה הנמדדת בכלי, הבדלים בין המועמדים ביכולתם להעביר חומר לימוד
ג. כל המועמדיםם נתקבלו לקורס ללא התחשבות בציונם במבחן הקבלהל.
החוקר בד את הקשר בין ןהציון במבחן לבין הציון בסוף הקורס.
נתקבל מתאם של 0.34.
האם זו בדיקת תוקף או מהימנות? מאיזה סוג? הסבר בקצרה במונחי שיטות/תכונות.
תוקף ניבוי כי חושב מתאם בין 2 שיטות שונות, האחת המנבא - המבחן, והשנייה הקריטריון - הציון בסוף הקורס, אשר מודדות תכונה אחת - התאמה להוראה, הרציונל היה לבדוק עד כמה מבחן הקבלה מצליח לחזור/לנבא הצלחה בקורס.
ה. באיזה סולם מדידה נתון כל אחד מהפריטים המתוארים במבחן ?
סולם סדר, מנמוך-גרוע ועד גבוה-מעולה.
ו. החוקר החליט לצמצם את הדרגות של הפריט ל-2 עבר/נכשל. האם סולם המדידה היה משתנה?
אם צמצמנו את סולם הדרגות ל-2, עבר/נכשל, נשאלת השאלה האם נשארה ההיררכיה של סולם סדר - ערך גבוה ונמוך? בהחלט כן, עדין ניתן לדרג אותם מנמוך לגבוה כי עבר גבוה מנכשל.
לכן עדין מדובר בסולם סדר.
ז. החוקר העביר את מבחן הקבלה לקורס הסבה לשני מדגמים: מדגם של מורים בכירים שקיבלו תעודת הצטיינות על פעילותם ומדגם נוסף של מורם שפוטרו עקב תלונות מרובות של הורים.
1. איזו בדיקה ערך החוקר? תוקף או מהימנות. הסבר בקצרה.
תוקף, כי משווים בין 2 קבוצות, ולכן לא יכול להיות מהימנות שמחייב ש-2 המדידות יתבצעו על קבוצה אחת.
2. מאיזה סוג?
חקר הבדלים בין קבוצות, כי נבדקה תכונה אחת - התאמה להוראה, באמצעות 2 שיטות שונות, האחת היא השיוך הקבוצתי כפי שהתארח במציאות - מורים מצטיינים ומורים שפוטרו, השיטה השנייה - מבחן הקבלה. כמו כן קיימת צפיה מראש וברורה מאליה שמורים מצטיינים מתאימים יותר להוראה מאלה שפוטרו.
3. איזו תוצאה תהיה רצויה לו ואיזה לא - הסבר בקצרה.
תוצאה רצויה - שממוצע הציונים במבחן קבלה של מורים מצטיינים יהיה גבוה יותר באופן מובהק ממורים שפוטרו, מה שיהווה חיזוק לתוקף המבחן.
תוצאה לא רצויה - ממוצע הציונים במבחן הקבלה של מורים מצטיינים יהיה נמוך או שווה לאלה שפוטרו, מה שיחליש את תוקף המבחן.
תרגול 3 - מהימנות ותוקף
הפקולטה לאדריכלות בטכניון פיתחה מבחן לקבלת מועמדים, אשר כלל מספר דגמים, שכל הנבדק היה לתאר האם הדגם יציב ואם לא, מה הבעיה הקיימת.
המבחן הועבר ל-80 מועמדים ולכל נבדק ניתן ציון התאמה: מתאים/לא מתאים על ידי אדריכל מומחה.
א. על מנת לבדוק את טיב המבחן, נתח מומחה נוסף את תגובת המועמדים.
להלן נוח המתאר את התפלגות ההסכמה/אי ההסכמה בין שני המומחים
1. איזו בדיקה נעשתה? תוקף או מהימנות. מאיזה סוג? הסבר במונחי שיטות/תכונות.
מהימנות בין שופטים כי חושב מתאם בין שני מומחים שבודקים תכונה אחת - מידת התאמה לאדריכלות, באמצעות שיטה אחת - מבחן קבלה.
2. מה ניתן לומר על טיבו של המבחן לאור התוצאה שבלוח?
מתוך 80 משתתפים סה"כ, הסכימו ש-20 מתאימים ו-50 לא מתאימים, כלומר 70 מתוך 80. מתאם של 87.5%, אחוז הסכמה גבוה כיוון שמעל 0.8.
לכן ניתן לומר שמהימנות בין שופטים של מבחן הקבלה גבוהה, 87.5% משונות הנצפית נקייה מטעויות מקריות של שופט.
ב. הנח כי כל המועדים התקבלו לפקולטה. בניסיון נוסף לבחון את טיב המבחן נמדדה רמת ההצלחה של המועמים על פי הציון הסופי בפרויקט גמר של שנה ראשונה וניתן לכל אחד ציון עבר/נכשל.
להלן מתוארים שלושה לוחות התפלגות היפותטיים של התאמה בין מבחן הקבלה לציון סופי ברפרויקט גמר:
1. איזו בדירה ערך החוקר? תוקף או מהימנות, ומאיזה סוג? הסבר בקצרה.
תוקף ניבוי כי חושב מתאם בין שתי שיטות שונות: אחת המנבא - מבחן קבלה, והשנייה הקריטריון - ציון סופי בפרויקט הגמר, המודדות תכונה אחת - התאמה לאדריכלות.
2.מה תוכל לומר לאור התוצאה על טיבו של המבחן? הסבר עבור כל לוח בנפרד וציין איזו תוצאה מראה על התוקף הניבוי הגבוה ביותר.
על מנת לנתח טבלה של תוקף ניבוי, יש להשוות בין אחוזי ההתאמה שהכלי מנבא עבור כל אחת מ-2 אוכלוסיות הקריטריון בנפרד, העוברים והנכשלים.
ככל שהפער ביניהם הוא גדול יותר, כך יכולת ההבחנה בין שתי האוכלוסיות של הכלי המנבא טובה יותר ולכן נחשב לבעל תוקף ניבוי גבוה יותר.
ג. המבחן הועבר אף לאדריכלים מנוסים ולא נמצא הבדל בין קבוצת המנוסים לקבוצת המועמדים החדשים לפקולטה.
1. איזו בדיקה נעשתה כאן? תוקף או מהימנות, ומאיזה סוג? הסבר במונחי שיטות/תכונות
מדובר בתוקף מבנה מסוג חקר הבדלים בין קבוצות, כי נבדקה תכונה אחת - מידת התאמה לאדריכלות, באמצעות שתי שיטות, האחת היא שיוך קבוצתי כפי שקיים במציאות: מנוסים לעומת חדשים.
והשיטה השנייה היא מבחן קבלה. וכמו כן קיימת ציפייה מראש וברורה מאליה שמנוסים יצליחו טוב יותר במבחן קבלה מחדשים.
2. מה אומרת התוצאה על טיב המבחן? הסבר
העובדה שלא נמצא הבדל בין שתי הקבוצות זוהי תוצאה לא רצויה, כי לא תואמת את הציפיות הברורות מאליהן להבדל ולכן קיימת החלשה לתוקף מבחן הקבלה.
ד. נבדקו הבדלים בין המינים במבחן הקבלה. נמצא שנשים בממוצע כישרוניות יותר מגברים.
1. איזה סוג של בדיקת תוקף נעשתה כאן? ההסבר במנחי שיטות/תכונות
בדיקת תוקף מבנה מסוג חקר מתאמים, כי חושב מתאם בין שתי תכונות שונות - מגדר והתאמה לאדריכלות, שנמדדות באמצעות שיטה אחת - מבחן, וללא ציפייה מראש וברורה מאליה לקשר בין שתי התכונות.
2. מה אומרת התוצאה על טיב המבחן? הסבר
נמצא שנשים כישרוניות יותר מגברים, אך לא נאמר לנו מה התאוריה מנבאת/מה היו ציפיות החוקר שהן לא ברורות מאליהן, לכן לא ניתן להסיק על פי התוצאה האם יש חיזוק או החלשה לתוקף.
* כאשר בשאלה ניתנת לנו השערה של חוקר/תאוריה, בהכרח מדובר בתוקף מבנה מסוג חקר מתאמים, ויש לבדוק האם התוצאה שהתקבלה תואמת את התאוריה.
אם היה מדובר בחקר הבדלים בין קבוצות אז אין צורף לומר לנו תאוריה/השערה כי היא ברורה מאליה.
כאשר לא קיימת השערה, אז צריך לבדוק האם יש ציפייה מראש וברורה מאליה להבדל בין הקבוצות ואז מדובר בחקר הבדלים בין קבוצות, או שאין ציפייה ברורה ופשוט לא נתנו לנו את התאוריה, ואז נסיק שמדובר בחדר מתאמים ולא נוכל להסיק האם התוצאה רצויה או לא.
3. באיזה מערך מחקר נקט החוקר? נמק.
מערך מחקר מתאמי כי המשתנה המב"ת הוא מגדר, משתנה ייחוס שלא ניתן לתפעול. ההגדרה האופרציונלית של המב"ת בהכרח נמדדת כי לא ניתן לעשות מניפולציה על מגדר.
ה. עוזר מחקר הציע לחוקר להעביר את מבחן הקבלה לקבוצה אחרת של מועמדים במועד אחר, בנוסף להעברה הראשונה.
1. איזה מהימנות התכוון עוזר המחקר לבדוק - ציין שם.
מהימנות כיציבות
2. האם אומנם ניתן לבדוק מהימנות זו בדרך שהוצעה? הסבר בקצרה
לא ניתן לבצע זאת כי מהימנות כיציבות, כי חייבים להעביר לאותה קבוצת מועמדים בשני המועמדים. ונאמר לנו שלקחו קבוצה אחרת של מועמדים.
ו. בבדיקה נוספת השתמש החוקר בגרסה אחרת של מבחן לקבלת מועמדים לאותה פקולטה, אשר הכילה דגמים שונים והעביר את המבחן השני לאותם 80 מועמדים מיד לאחר מילוי המבחן הראשון.
הוא חישב ומצא מתאם של 0.89 בין שני המבחנים.
1. האם זוהי בדיקת תוקף או מהימנות? מאיזה סוג? הסבר במונחי שיטות/תכונות.
נוסח דומה = גרסאות שונות לאותו המבחן, לכן מדובר בבדיקת מהימנות כאקוויוולנטיות, מחושב מתאם בין שני נוסחים דומים שהועברו ללא פער של זמן ואשר מודדים תכונה אחת - התאמה לאדריכלות, באמצעות שיטה אחת - מבחן קבלה.
2. האם ניתן לומר כי 89% משונות הציונים משוחררת מתלות במעריך? נמק.
מהימנות כאקוויוולנטיות לא רגישה/לא מודדת טעויות שופט/מעריך כי השופט מוחזק קבוע בבדיקה זו, הטעות היחידה שנמדדה היא טעות שקשורה לתוכן. לכן ניתן לומר ש-89% מהשונות הנצפית במבחן משוחררת/נקייה מטעויות מקריות שמקורן בתוכן.
ז. בבדיקה נוספת חושב המתאם בין הציון במבחן בין שלוש קבוצות מועמדים כפי שחולקו על פי דירוג האדריכל שהעריך את תיק העבודות של כל מועמד: בעלי סיכוי גבוה להצליח, בעלי סיכוי בינוני ובעלי סיכוי נמוך להצליח בלימודים. האם זוהי בדיקת תוקף או מהימנות? מאיזה סוג? הסבר במונחי שיטות/תכונות.
תוקף מתכנס, כי חושב מתאם בין שני כלים שבודקים תכונה אחת - התאמה לאדריכלות באמצעות שתי שיטות שונות - מבחן קבלה ודירוג תיק עבודות.
* לא מדובר בקבוצות טבעיות שכן קיימות במציאות, לכן לא חקר הבדלים בין קבוצות
ח. מנהל הפקולטה בחן את מבחן הקבלה וציין כי המבחן לא ממצה כהלכה את כל הכישורים הנדרשים מסטודנט ללימודי אדריכלות. על איזה תוקף מדידה מערער המנהל? נמק.
תוקף תוכן, כי מדובר במבחן ביצוע שבודקת רמת ידיעות/הישגים בתחום מוגר - אדריכלות, והטענה שמבחן ההתאמה לא ממצה/מכסה את כל עולם התוכן, כל הכישורים הנדרשים של אדריכל, ולכן בעל תוקף תוכן נמוך.
* תוקף תוכן רלוונטי רק במבחני ביצוע שבוחנים רמת ידיעות בתחום ספציפי מוגדר.
המבחן הועבר ל-80 מועמדים ולכל נבדק ניתן ציון התאמה: מתאים/לא מתאים על ידי אדריכל מומחה.
א. על מנת לבדוק את טיב המבחן, נתח מומחה נוסף את תגובת המועמדים.
להלן נוח המתאר את התפלגות ההסכמה/אי ההסכמה בין שני המומחים
| מומחה א' | |||
| מומחה ב' | מתאים | לא מתאים | |
| מתאים | 20 | 5 | |
| לא מתאים | 5 | 50 | |
מהימנות בין שופטים כי חושב מתאם בין שני מומחים שבודקים תכונה אחת - מידת התאמה לאדריכלות, באמצעות שיטה אחת - מבחן קבלה.
2. מה ניתן לומר על טיבו של המבחן לאור התוצאה שבלוח?
מתוך 80 משתתפים סה"כ, הסכימו ש-20 מתאימים ו-50 לא מתאימים, כלומר 70 מתוך 80. מתאם של 87.5%, אחוז הסכמה גבוה כיוון שמעל 0.8.
לכן ניתן לומר שמהימנות בין שופטים של מבחן הקבלה גבוהה, 87.5% משונות הנצפית נקייה מטעויות מקריות של שופט.
ב. הנח כי כל המועדים התקבלו לפקולטה. בניסיון נוסף לבחון את טיב המבחן נמדדה רמת ההצלחה של המועמים על פי הציון הסופי בפרויקט גמר של שנה ראשונה וניתן לכל אחד ציון עבר/נכשל.
להלן מתוארים שלושה לוחות התפלגות היפותטיים של התאמה בין מבחן הקבלה לציון סופי ברפרויקט גמר:
לוח א'
| החלטת מבחן הקבלה | ||||
| ציון סופי בפרויקט גמר | מתאים | לא מתאים | סה"כ | |
| הצליח | 30 | 10 | 40 | |
| נכשל | 10 | 30 | 40 | |
| סה"כ | 40 | 40 | ||
לוח ב'
| החלטת מבחן הקבלה | ||||
| ציון סופי בפרויקט גמר | מתאים | לא מתאים | סה"כ | |
| הצליח | 6 | 54 | 60 | |
| נכשל | 18 | 2 | 20 | |
| סה"כ | 24 | 56 | ||
לוח ג'
| החלטת מבחן הקבלה | ||||
| ציון סופי בפרויקט גמר | מתאים | לא מתאים | סה"כ | |
| הצליח | 10 | 30 | 40 | |
| נכשל | 10 | 30 | 40 | |
| סה"כ | 20 | 60 | ||
1. איזו בדירה ערך החוקר? תוקף או מהימנות, ומאיזה סוג? הסבר בקצרה.
תוקף ניבוי כי חושב מתאם בין שתי שיטות שונות: אחת המנבא - מבחן קבלה, והשנייה הקריטריון - ציון סופי בפרויקט הגמר, המודדות תכונה אחת - התאמה לאדריכלות.
2.מה תוכל לומר לאור התוצאה על טיבו של המבחן? הסבר עבור כל לוח בנפרד וציין איזו תוצאה מראה על התוקף הניבוי הגבוה ביותר.
על מנת לנתח טבלה של תוקף ניבוי, יש להשוות בין אחוזי ההתאמה שהכלי מנבא עבור כל אחת מ-2 אוכלוסיות הקריטריון בנפרד, העוברים והנכשלים.
ככל שהפער ביניהם הוא גדול יותר, כך יכולת ההבחנה בין שתי האוכלוסיות של הכלי המנבא טובה יותר ולכן נחשב לבעל תוקף ניבוי גבוה יותר.
- בלוח א': בקרב העוברים את פרויקט הגמר מבחן הקבלה מנבא 30 מתוך 40, כלומר 75% התאמה, ובקרב הנכשלים בפרויקט הגמר מבחן הקבלה מנבא 10 מתוך 40 כלומר 25% התאמה. כלומר בחן הקבלה מצליח להבחין בצורה טובה בין עובר לנכשל בפרויקט (הקריטריון) ולכן בעל תוקף ניבוי.
- בלוח ב': בקרב העוברים את פרויקט הגמר מבחן הקבלה מנבא 6 מתוף 60 כלומר 10% התאמה, ובקרב הנכשלים בפרויקט הגמר מבחן הקבלה מנבא ל18 מתוך 20 התאמה, כלומר ל-90%. כלומר מבחן הקבלה מצליח להבחין בצורה טובה מאוד בין עובר לנכשל, רק כיוון הניבוי הוא שלילי. לכן הוא בעל תוקף ניבוי.
- בלוח ג': בקרב העוברים את פרויקט הגמר, מבחן הקבלה מנבא ל-10 מתוך 40, 25% התאמה, ובקרב הנכשלים בפרויקט הגמר, מבחן הקבלה מנבא ל-10 מתוך 40, כלומר 25% התאמה. כלומר מבחן הקבלה אינו מצליח להבחין בין העוברים והנכשלים בפרויקט (בקריטריון) מבחינת אחוזה התאמה. לכן הוא חסר תוקף ניבוי. אם היינו מחשבים מתאם בין מנבא לקריטריון אז היה מתקבל מתאם ששווה ל-0.
ג. המבחן הועבר אף לאדריכלים מנוסים ולא נמצא הבדל בין קבוצת המנוסים לקבוצת המועמדים החדשים לפקולטה.
1. איזו בדיקה נעשתה כאן? תוקף או מהימנות, ומאיזה סוג? הסבר במונחי שיטות/תכונות
מדובר בתוקף מבנה מסוג חקר הבדלים בין קבוצות, כי נבדקה תכונה אחת - מידת התאמה לאדריכלות, באמצעות שתי שיטות, האחת היא שיוך קבוצתי כפי שקיים במציאות: מנוסים לעומת חדשים.
והשיטה השנייה היא מבחן קבלה. וכמו כן קיימת ציפייה מראש וברורה מאליה שמנוסים יצליחו טוב יותר במבחן קבלה מחדשים.
2. מה אומרת התוצאה על טיב המבחן? הסבר
העובדה שלא נמצא הבדל בין שתי הקבוצות זוהי תוצאה לא רצויה, כי לא תואמת את הציפיות הברורות מאליהן להבדל ולכן קיימת החלשה לתוקף מבחן הקבלה.
ד. נבדקו הבדלים בין המינים במבחן הקבלה. נמצא שנשים בממוצע כישרוניות יותר מגברים.
1. איזה סוג של בדיקת תוקף נעשתה כאן? ההסבר במנחי שיטות/תכונות
בדיקת תוקף מבנה מסוג חקר מתאמים, כי חושב מתאם בין שתי תכונות שונות - מגדר והתאמה לאדריכלות, שנמדדות באמצעות שיטה אחת - מבחן, וללא ציפייה מראש וברורה מאליה לקשר בין שתי התכונות.
2. מה אומרת התוצאה על טיב המבחן? הסבר
נמצא שנשים כישרוניות יותר מגברים, אך לא נאמר לנו מה התאוריה מנבאת/מה היו ציפיות החוקר שהן לא ברורות מאליהן, לכן לא ניתן להסיק על פי התוצאה האם יש חיזוק או החלשה לתוקף.
* כאשר בשאלה ניתנת לנו השערה של חוקר/תאוריה, בהכרח מדובר בתוקף מבנה מסוג חקר מתאמים, ויש לבדוק האם התוצאה שהתקבלה תואמת את התאוריה.
אם היה מדובר בחקר הבדלים בין קבוצות אז אין צורף לומר לנו תאוריה/השערה כי היא ברורה מאליה.
כאשר לא קיימת השערה, אז צריך לבדוק האם יש ציפייה מראש וברורה מאליה להבדל בין הקבוצות ואז מדובר בחקר הבדלים בין קבוצות, או שאין ציפייה ברורה ופשוט לא נתנו לנו את התאוריה, ואז נסיק שמדובר בחדר מתאמים ולא נוכל להסיק האם התוצאה רצויה או לא.
3. באיזה מערך מחקר נקט החוקר? נמק.
מערך מחקר מתאמי כי המשתנה המב"ת הוא מגדר, משתנה ייחוס שלא ניתן לתפעול. ההגדרה האופרציונלית של המב"ת בהכרח נמדדת כי לא ניתן לעשות מניפולציה על מגדר.
ה. עוזר מחקר הציע לחוקר להעביר את מבחן הקבלה לקבוצה אחרת של מועמדים במועד אחר, בנוסף להעברה הראשונה.
1. איזה מהימנות התכוון עוזר המחקר לבדוק - ציין שם.
מהימנות כיציבות
2. האם אומנם ניתן לבדוק מהימנות זו בדרך שהוצעה? הסבר בקצרה
לא ניתן לבצע זאת כי מהימנות כיציבות, כי חייבים להעביר לאותה קבוצת מועמדים בשני המועמדים. ונאמר לנו שלקחו קבוצה אחרת של מועמדים.
ו. בבדיקה נוספת השתמש החוקר בגרסה אחרת של מבחן לקבלת מועמדים לאותה פקולטה, אשר הכילה דגמים שונים והעביר את המבחן השני לאותם 80 מועמדים מיד לאחר מילוי המבחן הראשון.
הוא חישב ומצא מתאם של 0.89 בין שני המבחנים.
1. האם זוהי בדיקת תוקף או מהימנות? מאיזה סוג? הסבר במונחי שיטות/תכונות.
נוסח דומה = גרסאות שונות לאותו המבחן, לכן מדובר בבדיקת מהימנות כאקוויוולנטיות, מחושב מתאם בין שני נוסחים דומים שהועברו ללא פער של זמן ואשר מודדים תכונה אחת - התאמה לאדריכלות, באמצעות שיטה אחת - מבחן קבלה.
2. האם ניתן לומר כי 89% משונות הציונים משוחררת מתלות במעריך? נמק.
מהימנות כאקוויוולנטיות לא רגישה/לא מודדת טעויות שופט/מעריך כי השופט מוחזק קבוע בבדיקה זו, הטעות היחידה שנמדדה היא טעות שקשורה לתוכן. לכן ניתן לומר ש-89% מהשונות הנצפית במבחן משוחררת/נקייה מטעויות מקריות שמקורן בתוכן.
ז. בבדיקה נוספת חושב המתאם בין הציון במבחן בין שלוש קבוצות מועמדים כפי שחולקו על פי דירוג האדריכל שהעריך את תיק העבודות של כל מועמד: בעלי סיכוי גבוה להצליח, בעלי סיכוי בינוני ובעלי סיכוי נמוך להצליח בלימודים. האם זוהי בדיקת תוקף או מהימנות? מאיזה סוג? הסבר במונחי שיטות/תכונות.
תוקף מתכנס, כי חושב מתאם בין שני כלים שבודקים תכונה אחת - התאמה לאדריכלות באמצעות שתי שיטות שונות - מבחן קבלה ודירוג תיק עבודות.
* לא מדובר בקבוצות טבעיות שכן קיימות במציאות, לכן לא חקר הבדלים בין קבוצות
ח. מנהל הפקולטה בחן את מבחן הקבלה וציין כי המבחן לא ממצה כהלכה את כל הכישורים הנדרשים מסטודנט ללימודי אדריכלות. על איזה תוקף מדידה מערער המנהל? נמק.
תוקף תוכן, כי מדובר במבחן ביצוע שבודקת רמת ידיעות/הישגים בתחום מוגר - אדריכלות, והטענה שמבחן ההתאמה לא ממצה/מכסה את כל עולם התוכן, כל הכישורים הנדרשים של אדריכל, ולכן בעל תוקף תוכן נמוך.
* תוקף תוכן רלוונטי רק במבחני ביצוע שבוחנים רמת ידיעות בתחום ספציפי מוגדר.
הגדרה
- שואל את השאלה עד כמה הכלי הוא עקבי, שיטתי.
- במובן שאם נחזור על המדידה פעם נוספת, נקבל תוצאה דומה ככל האפשר.
הגדרה תיאורטית
- עוסקת ביחס בין שונות אמיתית לשונות נצפית בכלי ומוגדרת: מהימנות של כלי מדידה מגדיר עד כמה שונות הציונים הנצפים בכלי היא אמיתית, במובן שהיא משוחררת/נקייה מטעויות מדידה.
- ערך מקדם מהימנות:
- יכול לנוע בין הערך 0 - לא מהימן, כל מה שנצפה מקרי, לבין 1 - מהימנות מושלמת, כל הציונים הנצפים אמיתיים וללא טעויות מקריות.
- לא יכול להיות ערך שלילי כיוון שהוא יחס בין שונויות
- ציון נצפה בכלי ( הציון שהאדם מקבל בפועל ) = ציון האמיתי של הנבדק + מרכיב של טעות מדידה
- שונות הציונים הנצפים בכלי = שונות אמיתית + שונות טעויות ( מקריות בלבד )
טעויות מדידה
סוג 1: טעות קבועה
- טעות שגודלה לא משתנה ממדידה למדידה
- למשל מאזניים לא מכוילים ומזייפים באופן ובגודל קבוע
- טעות שגודלה משתנה ממדידה למדידה
- יכולה לנבוע מ-3 מקורות שונים:
- זמן מדידה -
- מתייחס לעד כמה הכלי מושפע/רגיש לזמן שבו התבצעה המדידה
- בתוך מסגרת הזמן כלולים גם מרכיבים:
- תוך נבדק - מצב רוח, מצב בריאות, עירנות, מידת מוטיבציה וכדומה.
- חיצונים לנבדק - מזג אויר, מצב תאורה, כמות רעש וכו'
- כל אחד מהמרכיבים יכול להשתנות מנקודת זמן אחת לשנייה, ולהשפיע על הציון שאדם יקבל כלי ומידת ההשפעה תשתנה מנבדק לנבדק, ולכן מדובר בטעות מקרית.
- תוכן הפריטים - מתייחס לעד כמה הציונים בכלי מושפעים מהניסוח המילולי של הפריטים, כלומר עד כמה הניסוח הוא ברור וחד משמעי כך שכולם מפרשים אותו בדיוק באותו אופן.
- מעריך/בודק - מתייחס לעד כמה הציונים בכלי חשופים להטיות/שיקול דעת הבודק, הנותן את הציון. מידת החשיפה לסובייקטיביות של השופט/המעריך לאופן הייחודי שהוא מפרש את הממצאים.
- זמן מדידה -
- 3 הגורמים/המקורות הם בלתי תלויים זה בזה, לכן טעות במקור 1 לא מספק מידע על המקורות האחרים לטעות.
- הבעיה היא שכל אדם מקבל ציון 1 בכלי, הציון הנצפה, ולא ניתן לבודד את רכיב הטעות מהציון הנצפה, לכן לא ניתן למדוד מהימנות באופן ישיר ויש להשתמש בדרכים עקיפות למדידת מהימנות הכלי.
למה שונות טעויות מורכבת אך ורק מטעויות מקריות?
כי השונות של טעות קבועה שווה ל-0 ולכן טעות קבועה לא פוגעת במהימנות הכלי.
חישוב מהימנות של כלי מדידה
- מחשבים מתאם בין שתי מדידות שונות שמתבצעות באותו כלי מדידה.
- הטעות המקרית שנמדדת בכל סוג של מהימנות, היא המשתנה בין שתי המדידות באותה בדיקה.
- לדוגמא במההימנות כיציבות, המתשנה הוא מועד הבדיקה ולכן זוהי הטעות שנמדדת.
- כל סוג של מהימנות רגיש ולכן מודד רק מקור אחד לטעות מקרית מבין 3 המקורות, כי 2 המקורות האחרים לטעות נשארים קבועים, ולכן לא מתקבל מידע לגביהם.
- על מנת שנזהה שמדובר בבדיקה של מהימנות מסוג כלשהוא, יש לזהות שמתקיימים 3 תנאים. מספיק שאחד מהתנאים לא מתקיים אז לא מדובר במהימנות אלא בתוקף:
- 2 המדידות משתמשות באותה שיטה
- 2 המדידות מודדות אותה תכונה
- 2 מדידות מתבצעות על אותה קבוצת נבדקים.
4 הגדרות אופרציונליות למדידת מהימנות
( 1 ) מהימנות כיציבות ( מבחן חוזר )
( 2 ) מהימנות באקוויוולנטיות ( נוסח מקביל )
( 3 ) מהימנות כעקיבות פנימית
( 4 ) מהימנות בין שופטים ( מעריכים )
- החוקר מעביר את אותו נוסח של כלי מדידה, בשני מועדים שונים לאותה קבוצה נבדקים
- פרק הזמן יכול לנוע בין שבוע לחצי שנה על פי הספרות המקצועית.
- בבדיקה זו מחושב המתאם בין שני המועדים
- המטרה לבדוק את עקביות הכלי לאורך זמן - נמדדת הטעות המקרית שקשורה לשינויים בזמן
- לדוגמא אם מתקבל מתאם של 0.85, ניתן להסיק ש-85% משונות הציונים הנצפים בכלי משוחררים/נקיים מטעות מקריות של זמן מדידה. ולחלופין 15% משונות הציונים בנצפים בכלי נובעים/תלויים בטעויות מקריות של זמן.
( 2 ) מהימנות באקוויוולנטיות ( נוסח מקביל )
- החוקר מפתח לאותו כלי 2 גרסאות/וריאציות ונוסחים דומים בעלי אותו מבנה, והשוני ביניהם הוא בסוג השאלות/ הניסוח המילולי של הפריטים ( למשל מילים נרדפות )
- הנוסחים מועברים לנבדקים בזה אחר זה, ללא פער בזמן לרוב, ומחשב את המתאם בין שני הנוסחים.
- המטרה לבדוק עקביות של הכלי לאורך שינוים בנוסח, לכן הטעות המקרית הנמדדת היא תוכן הפריטים.
- לדוגמא אם מתקבל מתאם של 0.85, ניתן להסיק ש-85% משונות הציונים הנצפים בכלי משוחררים/נקיים מטעות מקריות של תוכן הפריטים. ולחלופין 15% משונות הציונים בנצפים בכלי נובעים/תלויים בטעויות תוכן הפריטים.
- מחולק ל-2 סוגים, על מנת למדוד בו זמנית 2 מקורות לטעויות - זמן ותוכן:
- עם פער של זמן
- ללא פער של זמן
( 3 ) מהימנות כעקיבות פנימית
- החוקר מעוניין לבדוק את העקביות במענה של פריטים שונים בנוסח אחד שמועבר פעם אחת. מתוך הנחה שאם בודקים תכונה אחת ( הומוגנית ), אז כל הפריטים שייכים לאותו עולם תוכן. לכן כל נבדק אמור להגיב עליהם באופן דומה.
- 2 אופני חישוב, מקדמי מהימנות, צרכים לחישוב המקדם:
- מקדם מהימנות ספירמן-בראון ( מבחן חצוי ) -
- החוקר מחלק את הנוסח השלם לשני חצאים, בדר"כ משווה בין פריטים זוגיים לאי זוגיים
- מחשב מתאם בין שני החצאים, מסומן
- הבעיה - הקטנו את כמות הפריטים, גודל המדגם. וידוע שככל שהמדגם גדול יותר אז עושים פחות טעות דגימה. לכן יש לבצע תיקון למתאם בין שני החצאים על מנת לקבל את מקדם המהימנות של הנוסח השלם.
- לדוגמא אם המתאם בני שני החצאים אז מתאם ספירמן בראון של הנוסח השלם יהיה -
- מקדם מהימנות אלפא של קרונבאך -
- החוקר מחשב מתאם בין כל פריט אל מול שאר הפריטים בתוך נוסח אחד.
- מתקבלים מספר מתאמים כמספר פריטים
- מחשבים ממוצע לכל המתאמים
- נמדד לעקביות פנימית של הנוסח.
- מאפשרת לזהות פריט שנמצא נמוך עם שאר הפריטים ולנפות אותו מהמדגם, ובכך להגדיל את מהימנות הכלי.
- מכונה גם כממוצע של כל מקדמי SB האפשריים של השאלון = כל החלוקות האפשריות של השאלון לשניים.
- המטרה למדוד עקביות של הכלי לאורך שינוים בנוסח/תוכן הפרטים, לכן הטעות המקרית שנמדדת היא תוכן הפריטים ( בדומה למהימנות כאקוויוולנטיות )
- מקדם מהימנות ספירמן-בראון ( מבחן חצוי ) -
( 4 ) מהימנות בין שופטים ( מעריכים )
- בבדיקה זו ממנים 2 בודקים, בדר"כ מומחים בנושא הנחקר, וכל אחד מהם נותן ציון בנפרד/ללא התייעצות זה עם זה, לאותה קבוצת נבחנים.
- מחשבים מתאם בין שני המעריכים
- חשוב לזכור שעל מנת לזהות שמדובר בבדיקה זו, יש לזהות שמדובר באותו סוג של שופט/זיקה/יחס/מעמד
- רלוונטית בכל כלי מדידה סובייקטיבי -
- הציון בכלי חשוף לשיקול דעת של הבודק, השופט והמעריך. כגון ראיון, תצפית, מבחן עם שאלות פתוחות וכו'.
- אינו רלוונטי בכלים שלא חשופים לשיקול דעת של המעריך כגון שאלון אמריקאי
- הטעות המקרית שנמדדת בבדיקה זו היא התלות במעריך/סובייקטיביות של הבודק/השופט.
תרגול
חובר בנה שלושה שלונים הבוחנים "דימוי עצמי".
שניים מהשאלונים עסקו בהיבט החברתי: נוסח C ונוסח S, ושאלון נוסף שעסק שהיבט הגופני G.
להלן דוגמא לפריטים מהשאלונים השונים:
"חברי אינם בוטחים בי";"אני אדם חשוב לחברי" - דוגמא מנוסח C
"אני אדם חברותי";"קשה להתחבר איתי" - דוגמא מנוסח S
"יש לי גוף בריא";"אני בחור נאה" - דוגמא מנוסח G
שלושת השאלונים הועברו ל-200 נבדקים, גברים ונשים, באפריל 2018 ( מועד 1 ), ושוב במאי 2018 ( מועד 2 ).
כל אחד מהשאלונים כלל 40 פריטים וסולחן התשובות של כל אחר מהפריטים היה כלהלן:
1 - לגמרי נכון
2 - ע"פ רוב נכון
3 - בחלקו נכון ובחלקו לא נכון
4 - ע"פ רוב לא נכון
5 - לגמרי לא נכון
הנבדקים נתבקשו לענות על השאלונים ללא הגבלת זמן.
עבור כל אחת מבדיקות (א'-ד') ציין מהי הדרך שנבחרה למדידת המהימנות, ואם יש מקום לכך ציין גם מהו מקדם המהימנות שחושב:
א. מתאם בין שאלון S במועד ראשון לשאלון C במועד הראשון.
מהימנות באקוויוולנטיות, כיוון שחושב מתאם בין שני נוסחים דומים ( S ו-C ) של אותו כלי שהועברו לקבוצה אחת של נבדקים ללא פער של זמן ואשר בודקים תכונה אחת - דימוי עצמי חברתי, באמצעות שיטה אחת - שאלון.
ב. מתאם בין שאלון G במועד הראשון לשאלון G במועד השני.
מהימנות כיציבות, חושב מתאם בין שני מועדים שונים של אותו נוסח G של הכלי, שמודד תכונה אחת - דימוי עצמי גופני, באמצעות שיטה אחת - שאלון.
ג. מהימנות כעקביות פנימית, כשמקדם המהימנות שחושב הוא ספירמן-בראון ( מבחן חצוי ). נתון המתאם בין שני החצאים 0.81, אבל זהו לא מקדם המהימנות אלא יש להציב בנוסחת התיון על מנת לקבל את מקדם המהימנות של הנוסח השלם.
כלומר נקבל:
ד. מהימנות כעקיבות פנימית, כשמקדם המהימנות הוא אלפא של קרונבאך.
ה. חוקר ביקש להעלות את הערך שהתקבל בסעיף ב' ולכן הוסיף קבוע חיובי לכל ציון של נבדק בשאלון G2. הסבר כצד יושפע מקדם המהימנות שחושב בסעיף ב'.
מתאם משווה במיקום היחסי של כל נבדק בהתפלגות שתי מערכות הציונים.
הוספת קבוע חיובי לא משנה את המיקום היחסי של כל נבדק בהתפלגות.
כי לקבוע השונות שווה ל-0, לכן המתאם לא ישתנה, יישאר 0.75.
ו. חושב המתאם בין שני בודקים שציננו באופן בלתי תלוי זה בזה את השאלונים ונמצא מתאם מושלם.
1. איזה בדיקת מהימנות חושבה?
מהימנות בין שופטים, כי מדובר במתאם בני שני בודקים.
2. האם התוצאה שהתקבלה מפתיעה? נמק.
מתאם מושלם משמעותו התאמה מלאה = 1, לא מפתיע כי הציון בשאלון ספציפי זה לא חשוף לשיקול דעת של הבודק, כי עליו רק לסכם את הדירוגים של כל נבדק ואין סיבה אם כך להניח שהשאלון יהיה נתון לטעות מקרית של השופט/מעריך.
ז. בנוסף לשאלונים, העסיק החוקר שני פסיכולוגים קליניים שערכו ראיונות במטרה לאמוד את הדימוי העצמי ש הנבדקים בנפרד, ללא התייעצות עם םהאחר. הוא מצא כי פסיכולוג 1 תמיד דירג בעשר נקודות יותר מפסיכולוג 2. מה יהיה ערכו של המהימנות? נמק.
הפער בינהם הוא גודל קבוע של עשר נקודות, כלומר המיקום היחסי של כל נבדק זהה אצל ששני הפסיכולוגים, לכן ההתאמה היא מלאה/מושלמת, מכן שהמתאם בינהם 1.
ח. מהו סולם המדידה שתואר לגבי כל אחד מפריטי השאלון?
סולם המדידה הוא סדר.
ט. אילו טרנספורמציות מותרות על מערכת המספרים של פריטי השאלונים? ציין אם מותר או לא ונמק:
האם ניתן לומר עבור הבדיקה שנעשתה בסעיף ב' ש-:
1. 25% משונות הציונים הנצפים נובעים בהכרח משינוים במזג אויר? נמק.
מהימנות כיציבות רגישה ולכן מודדת טעויות מקריות של זמן, ואמנם מזג אויר כלול במסגרת השינויים בזמן אבל לא רק, יתכנו שינוים נוספים כגון מצב רוח. לכן לא ניתן לומר ש-25% משונות הציונים נובעים משינויי מזג אויר אלא מכלל הטעויות המקריות שקשורות בשינוים בזמן.
2. 75 משונות הציונים הנצפים משוחררים מטעויות מקריות בתוכן הפריטים? נמק.
מהימנות כיציבות לא מודדת טעויות מקריות של תוכן, כי התוכן מוחזק קבוע בבדיקה זו, אותו נוסח, לכן לא מתקבל מידע לגבי רגישות הכלי לשינויים בנוסח/בתוכן. הטעות היחידה שנמדדה היא זמן
שניים מהשאלונים עסקו בהיבט החברתי: נוסח C ונוסח S, ושאלון נוסף שעסק שהיבט הגופני G.
להלן דוגמא לפריטים מהשאלונים השונים:
"חברי אינם בוטחים בי";"אני אדם חשוב לחברי" - דוגמא מנוסח C
"אני אדם חברותי";"קשה להתחבר איתי" - דוגמא מנוסח S
"יש לי גוף בריא";"אני בחור נאה" - דוגמא מנוסח G
שלושת השאלונים הועברו ל-200 נבדקים, גברים ונשים, באפריל 2018 ( מועד 1 ), ושוב במאי 2018 ( מועד 2 ).
כל אחד מהשאלונים כלל 40 פריטים וסולחן התשובות של כל אחר מהפריטים היה כלהלן:
1 - לגמרי נכון
2 - ע"פ רוב נכון
3 - בחלקו נכון ובחלקו לא נכון
4 - ע"פ רוב לא נכון
5 - לגמרי לא נכון
הנבדקים נתבקשו לענות על השאלונים ללא הגבלת זמן.
עבור כל אחת מבדיקות (א'-ד') ציין מהי הדרך שנבחרה למדידת המהימנות, ואם יש מקום לכך ציין גם מהו מקדם המהימנות שחושב:
א. מתאם בין שאלון S במועד ראשון לשאלון C במועד הראשון.
מהימנות באקוויוולנטיות, כיוון שחושב מתאם בין שני נוסחים דומים ( S ו-C ) של אותו כלי שהועברו לקבוצה אחת של נבדקים ללא פער של זמן ואשר בודקים תכונה אחת - דימוי עצמי חברתי, באמצעות שיטה אחת - שאלון.
ב. מתאם בין שאלון G במועד הראשון לשאלון G במועד השני.
מהימנות כיציבות, חושב מתאם בין שני מועדים שונים של אותו נוסח G של הכלי, שמודד תכונה אחת - דימוי עצמי גופני, באמצעות שיטה אחת - שאלון.
ג. מהימנות כעקביות פנימית, כשמקדם המהימנות שחושב הוא ספירמן-בראון ( מבחן חצוי ). נתון המתאם בין שני החצאים 0.81, אבל זהו לא מקדם המהימנות אלא יש להציב בנוסחת התיון על מנת לקבל את מקדם המהימנות של הנוסח השלם.
כלומר נקבל:
ד. מהימנות כעקיבות פנימית, כשמקדם המהימנות הוא אלפא של קרונבאך.
ה. חוקר ביקש להעלות את הערך שהתקבל בסעיף ב' ולכן הוסיף קבוע חיובי לכל ציון של נבדק בשאלון G2. הסבר כצד יושפע מקדם המהימנות שחושב בסעיף ב'.
מתאם משווה במיקום היחסי של כל נבדק בהתפלגות שתי מערכות הציונים.
הוספת קבוע חיובי לא משנה את המיקום היחסי של כל נבדק בהתפלגות.
כי לקבוע השונות שווה ל-0, לכן המתאם לא ישתנה, יישאר 0.75.
ו. חושב המתאם בין שני בודקים שציננו באופן בלתי תלוי זה בזה את השאלונים ונמצא מתאם מושלם.
1. איזה בדיקת מהימנות חושבה?
מהימנות בין שופטים, כי מדובר במתאם בני שני בודקים.
2. האם התוצאה שהתקבלה מפתיעה? נמק.
מתאם מושלם משמעותו התאמה מלאה = 1, לא מפתיע כי הציון בשאלון ספציפי זה לא חשוף לשיקול דעת של הבודק, כי עליו רק לסכם את הדירוגים של כל נבדק ואין סיבה אם כך להניח שהשאלון יהיה נתון לטעות מקרית של השופט/מעריך.
ז. בנוסף לשאלונים, העסיק החוקר שני פסיכולוגים קליניים שערכו ראיונות במטרה לאמוד את הדימוי העצמי ש הנבדקים בנפרד, ללא התייעצות עם םהאחר. הוא מצא כי פסיכולוג 1 תמיד דירג בעשר נקודות יותר מפסיכולוג 2. מה יהיה ערכו של המהימנות? נמק.
הפער בינהם הוא גודל קבוע של עשר נקודות, כלומר המיקום היחסי של כל נבדק זהה אצל ששני הפסיכולוגים, לכן ההתאמה היא מלאה/מושלמת, מכן שהמתאם בינהם 1.
ח. מהו סולם המדידה שתואר לגבי כל אחד מפריטי השאלון?
סולם המדידה הוא סדר.
ט. אילו טרנספורמציות מותרות על מערכת המספרים של פריטי השאלונים? ציין אם מותר או לא ונמק:
- הוספת קבוע חיובי לכל ערך - מותר, שומר על הסדר.
- הכפלת כל ערך באפס - אסור, מאפס הכל, משנה סדר.
- הכפלת כל ערך ב-1 - מותר, שומר על הסדר.
- חלוקת כל ערך בעצמו - אסור, משנה סדר.
- הוספת קבוע שלילי לכל ערך - מותר, שומר על הסדר.
- הכפלה בקבוע שלילי - אסור, הופך את הכיוון ומשנה את הסדר.
האם ניתן לומר עבור הבדיקה שנעשתה בסעיף ב' ש-:
1. 25% משונות הציונים הנצפים נובעים בהכרח משינוים במזג אויר? נמק.
מהימנות כיציבות רגישה ולכן מודדת טעויות מקריות של זמן, ואמנם מזג אויר כלול במסגרת השינויים בזמן אבל לא רק, יתכנו שינוים נוספים כגון מצב רוח. לכן לא ניתן לומר ש-25% משונות הציונים נובעים משינויי מזג אויר אלא מכלל הטעויות המקריות שקשורות בשינוים בזמן.
2. 75 משונות הציונים הנצפים משוחררים מטעויות מקריות בתוכן הפריטים? נמק.
מהימנות כיציבות לא מודדת טעויות מקריות של תוכן, כי התוכן מוחזק קבוע בבדיקה זו, אותו נוסח, לכן לא מתקבל מידע לגבי רגישות הכלי לשינויים בנוסח/בתוכן. הטעות היחידה שנמדדה היא זמן
הגדרה
עד כמה הכלי אכן מודד את מה שהוא אמור למדוד.
תוקף ביחס ל-2 סוגים של משתנים
כמותי
מופשט/מעורפל
- משתנה שבו עולם התוכן הוא מובנה ומוגדר
- במצב זה נכנס לשימוש תוקף תוכן - שואל עד כמה הכלי הוא מכסה/מקיף/מכיל את כל עולם התוכן של המשתנה.
- רלוונטי במבחני ביצוע/הישגים שבודקים רמת ידיעות בתחום ספציפי שבו עולם התוכן מובנה ומוגדר.
- דוגמא מבחן בגרות במתמטיקה ב-5 יחידות, בדיקת תוקף תוכן של המבחן תשאל האם המבחן מכסה את כל חומר הלימוד, כל הנושאים שצריך לדעת ב-5 חידות לימוד במתמטיקה.
- דוגמא המבחן הסופי בכל שיטות מחקר, תוקף התוכן שלו ישאל האם המבחן מכיל את כל 7 יחידות הלימוד של ספר הקורס.
מופשט/מעורפל
- משתנים במדעי החברה הם משתנים שאין להם עולם תוכן מוגדר/מובנה
- לא ניתן לבצע מדידה ישירה כדי לבחון כמה מכסים מעולם התוכן.
- משתמשים בדרכים עקיפות למדוד את תוקף הכלי, מכונות תוקף מבנה ( התיאורטי ) של כלי המדידה.
- קיימים 5 סוגים של תוקף מבנה של כלי מדידה.
5 סוגים של תוקף מבנה
( 1 ) תוקף מתכנס
( 2 ) תוקף ניבוי
( 3 ) חקר הבדלים בין קבוצות
( 4 ) חקר מתאמים
( 5 ) תוקף מבחין
( 2 ) תוקף ניבוי
( 3 ) חקר הבדלים בין קבוצות
( 4 ) חקר מתאמים
( 5 ) תוקף מבחין
1 - תוקף מתכנס
- בבדיקה זו משווים בין כלי מדידה שרוצים לתקף לבין כלי מדידה אחר שבודק את אותה תכונה באמצעות שיטה אחרת ( בדר"כ ידוע שהוא תקף )
- מחושב מתאם בין שני כלי מדידה שבודקים תכונה אחת באמצעות שתי שיטות שונות
- שיטות שונות -
- מבחן
- ראיון
- תצפית
- שאלון -
- דיווח עצמי
- הערכה של אחר
- תוצאה רצויה בבדיקה זו היא מתאם חיובי גבוה, שיעיד על התכנסות טובה, ששתי השיטות אכן מודדות את אותה התכונה.
- מתאם של 0.5 ומעלה נחשב למתאם גבוה.
2 - תוקף ניבוי
- בדיקה זו היא מקרה פרטי של תוקף מתכנס - מחשבים מתאם בין שתי שיטות שונות למדידת תכונה אחת, אבל בתוקף זה יש פער איכותי בין 2 השיטות.
- השיטות:
- מנבא - שיטה עקיפה ופחות מדויקת של התכונה
- הקריטריון - מדידה ישירה שבודקת תפקוד או הצלחה בפועל
- הרציונל לבחון את היכולת של המנבא אכן לנבא את הקריטריון, עד כמה המנבא הצליח לחזות את מה שקרה בפועל, כפי שנתקבל בקריטריון.
- בתוקף ניבוי חובה לזהות שמחשבים מתאם בין מנבא לקריטריון. אם נחשב מתאם בין שני מנבאים או שני קריטריונים אז כבר לא מדובר בתוקף ניבוי אלא מתכנס.
- בבדיקה זו תוצאה רצויה -
- כל מתאם ששונה מ-0 מעיד על יכולת ניבוי כלשהיא, בין אם חיובי או שלילי.
- ככל שעוצמת הקשר בערכו המוחלט גבוהה יותר כך היכולת לנבא טובה יותר.
לדוגמא
- תכונה - יכולת אקדמית
- מנבאים - פסיכומטרי/ממוצע בגרויות
- קריטריון - ציון ממוצע BA
לדוגמא
- תכונה - יעילות סוכני מכירות
- מנבאים - מבחני מיון/ראיון קבלה
- קריטריון - ממוצע מכירות חודשי/הערכה תקופתית
3 - חקר הבדלים בין קבוצות
- בבדיקה זו החוקר פונה לקבוצות אוכלוסיות שנבדלות משמעותית בתכונה הנמדדת בכלי.
- אם הכלי אכן תקף אז הוא חייב לגלות הבדלים אלה בממוצע הציונים שיתקבלו בכלי.
- בדיקה זו מוגדרת כבדיה של תכונה אחת באמצעות שתי שיטות שונות, שאחת מהן היא השיוך הקבוצתי כפי שקיים במציאות ( באורח טבעי ) והשיטה השנייה היא בכלי מדידה.
- תוצאה רצויה - הבדל בין הקבוצות בממוצע הציונים בכלי בכיוון המצופה מראש.
- תוצאה שאינה רצויה - הבדל בין הקבוצות בכיוון מנוגד למצופה או שלא נמצא הבדל בין הקבוצות.
חוקר פיתח שאלון חדש - זיקה לדת.
פנה לשתי אוכלוסיות - חרדים וחילונים, אשר קיימת בהם ציפייה מראש וברורה מאליה להבדלים בין הקבוצות.
אם הכלי תקף הוא חייב להראות שממוצע הציונים בשאלון זיקה לדת בקרב חילונים הוא נמוך משמעותית מממוצע הציונים בשאלון אצל החרדים.
4 - חקר מתאמים
- בבדיקה זו החוקר מעונין לבחון את התאוריה הרחבה שעומדת מאחורי פיתוח הכלי
- החוקר משער השערות בדבר קשרים או חוסר קשרים בין התכונה נמדדת בכלי לבין תכונות אחרות/שונות או משתני רקע למיניהם ( גיל, מגדר, מצב סוציואקונומי, רמת השכלה וכד')
- מדובר בבדיקה שבה מחושב מתאם בין שתי תכונות שונות שנמדדות באמצעות שיטה אחת או שיטות שונות.
- כאשר משווים בין קבוצות שונות אז לא קיימת ציפייה מראש וברורה מאליה להבדלים בין הקבוצות, לכן לא ניתן להסיק על תוצאה רצויה או לא רצויה כל עוד לא נאמר לנו מפורשות מה היו ציפיות החוקר, מה התאוריה מנבאת.
- כל תוצאה רצויה היא בעצם תוצאה שמחזקת את תוקף הכלי. כל תוצאה לא רצויה היא תוצאה שמחלישה את תוקף הכלי.
שאלון זיקה לדת, מועבר לקבוצה של ספרדים אל מול אשכנזים.
נחשבת חקר מתאמים ולא הבדלים בין קבוצות כי לא קיימת ציפייה מראש וברורה מאליה להבדל בין הקבוצות.
אלא ניסיון לבחור קשר/מתאם בין שתי תכונות שונות - מוצע דתי וזיקה לדת.
5 - תוקף מבחין
- בדיקה שמטרתה לבדוק עד כמה הכלי בודק אך ורק את התכונה שהוא אמור למדוד ולא תכונה אחרת.
- משווים בין כלי מדידה שרוצים לתקף לכלי מדידה אחר שמודד תכונה דומה, בדר"כ גם ידוע שהוא מהימן ותקף.
- מחשבים מתאם בין 2 תכונות דומות כשנמדדות באמצעות שיטה אחת ( או שיטות שונות ).
- תכונות דומות - תכונות עם משמעות דומה/חופפת זו לזו אך אינן זהות ( למשל דכדוך ודיכאון, הערכה ודימוי עצמי, פחד וחרדה וכד' )
- תוצאה רצויה - מתאם יחסית נמוך ( יותר ממתכנס ), לכל היותר 0.3, על מנת שיעיד על יכולת הבחנה טובה להבחין/להבדיל/להפריד בין 2 התכונות למרות הדמיון ביניהן.
תרגול - תוקף מבנה
חוקר ביקש לבחון את תוקפו של שאלון חדש לכושר ביטוי בעברית.
עבור כל אחת מהבדיקות, מיין והסבר בקצרה במונחי שיטות/תכונות איה בדיקת תוקף נעשתה.
א. החוקר השווה בין מדגם של עולים חדשים מדגם של ידי הארץ בציוני השאלון
תוקף מבנה מסוג חקר הבדלים בין קבוצות, כי נבדה תכונה אחת - כושר ביטוי בעברית, באמצעות 2 שיטות שונות - שיוך קבוצתי כפי שקיים במציאות - עולים חדשים וילידי ארץ, השיטה השנייה היא שאלון.
כמו כן קיימת ציפייה מראש וברורה מאליה שילידי הארץ הם בעלי כושר ביטוי בעברית גבוה יותר מעולים חדשים.
ב. הוא השווה בין תוצאות השאלון שהועבר למדגם מקרי של נשים למדגם מקרי של גברים
תוקף מבנה מסוג חקר מ תאמים, כי חושב המתאם בין 2 תכונות שונות: מגדר וכושר ביטוי בעברית, שנמדדות באמצעות שיטה אחת - שאלון, ולא קיימת ציפייה מראש וברורה מאליה לקשר בין שתי התכונות.
עבור כל אחת מהבדיקות, מיין והסבר בקצרה במונחי שיטות/תכונות איה בדיקת תוקף נעשתה.
א. החוקר השווה בין מדגם של עולים חדשים מדגם של ידי הארץ בציוני השאלון
תוקף מבנה מסוג חקר הבדלים בין קבוצות, כי נבדה תכונה אחת - כושר ביטוי בעברית, באמצעות 2 שיטות שונות - שיוך קבוצתי כפי שקיים במציאות - עולים חדשים וילידי ארץ, השיטה השנייה היא שאלון.
כמו כן קיימת ציפייה מראש וברורה מאליה שילידי הארץ הם בעלי כושר ביטוי בעברית גבוה יותר מעולים חדשים.
ב. הוא השווה בין תוצאות השאלון שהועבר למדגם מקרי של נשים למדגם מקרי של גברים
תוקף מבנה מסוג חקר מ תאמים, כי חושב המתאם בין 2 תכונות שונות: מגדר וכושר ביטוי בעברית, שנמדדות באמצעות שיטה אחת - שאלון, ולא קיימת ציפייה מראש וברורה מאליה לקשר בין שתי התכונות.