ارزیابی یادگیری دانشجویان و تدوین استانداردهای جامع سنجش اثربخشی تدریس در دانشکده پزشکی |آموزش پزشکی BMC

ارزیابی برنامه درسی و اساتید برای همه مؤسسات آموزش عالی، از جمله دانشکده های پزشکی، حیاتی است.ارزشیابی دانش‌آموزان از تدریس (SET) معمولاً به شکل پرسشنامه‌های ناشناس است، و اگرچه در ابتدا برای ارزیابی دوره‌ها و برنامه‌ها ایجاد شده‌اند، به مرور زمان برای اندازه‌گیری اثربخشی تدریس و متعاقباً تصمیم‌گیری‌های مهم مرتبط با تدریس مورد استفاده قرار گرفته‌اند.توسعه حرفه ای معلمبا این حال، برخی عوامل و سوگیری‌ها ممکن است بر نمرات SET تأثیر بگذارند و اثربخشی تدریس را نمی‌توان به طور عینی اندازه‌گیری کرد.اگرچه ادبیات ارزشیابی دوره ها و اساتید در آموزش عالی عمومی به خوبی تثبیت شده است، اما نگرانی هایی در مورد استفاده از ابزارهای مشابه برای ارزیابی دوره ها و اساتید در برنامه های پزشکی وجود دارد.به طور خاص، SET در آموزش عالی عمومی نمی تواند به طور مستقیم برای طراحی و اجرای برنامه درسی در دانشکده های پزشکی اعمال شود.این بررسی یک نمای کلی از چگونگی بهبود SET در سطوح ابزار، مدیریت و تفسیر ارائه می دهد.علاوه بر این، این مقاله اشاره می‌کند که با استفاده از روش‌های مختلف مانند بررسی همتایان، گروه‌های متمرکز و خودارزیابی برای جمع‌آوری و مثلث‌بندی داده‌ها از منابع متعدد، از جمله دانش‌آموزان، همتایان، مدیران برنامه و خودآگاهی، یک سیستم ارزیابی جامع می‌تواند ساخته شود.به طور موثر اندازه گیری اثربخشی تدریس، حمایت از توسعه حرفه ای مربیان پزشکی و بهبود کیفیت تدریس در آموزش پزشکی.
ارزیابی دوره و برنامه یک فرآیند کنترل کیفی داخلی در تمامی مؤسسات آموزش عالی از جمله دانشکده های پزشکی است.ارزشیابی دانش آموز از تدریس (SET) معمولاً به شکل یک مقاله ناشناس یا پرسشنامه آنلاین با استفاده از مقیاس رتبه بندی مانند مقیاس لیکرت (معمولاً پنج، هفت یا بالاتر) است که به افراد اجازه می دهد موافقت یا درجه موافقت خود را نشان دهند.من با اظهارات خاصی موافق نیستم) [1،2،3].اگرچه SET ها در ابتدا برای ارزیابی دوره ها و برنامه ها توسعه داده شدند، اما در طول زمان از آنها برای سنجش اثربخشی تدریس نیز استفاده شده است [4، 5، 6].اثربخشی تدریس مهم تلقی می شود زیرا فرض بر این است که بین اثربخشی تدریس و یادگیری دانش آموزان رابطه مثبت وجود دارد [7].اگرچه ادبیات اثربخشی آموزش را به وضوح تعریف نمی‌کند، اما معمولاً از طریق ویژگی‌های خاص آموزش، مانند «تعامل گروهی»، «آماده‌سازی و سازماندهی»، «بازخورد به دانش‌آموزان» [8] مشخص می‌شود.
اطلاعات به دست آمده از SET می تواند اطلاعات مفیدی را ارائه دهد، مانند اینکه آیا نیاز به تنظیم مواد آموزشی یا روش های آموزشی مورد استفاده در یک دوره خاص وجود دارد یا خیر.SET همچنین برای اتخاذ تصمیمات مهم مرتبط با توسعه حرفه ای معلمان استفاده می شود [4،5،6].با این حال، زمانی که مؤسسات آموزش عالی در مورد اعضای هیئت علمی، مانند ارتقاء به رتبه های عالی علمی (اغلب با افزایش ارشدیت و حقوق مرتبط است) و پست های اداری کلیدی در مؤسسه، تصمیم گیری می کنند، مناسب بودن این رویکرد مورد تردید است [4، 9].علاوه بر این، موسسات اغلب از اعضای هیئت علمی جدید می خواهند که SET های موسسات قبلی را در برنامه های خود برای موقعیت های جدید بگنجانند، در نتیجه نه تنها بر ارتقای اعضای هیئت علمی در داخل موسسه، بلکه بر کارفرمایان جدید بالقوه نیز تأثیر می گذارند [10].
اگرچه ادبیات در مورد برنامه درسی و ارزشیابی معلمان در حوزه آموزش عالی عمومی به خوبی تثبیت شده است، اما در زمینه پزشکی و مراقبت های بهداشتی چنین نیست [11].برنامه درسی و نیازهای مربیان پزشکی با آموزش عالی عمومی متفاوت است.به عنوان مثال، یادگیری تیمی اغلب در دوره های آموزشی یکپارچه پزشکی استفاده می شود.این بدان معناست که برنامه درسی دانشکده پزشکی شامل مجموعه ای از دروس است که توسط تعدادی از اعضای هیئت علمی که دارای آموزش و تجربه در رشته های مختلف پزشکی هستند تدریس می شود.اگرچه دانش‌آموزان از دانش عمیق متخصصان در این زمینه تحت این ساختار بهره می‌برند، اما اغلب با چالش انطباق با سبک‌های مختلف تدریس هر معلم مواجه می‌شوند [1، 12، 13، 14].
اگرچه بین آموزش عالی عمومی و آموزش پزشکی تفاوت‌هایی وجود دارد، SET مورد استفاده در اولی نیز گاهی در دوره‌های پزشکی و مراقبت‌های بهداشتی استفاده می‌شود.با این حال، اجرای SET در آموزش عالی عمومی چالش‌های زیادی را از نظر برنامه درسی و ارزیابی اساتید در برنامه‌های حرفه‌ای سلامت ایجاد می‌کند [11].به ویژه، به دلیل تفاوت در روش های تدریس و صلاحیت معلمان، نتایج ارزیابی دوره ممکن است شامل نظرات دانش آموزان همه معلمان یا کلاس ها نباشد.تحقیقات Uytenhaage و O'Neill (2015) [5] نشان می‌دهد که درخواست از دانش‌آموزان برای رتبه‌بندی تک تک معلمان در پایان یک دوره ممکن است نامناسب باشد زیرا برای دانش‌آموزان تقریبا غیرممکن است که چندین رتبه‌بندی معلم را به خاطر بسپارند و نظر بدهند.دسته بندی ها.علاوه بر این، بسیاری از معلمان آموزش پزشکی نیز پزشکانی هستند که تدریس تنها بخش کوچکی از مسئولیت آنهاست [15، 16].از آنجا که آنها عمدتاً در مراقبت از بیمار و در بسیاری از موارد تحقیقاتی درگیر هستند، اغلب زمان کمی برای توسعه مهارت های آموزشی خود دارند.با این حال، پزشکان به عنوان معلم باید زمان، حمایت و بازخورد سازنده را از سازمان خود دریافت کنند [16].
دانشجویان پزشکی معمولاً افرادی با انگیزه و سخت کوش هستند که با موفقیت در دانشکده پزشکی (از طریق یک فرآیند رقابتی و تقاضا در سطح بین المللی) پذیرش می شوند.علاوه بر این، در طول دانشکده پزشکی، انتظار می رود دانشجویان پزشکی در مدت زمان کوتاهی دانش زیادی کسب کنند و مهارت های زیادی را توسعه دهند و همچنین در ارزیابی های پیچیده داخلی و جامع ملی موفق شوند [17،18،19]. ، 20].بنابراین، با توجه به استانداردهای بالایی که از دانشجویان پزشکی انتظار می رود، دانشجویان پزشکی ممکن است نسبت به دانشجویان سایر رشته ها انتقاد بیشتری داشته باشند و انتظارات بالاتری برای تدریس با کیفیت داشته باشند.بنابراین، دانشجویان پزشکی ممکن است به دلایلی که در بالا ذکر شد، رتبه های پایین تری از اساتید خود در مقایسه با دانشجویان سایر رشته ها داشته باشند.جالب توجه است که مطالعات قبلی رابطه مثبتی بین انگیزه دانش‌آموز و ارزیابی‌های فردی معلمان نشان داده‌اند [21].علاوه بر این، در طول 20 سال گذشته، بیشتر برنامه‌های درسی دانشکده‌های پزشکی در سراسر جهان به صورت عمودی یکپارچه شده‌اند [22]، به طوری که دانشجویان از همان سال‌های اولیه برنامه خود در معرض عمل بالینی قرار می‌گیرند.بنابراین، طی چند سال گذشته، پزشکان به طور فزاینده ای درگیر آموزش دانشجویان پزشکی شده اند، و حتی در ابتدای برنامه های خود، اهمیت توسعه SET های متناسب با جمعیت اساتید خاص را تایید کرده اند [22].
با توجه به ماهیت خاص آموزش پزشکی که در بالا ذکر شد، SET های مورد استفاده برای ارزیابی دوره های آموزش عالی عمومی که توسط یک عضو هیئت علمی تدریس می شود باید برای ارزیابی برنامه درسی یکپارچه و دانشکده بالینی برنامه های پزشکی تطبیق داده شوند [14].بنابراین، نیاز به توسعه مدل‌های SET مؤثرتر و سیستم‌های ارزیابی جامع برای کاربرد مؤثرتر در آموزش پزشکی وجود دارد.
بررسی فعلی پیشرفت‌های اخیر در استفاده از SET در آموزش عالی (عمومی) و محدودیت‌های آن را تشریح می‌کند و سپس نیازهای مختلف SET را برای دوره‌های آموزش پزشکی و اعضای هیئت علمی تشریح می‌کند.این بررسی به روز رسانی در مورد چگونگی بهبود SET در سطوح ابزاری، اداری و تفسیری ارائه می دهد، و بر اهداف توسعه مدل های SET موثر و سیستم های ارزیابی جامع تمرکز دارد که به طور موثر اثربخشی تدریس را اندازه گیری می کند، از توسعه مربیان حرفه ای بهداشت حمایت می کند و بهبود می بخشد. کیفیت تدریس در آموزش پزشکی
این مطالعه به دنبال مطالعه گرین و همکاران است.(2006) [23] برای مشاوره و Baumeister (2013) [24] برای مشاوره در نوشتن نقدهای روایی.ما تصمیم گرفتیم یک بررسی روایی در مورد این موضوع بنویسیم زیرا این نوع بررسی به ارائه دیدگاه گسترده ای در مورد موضوع کمک می کند.علاوه بر این، از آنجایی که مرورهای روایی مبتنی بر مطالعات روش‌شناختی متنوع هستند، به پاسخگویی به سؤالات گسترده‌تر کمک می‌کنند.علاوه بر این، تفسیر روایی می تواند به تحریک فکر و بحث در مورد یک موضوع کمک کند.
چگونه از SET در آموزش پزشکی استفاده می شود و چه چالش هایی در مقایسه با SET در آموزش عالی عمومی استفاده می شود؟
پایگاه‌های اطلاعاتی Pubmed و ERIC با استفاده از ترکیبی از عبارات جستجوی «ارزیابی تدریس دانشجو»، «اثربخشی تدریس»، «آموزش پزشکی»، «آموزش عالی»، «برنامه درسی و ارزیابی اساتید» و برای بررسی همتایان 2000، عملگرهای منطقی جستجو شدند. .مقالاتی که بین سال‌های 2021 و 2021 منتشر شده‌اند. معیارهای ورود: مطالعات شامل مطالعات اولیه یا مقالات مروری بودند و مطالعات مربوط به حوزه‌های سه سؤال اصلی تحقیق بودند.معیارهای خروج: مطالعاتی که زبان انگلیسی نبودند یا مطالعاتی که در آنها مقالات متن کامل یافت نشد یا با سه سوال اصلی تحقیق مرتبط نبودند از سند مرور فعلی حذف شدند.پس از انتخاب انتشارات، آنها در موضوعات زیر و موضوعات فرعی مرتبط سازماندهی شدند: (الف) استفاده از SET در آموزش عالی عمومی و محدودیت های آن، (ب) استفاده از SET در آموزش پزشکی و ارتباط آن با پرداختن به مسائل مربوط به مقایسه SET (ج) بهبود SET در سطوح ابزاری، مدیریتی و تفسیری برای توسعه مدل‌های SET موثر.
شکل 1 نمودار جریانی از مقالات منتخب موجود و مورد بحث در بخش فعلی بررسی را ارائه می دهد.
SET به طور سنتی در آموزش عالی استفاده می شود و این موضوع به خوبی در ادبیات مطالعه شده است [10، 21].با این حال، تعداد زیادی از مطالعات محدودیت‌ها و تلاش‌های بسیاری را برای رفع این محدودیت‌ها بررسی کرده‌اند.
تحقیقات نشان می دهد که متغیرهای زیادی وجود دارند که بر نمرات SET تأثیر می گذارند [10، 21، 25، 26].بنابراین، درک این متغیرها در هنگام تفسیر و استفاده از داده ها برای مدیران و معلمان مهم است.در بخش بعدی مروری کوتاه بر این متغیرها ارائه می شود.شکل 2 برخی از عوامل موثر بر امتیاز SET را نشان می دهد که در بخش های زیر به تفصیل توضیح داده شده است.
در سال های اخیر استفاده از کیت های آنلاین در مقایسه با کیت های کاغذی افزایش یافته است.با این حال، شواهد موجود در ادبیات نشان می دهد که SET آنلاین می تواند بدون توجه دانش آموزان به فرآیند تکمیل تکمیل شود.در یک مطالعه جالب توسط Uitdehaage و O'Neill [5]، معلمان غیر موجود به SET اضافه شدند و بسیاری از دانش آموزان بازخورد ارائه کردند [5].علاوه بر این، شواهد موجود در ادبیات نشان می‌دهد که دانشجویان اغلب بر این باورند که تکمیل SET منجر به پیشرفت تحصیلی نمی‌شود، که وقتی با برنامه شلوغ دانشجویان پزشکی ترکیب می‌شود، ممکن است منجر به نرخ پاسخ کمتر شود [27].اگرچه تحقیقات نشان می‌دهد که نظرات دانش‌آموزانی که در آزمون شرکت می‌کنند تفاوتی با نظرات کل گروه ندارد، نرخ پاسخ پایین همچنان می‌تواند باعث شود معلمان نتایج را کمتر جدی بگیرند [28].
اکثر SET های آنلاین به صورت ناشناس تکمیل می شوند.ایده این است که به دانش آموزان اجازه داده شود تا نظرات خود را آزادانه بیان کنند بدون این که تصور کنند بیان آنها بر روابط آینده آنها با معلمان تأثیری خواهد داشت.در مطالعه آلفونسو و همکاران [29]، محققان از رتبه‌بندی‌ها و رتبه‌بندی‌های ناشناس استفاده کردند که در آن ارزیابان باید نام خود را (رتبه‌بندی عمومی) برای ارزیابی اثربخشی تدریس اساتید دانشکده پزشکی توسط دستیاران و دانشجویان پزشکی می‌دادند.نتایج نشان داد که معلمان به طور کلی در ارزیابی های ناشناس نمره کمتری می گیرند.نویسندگان استدلال می‌کنند که دانش‌آموزان در ارزیابی‌های ناشناس صادق‌تر هستند به دلیل برخی موانع در ارزیابی‌های باز، مانند آسیب‌دیدگی روابط کاری با معلمان شرکت‌کننده [29].با این حال، همچنین باید توجه داشت که ناشناس بودن اغلب با SET آنلاین همراه است، ممکن است برخی از دانش‌آموزان را به بی‌احترامی و تلافی‌جویانه نسبت به مربی سوق دهد، اگر نمرات ارزیابی انتظارات دانش‌آموز را برآورده نکنند [30].با این حال، تحقیقات نشان می‌دهد که دانش‌آموزان به ندرت بازخورد بی‌احترامی ارائه می‌کنند، و بازخورد دوم را می‌توان با آموزش دادن به دانش‌آموزان برای ارائه بازخورد سازنده محدودتر کرد [30].
چندین مطالعه نشان داده‌اند که بین نمرات SET دانش‌آموزان، انتظارات عملکرد آزمون و رضایت آنها از آزمون همبستگی وجود دارد [10، 21].به عنوان مثال، Strobe (2020) [9] گزارش داد که دانش آموزان به دوره های آسان و معلمان به نمرات ضعیف پاداش می دهند، که می تواند تدریس ضعیف را تشویق کند و منجر به تورم نمره شود [9].در یک مطالعه اخیر، Looi و همکاران.(2020) [31] محققان گزارش کرده اند که SET های مطلوب تر به هم مرتبط هستند و ارزیابی آنها آسان تر است.علاوه بر این، شواهد نگران‌کننده‌ای وجود دارد که نشان می‌دهد SET با عملکرد دانش‌آموز در دوره‌های بعدی رابطه معکوس دارد: هر چه رتبه بالاتر باشد، عملکرد دانش‌آموز در دوره‌های بعدی بدتر است.کرنل و همکاران(2016) [32] مطالعه ای انجام داد تا بررسی کند که آیا دانش آموزان کالج نسبتاً بیشتر از معلمانی که SET آنها را بسیار رتبه بندی می کنند یاد می گیرند یا خیر.نتایج نشان می‌دهد که وقتی یادگیری در پایان یک دوره ارزیابی می‌شود، معلمانی که بالاترین رتبه‌ها را دارند نیز به یادگیری بیشترین دانش‌آموز کمک می‌کنند.با این حال، هنگامی که یادگیری با عملکرد در دوره های مرتبط بعدی سنجیده می شود، معلمانی که امتیاز نسبتاً پایینی دارند، مؤثرترین هستند.محققان این فرضیه را مطرح کردند که چالش‌برانگیزتر کردن یک دوره به روشی سازنده می‌تواند رتبه‌بندی را کاهش دهد اما یادگیری را بهبود بخشد.بنابراین، ارزشیابی دانش آموزان نباید تنها مبنای ارزشیابی تدریس باشد، بلکه باید به رسمیت شناخته شود.
چندین مطالعه نشان می دهد که عملکرد SET تحت تأثیر خود دوره و سازمان آن است.مینگ و بائوژی [33] در مطالعه خود دریافتند که تفاوت معنی داری در نمرات SET در بین دانش آموزان در موضوعات مختلف وجود دارد.به عنوان مثال، علوم بالینی امتیاز SET بالاتری نسبت به علوم پایه دارند.نویسندگان توضیح دادند که این به این دلیل است که دانشجویان پزشکی علاقه مند به دکتر شدن هستند و بنابراین علاقه شخصی و انگیزه بیشتری برای شرکت بیشتر در دوره های علوم بالینی نسبت به دروس علوم پایه دارند [33].همانطور که در مورد دروس انتخابی، انگیزه دانش آموز برای موضوع نیز تأثیر مثبتی بر نمرات دارد [21].چندین مطالعه دیگر نیز پشتیبانی می کنند که نوع دوره ممکن است بر نمرات SET تأثیر بگذارد [10، 21].
علاوه بر این، سایر مطالعات نشان داده اند که هر چه اندازه کلاس کوچکتر باشد، سطح SET به دست آمده توسط معلمان بالاتر است [10، 33].یک توضیح ممکن این است که اندازه کلاس های کوچکتر فرصت های تعامل معلم و دانش آموز را افزایش می دهد.علاوه بر این، شرایطی که ارزیابی در آن انجام می شود ممکن است بر نتایج تأثیر بگذارد.به عنوان مثال، به نظر می رسد که نمرات SET تحت تأثیر زمان و روز تدریس دوره و همچنین روزی از هفته است که SET تکمیل می شود (به عنوان مثال، ارزیابی هایی که در آخر هفته ها انجام می شود تمایل به کسب نمرات مثبت بیشتری دارد) نسبت به ارزیابی های تکمیل شده. اوایل هفته[10].
یک مطالعه جالب توسط هسلر و همکاران نیز اثربخشی SET را زیر سوال می برد.[34].در این مطالعه یک کارآزمایی تصادفی کنترل شده در یک دوره پزشکی اورژانس انجام شد.دانشجویان سال سوم پزشکی به طور تصادفی در دو گروه کنترل یا گروهی که کوکی های شکلاتی رایگان دریافت کردند (گروه کوکی) قرار گرفتند.همه گروه ها توسط معلمان مشابهی تدریس می شدند و محتوای آموزشی و مواد درسی برای هر دو گروه یکسان بود.پس از پایان دوره، از همه دانش آموزان خواسته شد تا یک مجموعه را تکمیل کنند.نتایج نشان داد که گروه کوکی به معلمان به طور قابل توجهی بهتر از گروه کنترل امتیاز داد و اثربخشی SET را زیر سوال برد [34].
شواهد موجود در ادبیات همچنین نشان می دهد که جنسیت ممکن است بر نمرات SET تأثیر بگذارد [35،36،37،38،39،40،41،42،43،44،45،46].به عنوان مثال، برخی از مطالعات رابطه بین جنسیت دانش‌آموزان و نتایج ارزیابی را نشان داده‌اند: دانش‌آموزان دختر نمرات بالاتری نسبت به دانش‌آموزان پسر کسب کردند [27].بیشتر شواهد تأیید می کنند که دانش آموزان به معلمان زن کمتر از معلمان مرد نمره می دهند [37، 38، 39، 40].به عنوان مثال، بورینگ و همکاران.[38] نشان داد که دانش‌آموزان دختر و پسر هر دو معتقد بودند که مردان آگاه‌تر و از توانایی‌های رهبری قوی‌تری نسبت به زنان برخوردارند.این واقعیت که جنسیت و کلیشه‌ها بر SET تأثیر می‌گذارند نیز توسط مطالعه مک نل و همکاران تأیید شده است.[41]، که گزارش داد که دانش آموزان در مطالعه او به معلمان زن در جنبه های مختلف تدریس نمره کمتری نسبت به معلمان مرد دادند [41].علاوه بر این، مورگان و همکاران [42] شواهدی ارائه کردند مبنی بر اینکه پزشکان زن در چهار چرخش بالینی اصلی (جراحی، اطفال، زنان و زایمان، و داخلی) در مقایسه با پزشکان مرد، رتبه های آموزشی کمتری دریافت کردند.
در مطالعه موری و همکاران (2020) [43]، محققان گزارش کردند که جذابیت اساتید و علاقه دانشجویان به درس با نمرات SET بالاتر مرتبط است.برعکس، دشواری دوره با نمرات SET کمتر مرتبط است.بعلاوه، دانشجویان نمرات SET بالاتری را به معلمان مرد جوان سفیدپوست علوم انسانی و به اساتید دارای کرسی استادی کامل دادند.هیچ ارتباطی بین ارزشیابی تدریس SET و نتایج نظرسنجی معلمان وجود نداشت.سایر مطالعات نیز تأثیر مثبت جذابیت فیزیکی معلمان را بر نتایج ارزیابی تأیید می کنند [44].
کلیسون و همکاران(2017) [45] گزارش داد که اگرچه توافق کلی وجود دارد که SET نتایج قابل اعتمادی را تولید می کند و میانگین کلاس و معلم سازگار است، اما همچنان در پاسخ های فردی دانش آموزان ناسازگاری وجود دارد.به طور خلاصه، نتایج این گزارش ارزشیابی نشان می دهد که دانش آموزان با آنچه از آنها خواسته شده بود موافق نبودند.معیارهای پایایی به دست آمده از ارزشیابی دانش‌آموزان از تدریس برای ارائه مبنایی برای ایجاد اعتبار کافی نیست.بنابراین، SET گاهی اوقات ممکن است اطلاعاتی در مورد دانش آموزان به جای معلمان ارائه دهد.
SET آموزش بهداشت با SET سنتی متفاوت است، اما مربیان اغلب از SET موجود در آموزش عالی عمومی به جای SET ویژه برنامه های حرفه های بهداشتی که در ادبیات گزارش شده استفاده می کنند.با این حال، مطالعات انجام شده در طول سال ها چندین مشکل را شناسایی کرده است.
جونز و همکاران (1994).[46] مطالعه ای را برای تعیین این سوال انجام داد که چگونه می توان اساتید دانشکده پزشکی را از دیدگاه اساتید و مدیران ارزیابی کرد.به طور کلی، بیشترین موارد ذکر شده مربوط به ارزشیابی تدریس است.شایع ترین شکایات عمومی در مورد ناکافی بودن روش های ارزیابی عملکرد فعلی بود، با پاسخ دهندگان همچنین شکایات خاصی در مورد SET و عدم به رسمیت شناختن تدریس در سیستم های پاداش تحصیلی داشتند.سایر مشکلات گزارش شده شامل روش های ارزیابی و معیارهای ارتقای متناقض در بخش ها، فقدان ارزیابی منظم، و عدم ارتباط نتایج ارزیابی با حقوق است.
رویال و همکاران (2018) [11] برخی از محدودیت‌های استفاده از SET برای ارزیابی برنامه درسی و اساتید در برنامه‌های حرفه‌ای سلامت در آموزش عالی عمومی را تشریح می‌کنند.محققان گزارش می دهند که SET در آموزش عالی با چالش های مختلفی روبرو است زیرا نمی توان آن را مستقیماً در طراحی برنامه درسی و تدریس دروس در دانشکده های پزشکی به کار برد.سؤالات متداول، از جمله سؤالات مربوط به استاد و دوره، اغلب در یک پرسشنامه ترکیب می شوند، بنابراین دانش آموزان اغلب در تمایز بین آنها مشکل دارند.علاوه بر این، دوره های آموزشی در برنامه های پزشکی اغلب توسط اعضای هیئت علمی متعدد تدریس می شود.با توجه به تعداد محدودی از تعاملات بین دانش‌آموزان و معلمان که توسط رویال و همکاران ارزیابی شده‌اند، این پرسش‌های اعتباری را مطرح می‌کند.(2018) [11].در مطالعه ای توسط هوانگ و همکاران.(2017) [14]، محققان این مفهوم را بررسی کردند که چگونه ارزیابی دوره های گذشته نگر به طور جامع ادراکات دانشجو را از دوره های آموزشی مختلف منعکس می کند.نتایج آنها نشان می‌دهد که ارزیابی کلاسی فردی برای مدیریت دوره‌های چند بخشی در یک برنامه درسی یکپارچه دانشکده پزشکی ضروری است.
Uitdehaage و O'Neill (2015) [5] میزانی را که دانشجویان پزشکی به طور عمدی SET را در یک دوره کلاس درس چند دانشکده می گذرانند، بررسی کردند.هر یک از دو دوره پیش بالینی دارای یک مربی ساختگی بود.دانش‌آموزان باید در عرض دو هفته پس از اتمام دوره، به همه مربیان (از جمله مربیان ساختگی) رتبه‌بندی ناشناس ارائه کنند، اما ممکن است از ارزیابی استاد خودداری کنند.سال بعد دوباره این اتفاق افتاد، اما پرتره مدرس داستانی گنجانده شد.شصت و شش درصد از دانش‌آموزان به مربی مجازی بدون شباهت امتیاز دادند، اما تعداد کمتری از دانش‌آموزان (49 درصد) به مربی مجازی با وجود شباهت امتیاز دادند.این یافته‌ها نشان می‌دهد که بسیاری از دانشجویان پزشکی، SET‌ها را کورکورانه تکمیل می‌کنند، حتی زمانی که با عکس همراه هستند، بدون توجه دقیق به اینکه چه کسی در حال ارزیابی هستند، چه رسد به عملکرد مربی.این امر مانع از بهبود کیفیت برنامه می شود و می تواند برای پیشرفت تحصیلی معلمان مضر باشد.محققان چارچوبی را پیشنهاد می‌کنند که رویکرد کاملاً متفاوتی را برای SET ارائه می‌کند که فعالانه و فعالانه دانش‌آموزان را درگیر می‌کند.
در برنامه درسی آموزشی برنامه های پزشکی در مقایسه با سایر برنامه های آموزش عالی عمومی تفاوت های زیادی وجود دارد [11].آموزش پزشکی، مانند آموزش حرفه ای بهداشت، به وضوح بر توسعه نقش های حرفه ای به وضوح تعریف شده (عمل بالینی) متمرکز است.در نتیجه، برنامه‌های درسی برنامه‌های پزشکی و بهداشت، با انتخاب رشته‌ها و اعضای هیئت علمی محدودتر می‌شوند.جالب اینجاست که دوره های آموزش پزشکی اغلب به صورت همگروهی ارائه می شود و همه دانشجویان در هر ترم در یک زمان واحد درسی را می گذرانند.بنابراین، ثبت نام تعداد زیادی دانش آموز (معمولاً 100 = n یا بیشتر) می تواند بر قالب تدریس و همچنین رابطه معلم و دانش آموز تأثیر بگذارد.علاوه بر این، در بسیاری از دانشکده‌های پزشکی، ویژگی‌های روان‌سنجی بیشتر ابزارها پس از استفاده اولیه ارزیابی نمی‌شود و ممکن است ویژگی‌های بیشتر ابزار ناشناخته باقی بماند [11].
چندین مطالعه در چند سال گذشته شواهدی را ارائه کرده اند که نشان می دهد SET را می توان با پرداختن به برخی از عوامل مهمی که ممکن است بر اثربخشی SET در سطوح ابزاری، اداری و تفسیری تأثیر بگذارد، بهبود بخشید.شکل 3 برخی از مراحلی را نشان می دهد که می توان از آنها برای ایجاد یک مدل SET موثر استفاده کرد.بخش های زیر توضیحات مفصل تری ارائه می دهند.
بهبود SET در سطوح ابزاری، مدیریتی و تفسیری برای توسعه مدل های SET موثر.
همانطور که قبلا ذکر شد، ادبیات تأیید می کند که سوگیری جنسیتی می تواند بر ارزشیابی معلمان تأثیر بگذارد [35، 36، 37، 38، 39، 40، 41، 42، 43، 44، 45، 46].پترسون و همکاران(2019) [40] مطالعه‌ای انجام داد که بررسی کرد آیا جنسیت دانش‌آموز بر پاسخ‌های دانش‌آموز به تلاش‌های کاهش سوگیری تأثیر می‌گذارد یا خیر.در این مطالعه، SET در چهار کلاس (دو کلاس توسط معلمان مرد و دو کلاس توسط معلمان زن) اجرا شد.در هر دوره، دانش آموزان به طور تصادفی برای دریافت یک ابزار ارزیابی استاندارد یا همان ابزار، اما با استفاده از زبان طراحی شده برای کاهش تعصب جنسی، اختصاص داده شدند.این مطالعه نشان داد که دانش‌آموزانی که از ابزارهای ارزیابی ضد سوگیری استفاده می‌کنند، به معلمان زن نمره SET به‌طور قابل‌توجهی نسبت به دانش‌آموزانی که از ابزارهای ارزیابی استاندارد استفاده می‌کنند، می‌دهند.همچنین در رتبه بندی معلمان مرد بین دو گروه تفاوتی وجود نداشت.نتایج این مطالعه قابل توجه است و نشان می دهد که چگونه یک مداخله زبانی نسبتا ساده می تواند سوگیری جنسیتی را در ارزشیابی دانش آموزان از تدریس کاهش دهد.بنابراین، تمرین خوب است که همه SET ها را با دقت در نظر بگیرید و از زبان برای کاهش تعصب جنسیتی در توسعه آنها استفاده کنید [40].
برای به دست آوردن نتایج مفید از هر SET، مهم است که از قبل هدف ارزیابی و جمله بندی سوالات را به دقت در نظر بگیرید.اگرچه اکثر نظرسنجی‌های SET به وضوح بخشی را در مورد جنبه‌های سازمانی دوره، یعنی «ارزیابی دوره» و بخشی را در مورد اعضای هیئت علمی، یعنی «ارزیابی معلمان» نشان می‌دهند، در برخی از نظرسنجی‌ها ممکن است تفاوت آشکار نباشد، یا ممکن است در بین دانشجویان سردرگمی وجود داشته باشد. در مورد چگونگی ارزیابی هر یک از این حوزه ها به صورت جداگانه.بنابراین، طراحی پرسشنامه باید مناسب باشد، دو بخش مختلف پرسشنامه را روشن کند و دانش‌آموزان را از آنچه در هر حوزه باید ارزیابی شود آگاه کند.علاوه بر این، آزمایش آزمایشی برای تعیین اینکه آیا دانش آموزان سؤالات را به روش مورد نظر تفسیر می کنند توصیه می شود [24].در مطالعه ای توسط Oermann و همکاران.(2018) [26]، محققان ادبیاتی را جستجو و ترکیب کردند که استفاده از SET را در طیف وسیعی از رشته‌ها در تحصیلات کارشناسی و کارشناسی ارشد توصیف می‌کند تا به مربیان راهنمایی در مورد استفاده از SET در پرستاری و سایر برنامه‌های حرفه‌ای سلامت ارائه کنند.نتایج نشان می‌دهد که ابزارهای SET باید قبل از استفاده مورد ارزیابی قرار گیرند، از جمله آزمایش آزمایشی ابزار با دانش‌آموزانی که ممکن است نتوانند آیتم‌ها یا سؤالات ابزار SET را آنطور که مدنظر مدرس است تفسیر کنند.
چندین مطالعه بررسی کرده اند که آیا مدل حاکمیت SET بر مشارکت دانش آموزان تأثیر می گذارد یا خیر.
داومیر و همکاران(2004) [47] رتبه‌بندی‌های دانش‌آموز از آموزش مربی را که در کلاس انجام شده بود با رتبه‌بندی‌های آنلاین جمع‌آوری‌شده با مقایسه تعداد پاسخ‌ها و رتبه‌بندی‌ها مقایسه کرد.تحقیقات نشان می دهد که نظرسنجی های آنلاین معمولاً نرخ پاسخ کمتری نسبت به نظرسنجی های درون کلاسی دارند.با این حال، این مطالعه نشان داد که ارزیابی‌های آنلاین میانگین نمرات متفاوتی نسبت به ارزیابی‌های سنتی کلاس درس ایجاد نمی‌کنند.
گزارش شده است که در طول تکمیل SET های آنلاین (اما اغلب چاپی) ارتباط دو طرفه بین دانش آموزان و معلمان وجود ندارد که در نتیجه فرصتی برای شفاف سازی وجود ندارد.بنابراین، معنای سوالات SET، نظرات، یا ارزیابی دانش‌آموز ممکن است همیشه روشن نباشد [48].برخی از مؤسسات با گرد هم آوردن دانش آموزان به مدت یک ساعت و اختصاص زمان مشخص برای تکمیل SET به صورت آنلاین (به صورت ناشناس) به این موضوع پرداخته اند [49].مالون و همکاران در مطالعه خود.(2018) [49] جلسات متعددی را برگزار کرد تا با دانشجویان در مورد هدف SET بحث کند، چه کسی نتایج SET و نحوه استفاده از نتایج را می بیند، و هر موضوع دیگری که توسط دانشجویان مطرح می شود.SET بسیار شبیه به یک گروه متمرکز انجام می شود: گروه جمعی از طریق رای گیری غیررسمی، بحث و شفاف سازی به سوالات باز پاسخ می دهد.میزان پاسخگویی بیش از 70 تا 80 درصد بود که اطلاعات گسترده ای را به معلمان، مدیران و کمیته های برنامه درسی ارائه می کرد [49].
همانطور که در بالا ذکر شد، در مطالعه Uitdehaage و O'Neill [5]، محققان گزارش کردند که دانش‌آموزان در مطالعه خود به معلمان موجود رتبه‌بندی می‌کنند.همانطور که قبلا ذکر شد، این یک مشکل رایج در دوره های دانشکده پزشکی است، جایی که هر درس ممکن است توسط بسیاری از اعضای هیئت علمی تدریس شود، اما دانشجویان ممکن است به خاطر نداشته باشند که چه کسی در هر دوره مشارکت داشته است یا هر یک از اعضای هیئت علمی چه کارهایی انجام داده اند.برخی از مؤسسات با ارائه عکسی از هر استاد، نام او و موضوع/تاریخ ارائه شده برای تجدید خاطرات دانشجویان و اجتناب از مشکلاتی که کارایی SET را به خطر می اندازد، به این موضوع پرداخته اند [49].
شاید مهمترین مشکل مرتبط با SET این باشد که معلمان قادر به تفسیر صحیح نتایج کمی و کیفی SET نیستند.برخی از معلمان ممکن است بخواهند در طول سال ها مقایسه های آماری انجام دهند، برخی ممکن است افزایش/کاهش جزئی در میانگین نمرات را به عنوان تغییرات معنی دار ببینند، برخی می خواهند هر نظرسنجی را باور کنند، و برخی دیگر کاملاً نسبت به هر نظرسنجی شک دارند [45،50، 51].
شکست در تفسیر صحیح نتایج یا پردازش بازخورد دانش آموزان می تواند بر نگرش معلمان نسبت به تدریس تأثیر بگذارد.نتایج Lutovac و همکاران.(2017) [52] آموزش معلمان حمایتی برای ارائه بازخورد به دانش آموزان ضروری و مفید است.آموزش پزشکی نیاز فوری به آموزش در تفسیر صحیح نتایج SET دارد.بنابراین، اساتید دانشکده پزشکی باید در مورد چگونگی ارزیابی نتایج و زمینه‌های مهمی که باید روی آن تمرکز کنند، آموزش ببینند [50، 51].
بنابراین، نتایج توصیف‌شده نشان می‌دهد که SET‌ها باید با دقت طراحی، اجرا و تفسیر شوند تا اطمینان حاصل شود که نتایج SET تأثیر معناداری بر همه ذینفعان مربوطه، از جمله اساتید، مدیران دانشکده‌های پزشکی و دانشجویان دارد.
به دلیل برخی از محدودیت های SET، ما باید به تلاش برای ایجاد یک سیستم ارزیابی جامع برای کاهش تعصب در اثربخشی آموزش و حمایت از توسعه حرفه ای مربیان پزشکی ادامه دهیم.
با جمع‌آوری و مثلث‌بندی داده‌ها از منابع متعدد، از جمله دانشجویان، همکاران، مدیران برنامه و خودارزیابی‌های اساتید می‌توان به درک کامل‌تری از کیفیت تدریس اساتید بالینی دست یافت [53، 54، 55، 56، 57].بخش‌های زیر ابزارها/روش‌های احتمالی دیگری را شرح می‌دهند که می‌توانند علاوه بر SET مؤثر برای کمک به ایجاد درک مناسب‌تر و کامل‌تر از اثربخشی آموزش استفاده شوند (شکل 4).
روش هایی که می توان برای توسعه یک مدل جامع از یک سیستم برای ارزیابی اثربخشی تدریس در دانشکده پزشکی استفاده کرد.
یک گروه متمرکز به عنوان "یک بحث گروهی سازماندهی شده برای بررسی مجموعه خاصی از مسائل" [58] تعریف می شود.طی چند سال گذشته، دانشکده‌های پزشکی گروه‌های کانونی را برای دریافت بازخورد با کیفیت از دانشجویان و رفع برخی از مشکلات SET آنلاین ایجاد کرده‌اند.این مطالعات نشان می دهد که گروه های متمرکز در ارائه بازخورد با کیفیت و افزایش رضایت دانش آموزان موثر هستند [59، 60، 61].
در مطالعه ای توسط براندل و همکاران.[59] محققان یک فرآیند گروهی ارزیابی دانشجو را اجرا کردند که به مدیران دوره و دانشجویان اجازه می‌داد در مورد دوره‌ها در گروه‌های متمرکز بحث کنند.نتایج نشان می‌دهد که بحث‌های گروه متمرکز مکمل ارزیابی‌های آنلاین است و رضایت دانش‌آموز را از فرآیند ارزیابی کلی دوره افزایش می‌دهد.دانش آموزان فرصت برقراری ارتباط مستقیم با مدیران دوره را ارزشمند می دانند و معتقدند که این فرآیند می تواند به بهبود آموزشی کمک کند.آنها همچنین احساس کردند که می توانند دیدگاه مدیر دوره را درک کنند.علاوه بر دانش‌آموزان، مدیران دوره نیز ارزیابی کردند که گروه‌های متمرکز ارتباط مؤثرتر با دانشجویان را تسهیل می‌کنند [59].بنابراین، استفاده از گروه های متمرکز می تواند درک کامل تری از کیفیت هر دوره و اثربخشی تدریس دانشکده مربوطه به دانشکده های پزشکی ارائه دهد.البته باید توجه داشت که خود گروه های کانونی دارای محدودیت هایی هستند، مثلاً تعداد کمی از دانش آموزان در آنها شرکت می کنند در مقایسه با برنامه SET آنلاین که در دسترس همه دانش آموزان است.علاوه بر این، برگزاری گروه‌های متمرکز برای دوره‌های مختلف می‌تواند فرآیندی زمان‌بر برای مشاوران و دانشجویان باشد.این محدودیت‌های قابل توجهی ایجاد می‌کند، به‌ویژه برای دانشجویان پزشکی که برنامه‌های بسیار شلوغی دارند و ممکن است در مکان‌های جغرافیایی مختلف قرارهای بالینی انجام دهند.علاوه بر این، گروه های متمرکز به تعداد زیادی تسهیل کننده با تجربه نیاز دارند.با این حال، ترکیب گروه‌های تمرکز در فرآیند ارزیابی می‌تواند اطلاعات دقیق‌تر و مشخص‌تری در مورد اثربخشی آموزش ارائه دهد [48، 59، 60، 61].
Schiekierka-Schwacke و همکاران.(2018) [62] ادراک دانشجویان و اساتید را از ابزار جدیدی برای ارزیابی عملکرد اساتید و نتایج یادگیری دانشجویان در دو دانشکده پزشکی آلمان مورد بررسی قرار داد.بحث های گروهی متمرکز و مصاحبه های فردی با اساتید و دانشجویان پزشکی انجام شد.معلمان از بازخورد شخصی ارائه شده توسط ابزار ارزیابی قدردانی کردند و دانش آموزان گزارش دادند که یک حلقه بازخورد شامل اهداف و پیامدها باید ایجاد شود تا گزارش داده های ارزیابی را تشویق کند.بنابراین، نتایج این پژوهش از اهمیت بستن حلقه ارتباط با دانش‌آموزان و اطلاع‌رسانی آنها از نتایج ارزیابی حمایت می‌کند.
برنامه های بازبینی همتای تدریس (PRT) بسیار مهم است و سال هاست که در آموزش عالی اجرا می شود.PRT شامل یک فرآیند مشارکتی مشاهده آموزش و ارائه بازخورد به ناظر برای بهبود اثربخشی تدریس است [63].علاوه بر این، تمرین‌های خود انعکاسی، بحث‌های پیگیری ساختاریافته، و تخصیص منظم همکاران آموزش‌دیده می‌تواند به بهبود اثربخشی PRT و فرهنگ تدریس در بخش کمک کند [64].گزارش شده است که این برنامه ها دارای مزایای زیادی هستند زیرا می توانند به معلمان کمک کنند تا بازخورد سازنده ای از معلمان همتا دریافت کنند که ممکن است در گذشته با مشکلات مشابهی مواجه شده باشند و می توانند با ارائه پیشنهادهای مفید برای بهبود، حمایت بیشتری را ارائه دهند [63].علاوه بر این، هنگامی که به طور سازنده استفاده شود، بررسی همتایان می تواند محتوای دوره و روش های ارائه را بهبود بخشد و از مربیان پزشکی در بهبود کیفیت تدریس خود حمایت کند [65، 66].
یک مطالعه اخیر توسط کمبل و همکاران.(2019) [67] شواهدی ارائه می دهد که مدل حمایت از همتایان در محل کار یک استراتژی قابل قبول و موثر توسعه معلم برای مربیان بهداشت بالینی است.در مطالعه دیگری، Caygill و همکاران.[68] مطالعه ای را انجام داد که در آن یک پرسشنامه طراحی شده ویژه برای مربیان بهداشت در دانشگاه ملبورن ارسال شد تا به آنها اجازه دهد تجربیات خود را در مورد استفاده از PRT به اشتراک بگذارند.نتایج نشان می‌دهد که علاقه شدیدی به PRT در میان مربیان پزشکی وجود دارد و قالب بررسی داوطلبانه و آموزنده همتا فرصتی مهم و ارزشمند برای توسعه حرفه‌ای در نظر گرفته می‌شود.
شایان ذکر است که برنامه‌های PRT باید با دقت طراحی شوند تا از ایجاد یک محیط قضاوت‌کننده و «مدیریتی» که اغلب منجر به افزایش اضطراب در بین معلمان مشاهده‌شده می‌شود، اجتناب شود [69].بنابراین، هدف باید توسعه دقیق برنامه‌های PRT باشد که تکمیل و تسهیل ایجاد یک محیط امن و ارائه بازخورد سازنده باشد.بنابراین، آموزش ویژه برای آموزش داوران مورد نیاز است و برنامه های PRT فقط باید معلمان واقعاً علاقه مند و با تجربه را شامل شود.این امر به ویژه در صورتی مهم است که اطلاعات به دست آمده از PRT در تصمیم گیری های هیئت علمی مانند ارتقاء به سطوح بالاتر، افزایش حقوق و ارتقاء به پست های مهم اداری استفاده شود.لازم به ذکر است که PRT زمان بر است و مانند گروه های کانونی نیازمند مشارکت تعداد زیادی از اعضای هیئت علمی مجرب است و اجرای این رویکرد در دانشکده های پزشکی با منابع کم را دشوار می کند.
نیومن و همکاران(2019) [70] راهبردهایی را که قبل، حین و بعد از آموزش استفاده می‌شوند، مشاهداتی که بهترین شیوه‌ها را برجسته می‌کنند و راه‌حل‌هایی برای مشکلات یادگیری را مشخص می‌کنند، توصیف می‌کنند.محققان 12 پیشنهاد را به بازبینان ارائه کردند، از جمله: (1) کلمات خود را عاقلانه انتخاب کنید.(2) به ناظر اجازه دهید جهت بحث را تعیین کند.(3) بازخورد را محرمانه و قالب بندی شده نگه دارید.(4) بازخورد را محرمانه و قالب بندی شده نگه دارید.بازخورد بر مهارت های تدریس تمرکز دارد تا معلم فردی.(5) همکاران خود را بشناسید (6) مراقب خود و دیگران باشید (7) به یاد داشته باشید که ضمایر نقش مهمی در ارائه بازخورد دارند، (8) استفاده از سوالات برای روشن کردن دیدگاه تدریس، (10) ایجاد اعتماد در فرآیندها و بازخورد در مشاهدات همتایان، (11) مشاهده یادگیری را برد-برد، (12) ایجاد یک برنامه عمل.محققان همچنین در حال بررسی تأثیر سوگیری بر مشاهدات هستند و اینکه چگونه فرآیند یادگیری، مشاهده و بحث درباره بازخورد می‌تواند تجربیات یادگیری ارزشمندی را برای هر دو طرف فراهم کند که منجر به مشارکت طولانی‌مدت و بهبود کیفیت آموزشی می‌شود.گومالی و همکاران(2014) [71] گزارش کرد که کیفیت بازخورد مؤثر باید شامل (1) شفاف سازی کار با ارائه دستورالعمل ها، (2) افزایش انگیزه برای تشویق تلاش بیشتر و (3) درک گیرنده از آن به عنوان یک فرآیند ارزشمند باشد.ارائه شده توسط یک منبع معتبر
اگرچه اساتید دانشکده پزشکی در مورد PRT بازخورد دریافت می کنند، اما آموزش اساتید در مورد نحوه تفسیر بازخورد (مشابه توصیه برای دریافت آموزش در تفسیر SET) و دادن زمان کافی به اساتید برای انعکاس سازنده در مورد بازخورد دریافتی بسیار مهم است.