۰۰۰۳/۰

۰

۰۲۵/۰

MTI (ROP_18)

۶۰۰۰

۰۰۴۵/۰

۰۰۴/۰

۰۰۳۱/۰

۰۰۲۵/۰

۰۰۲/۰

۰۰۱/۰

۰۰۲/۰

۰۰۱/۰

۰

۰۰۰۸/۰

۰۰۰۳/۰

۰۰۰۶/۰

۰۰۰۵/۰

۰

۰۰۰۸/۰

۰۰۱۱/۰

۰۰۱۵/۰

۰۲۶/۰

خلاصه‌ی مرحله‌ی پنجم و ششم
همانطور که قبلاً نیز ذکر شد، نتایج این دو مرحله قابل مقایسه با چهار مرحله‌ی قبل نیست، زیرا شامل تعداد سؤال متفاوتی هستند. نتایج نشان می‌دهد که بدون توجه به عامل کنترل مواجهه‌ S-H، خزانه‌های سؤال بهینه‌ای که با کنترل تعادل محتوایی طراحی می‌شوند، دارای دقت اندازه‌گیری بالایی هستند. زمانی‌که، عامل مواجهه‌ سؤال نیز کنترل می‌شود، این میزان دقت اندازه‌گیری بالاتر می‌رود. در مورد دقت اندازه‌گیری و تعامل دو عامل تعادل محتوایی و کنترل مواجهه S-H نتایج جالبی بدست آمد:
میزان اریب در هر چهار خزانه مثبت و بسیار کوچک است. زمانی که مواجهه‌ سؤال کنترل می‌شود، این میزان اریب کمتر از زمانی است که کنترل نمی‌شود. زمانی که عامل S-H در شبیه‌سازی وارد نشده است، خزانه‌ی MTI دارای بهترین عملکرد از نظر دقت اندازه‌گیری است. در این مرحله خزانه‌ی MRP و R دارای خطاهای اندازه‌گیری تقریباً مشابهی هستند. دلیل اینکه خزانه‌ی MTI برخلاف مراحل قبل دارای خطای اندازه‌گیری کمتری نسبت به MRP است، این است که، در طراحی این خزانه در طول پیوستار توانایی میزان آگاهی‌های متفاوتی وارد شد که با کدهای محتوایی هماهنگ بود. تعامل میزان آگاهی با کدهای محتوایی باعث می‌شود که دقت اندازه‌گیری بالا رود. امّا زمانی‌که عامل S-H وارد می‌شود، خزانه‌ی MTI دارای دقت اندازه‌گیری کمتری نسبت به زمانی که S-H وارد نشده بود، می‌باشد. زیرا سؤالاتی که دارای میزان آگاهی متناسب با دامنه‌ی توانایی مورد نظر و کد محتوایی مناسب هستند، بیشتر از ۳۳/۰ ارائه شده و برای کنترل این قضیه، برنامه مجبور است که از سؤالات bin های هم جوار استفاده کند، که باعث می‌شود دقت اندازه‌گیری کاهش یابد. در این مرحله خزانه‌ی MRP دارای بهترین عملکرد از نظر خطای اندازه‌گیری است. در مجموع، هر سه خزانه‌ی بهینه در هر دو مرحله بهتر از خزانه‌های سؤال عملیاتی از نظر اندازه خزانه، دقت اندازه‌گیری و امنیت آزمون عمل می‌کنند. در کل، بررسی دقیق‌تر دقت اندازه‌گیری در هر یک از سطوح توانایی نشان می‌دهد که، خزانه‌های سؤالی که با کنترل مواجهه‌ سؤال طراحی می‌شوند، دارای دقت بیشتری نسبت به خزانه‌هایی که بدون کنترل مواجهه طراحی می‌شوند، هستند. این نتیجه به دلیل این است که، سؤالات اضافه شده به خزانه‌های بهینه با کنترل مواجهه‌ S-H دارای سؤالاتی با ضرایب تشخیص بالاتری هستند. در کل، به نظر می‌رسد که خزانه‌ی MTI از سؤالات موجود در خزانه استفاده‌ی بیشتری می‌کند و دارای حداقل سؤالات کم مواجهه شده می‌باشد. همچنین، از نرخ همپوشی تست کمی با وجود اینکه دارای حداقل تعداد سؤال است، برخوردار می‌باشد. در مجموع، بدون توجه به عامل S-H، خزانه‌های بهینه‌ی MTI نسبت به خزانه‌های R و MRP دارای سؤالات کمتری هستند و از امنیت بالایی نیز برخوردارند و از سؤالات استفاده‌ی بیشتری می‌کنند. خزانه‌های MRP زمانی که عامل S-H وارد می‌شود، دارای دقت اندازه‌گیری بالاتری است ولی از نظر اقتصادی به صرفه نیست. بنابراین، توصیه می‌شود که، زمانی‌که به صرفه بودن طراحی خزانه‌های سؤال، تعادل محتوایی و امنیت آزمون عامل بسیار مهمی می‌باشند، برای کاهش تعداد سؤالات مورد نیاز در خزانه‌ی CAT از روش MTI استفاده شود. البته نکته‌ی دیگری که باید به آن توجه کرد این است که زمانی‌که عامل S-H وارد می‌شود، در هر سه خزانه‌ی سؤال بهینه، میزان تخطی از قیود محتوایی تست‌ها بیشتر از زمانی است که S-H وارد نشده است، این نتیجه دلیلی بر این امر است که وارد کردن کنترل مواجهه‌ S-H بر انتخاب سؤالات تاثیر می‌گذارد و این امکان وجود دارد که برنامه‌ی CAT، سؤالی را برای اجرا انتخاب کند که از قیود محتوایی تخطی دارد.

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

نتایج مقایسه‌ی میانگین مجذور خطاها در الگوهای طراحی خزانه‌ی سؤال بهینه
به منظور بررسی کارایی^{[۲۱۸][۲۱۹]} هر یک از مدل‌ها، در این پژوهش ما کارایی هر مدل نسبت به مدل دیگر را ارزیابی کردیم. بر این اساس مقدار میانگین مجذور خطا در هر یک از مدل‌ها را بر مدل دیگر تقسیم شده و اگر حاصل این تقسیم کوچکتر از یک باشد، مدلی که در صورت قرار دارد کاراتر است و بالعکس (چانگ و یینگ ،۱۹۹۹ ؛ ریکیسی ۲۰۰۵). به عبارت دیگر، اگر رابطه‌ی زیر بین دو مدل برقرار باشد، مدل اول، مدلی با کارایی بیشتر است و میزان میانگین مجذور خطاها کمتری دارد. در ماتریس زیر، نتایج مربوط به مقایسه‌ی تمام MSE های ممکن الگوهای طراحی شده برای CAT هایی که تک محتوایی هستند، آورده شده است. با بررسی خانه‌های این ماتریس می‌توانیم، کارایی هریک از مدل‌ها را نسبت به هم بررسی کنیم.

جدول ۴-۲۷: مقایسه‌ی MSE ها در الگوهای CAT تک محتوایی (کارایی الگوها)

خزانه سؤال

MSE

OP

ROP_1

ROP_2

ROP_3

ROP_4

ROP_5

ROP_6

ROP_7

ROP_8

ROP_9