Статистичнi методи оцiнки валiдностi та надiйностi масових незалежних тестувань на прикладi аналiзу результатiв ЄВI-2024

Abstract

The article substantiates possibility and expediency of applying various statistical methods for analyzing the characteristics of the tests that are used for mass independent evaluation. Different approaches to checking of the hypothesis regarding the normality of the distribution of test results and the interpretation of the obtained results are studied; the recommendations are given for testing the normality of the results of the unified entrance exam (UEE) for the second and third levels of higher education in Ukraine. Some aspects of statistical estimates of the test’s reliability indicators are explained, it is also stated with which additional restrictions Cronbach’s α is an unbiased estimate indicator of the reliability. Based on the results of one of the UEE sessions, the method of specifying the boundaries of the intervals in which the observed parameters of the empirical assessment of the reliability indicator can change is justified and demonstrated. On the example of the results of the test of general academic competence as a component of UEE, the practical application of the reliability analysis of the test as a whole and its individual blocks and tasks is demonstrated, the obtained results are interpreted. A psychometric and substantive analysis of tasks was conducted, for which the results of the reliability study revealed a potential possibility of a negative influence on the reliability of the test.

Дослiджено властивостi й обґрунтовано можливiсть i доцiльнiсть застосування рiзних статистичних методiв для оцiнки характеристик тестiв, якi використовують для масових випробувань. Проаналiзовано рiзнi пiдходи до перевiрки 2, гiпотези щодо нормальностi розподiлу результатiв тестування та iнтерпретацiї отриманих результатiв, сформульовано рекомендацiї щодо перевiрки нормальностi результатiв єдиного вступного iспиту (ЄВI) на здобуття другого та третього рiвнiв вищої освiти в Українi. Обґрунтовано деякi властивостi статистичних оцiнок показникiв надiйностi тесту, встановлено за яких додаткових обмежень показник α Кронбаха є незмiщеною оцiнкою показника надiйностi. Обґрунтовано й продемонстровано на результатах однiєї iз сесiй ЄВI метод уточнення меж промiжкiв, у яких може змiнюватися спостережуване значення емпiричної оцiнки показника надiйностi. на прикладi результатiв тесту загальної навчальної компетентностi як складової ЄВI продемонстровано практичне застосування аналiзу надiйностi тесту загалом та окремих його блокiв i завдань, iнтерпретовано отриманi результати. Проведено психометричний i змiстовний аналiз завдань, для яких за результатами дослiдження надiйностi було виявлено потенцiйну можливiсть негативного впливу на надiйнiсть тесту.