Creation and validation of a bilingual test to estimate aural and written vocabulary size

Abstract

Language learners’ vocabulary size is a reliable predictor of their success in a second language as it clearly correlates with better performances in the target language (Nation, 2001). Precise estimations of language learners’ actual knowledge are paramount to plan language teaching. However, the instruments employed by previous studies for those estimations might present validity and reliability issues that affect their research sensitivity and accuracy. This paper presents a step-by-step account of the creation of an aural and a written version of a bilingual vocabulary test. Answers from 73 adult L1-Spanish students attending English classes were analysed with the Rasch model to determine the best performing items in the test so that the overall reliability of the instrument was enhanced. The final version presents high levels of reliability: .89 for the listening vocabulary test and .82 for the written vocabulary test. Furthermore, descriptive statistics confirm that recognizing the words in their aural form is more challenging than in their written form: participants obtained 10.80% fewer correct answers in the listening vocabulary test. This finding confirms the claim that aural and written vocabulary are two separate dimensions, and impacts on how vocabulary should be taught in L2 classrooms.

El tamaño del vocabulario de quienes aprenden una lengua es un predictor fiable de su éxito en la lengua meta porque se correlaciona claramente con mejores rendimientos (Nation, 2001). Las estimaciones precisas del conocimiento real de quienes aprenden idiomas son esenciales para planificar la enseñanza de lenguas. Sin embargo, los instrumentos empleados pueden presentar problemas de validez y fiabilidad que afecten a su sensibilidad y precisión investigadoras. Este artículo describe la creación de una versión oral y escrita de un test bilingüe de vocabulario. Las respuestas de 73 estudiantes adultos de inglés cuya lengua materna era el español fueron analizadas con el modelo Rasch para determinar los elementos del test que mejor se comportaban y mejorar la fiabilidad general del instrumento. La versión final presenta altos niveles de fiabilidad: .89 para la prueba oral de vocabulario y .82 para la prueba escrita. Además, las estadísticas descriptivas confirman que reconocer las palabras en su forma oral supone un reto mayor que hacerlo en su forma escrita porque hubo un 10,80% menos de respuestas correctas en el test oral. Este hallazgo confirma la afirmación de que el vocabulario oral y escrito son dos dimensiones distintas e influye en cómo se debería enseñar el vocabulario en las aulas.