RHS. Revista. Humanismo. Soc. 12(2), e8/1-16, jul.- dic. 2024 / ISSNe 2339-4196
Artículo de investigación científica y tecnológica
RHS. Revista. Humanismo. Soc. 12(2), e8/1-16, jul.- dic. 2024 / ISSNe 2339-4196
Artículo de investigación científica y tecnológica
Valor agregado de la formación en inglés en una institución de educación superior en Colombia
Added Value of English Training at a Higher Education Institution in Colombia
Luz Carolina Bedoya Suárez1
https://orcid.org/0009-0004-9328-0976
Pablo Andrés Erazo Muñoz1
https://orcid.org/0000-0002-9827-3327
https://doi.org/10.22209/rhs.v12n2a08
Recibido: mayo 3 de 2024.
Aceptado: agosto 6 de 2024.
Para citar: Bedoya Suárez, L. C., & Erazo Muñoz, P. A. (2024). Valor agregado de la formación en inglés en una institución de educación superior en Colombia. RHS-Revista Humanismo y Sociedad, 12(2), 1-16. https://doi.org/10.22209/rhs.v12n2a08
Resumen
El inglés es una lengua internacional relevante para la comunicación intercultural. Su conocimiento genera oportunidades laborales que se traducen en el acceso a un mercado laboral más amplio y a mejores salarios. Conocer el nivel que tienen los estudiantes de educación superior en el inglés y determinar el impacto de la formación que reciben es de gran importancia para el mejoramiento de la pertinencia de los programas académicos. El objetivo general de esta investigación es conocer el valor agregado que tiene la formación en inglés en los programas de pregrado del nivel tecnológico. Para ello se realizó un estudio cuantitativo de tipo longitudinal, en una muestra de 192 estudiantes, que relaciona su nivel de inglés de entrada y salida respecto al género, horas de formación de inglés, jornada y programa académico según los niveles del Marco Común Europeo de Referencia (mcer). Los hallazgos muestran que la formación en inglés dada a los estudiantes aporta un valor significativo en el mejoramiento de sus competencias, con un tamaño del efecto d = 0,476 p<0,001, IC 95 % [0,341-0,592]. Además, se encontró que existe una relación entre horas de formación, la jornada, el género y los programas con los resultados obtenidos en las pruebas de inglés de los estudiantes. Finalmente, se recomienda que los programas académicos tengan en cuenta el número de horas destinadas a la formación y que futuras investigaciones realicen análisis de acuerdo con el tipo de habilidad: habla, escritura, escucha y lectura.
Palabras clave: aprendizaje de idiomas, educación superior, nivel de inglés, valor agregado.
Abstract
English is an international language relevant for intercultural communication. Its proficiency generates job opportunities that translate into access to a broader labor market and better salaries. Diagnosing the level of English of higher education students and determining the impact of the training they receive is essential to improve the relevance of academic programs. The general objective of this research is to determine the added value of English language training in undergraduate technological programs. To this end, a quantitative longitudinal study was carried out with a sample of 192 students. The study relates the level of English of the students, at entry and exit, according to their gender, hours of English training, schedule, and academic program within the levels of the Common European Framework of Reference (CEFR). The findings revealed that the English training given to students provides significant value in improving their skills, with an effect size of d = 0,476 p<0,001, IC 95 % [0,341-0,592]. Also, that there is a relationship between training hours, working hours, gender, and programs and the results obtained from students’ English tests. Finally, it is recommended that academic programs consider the number of hours allocated to training and that future research conduct analyses in accordance with the type of skill: speaking, writing, listening, and reading.
Keywords: Language learning, Higher education, English level, Added value.
Introducción
En educación, el concepto de valor agregado se emplea para describir el progreso de los estudiantes, que se manifiesta en el aumento de su conocimiento, habilidades, capacidades y otros atributos adquiridos a lo largo de su trayectoria dentro del sistema educativo (Organization for Economic Co-operation and Development [oecd], 2008).
En la actualidad, el inglés reviste una importancia global significativa al ser considerado una lengua franca para la comunicación intercultural, lo que ofrece ventajas en el acceso a oportunidades laborales (Sánchez, 2013). Conocer los niveles de inglés de los usuarios de una lengua extranjera es crucial para generar confianza entre los inversionistas, impactar positivamente la economía del país y mejorar los niveles salariales (Neeley, 2012). Diversos estudios han demostrado una relación directa entre el dominio de una segunda lengua y los ingresos (Delgado, 2013).
El Instituto Colombiano para el Fomento de la Educación Superior (icfes) es responsable de realizar pruebas a nivel de educación primaria, secundaria, y superior. Las pruebas saber tyt (técnicos y tecnólogos) permiten en este caso, conocer los niveles de dominio en inglés, además de otras áreas. Para hacer una comparación de valor agregado a través de pruebas estandarizadas, es necesario contrastar los resultados de icfes Saber 11 y Saber tyt (Rodríguez, & López, 2016).
De acuerdo con la Ley General de Educación, Ley 115 de 1994 (Congreso de la República de Colombia, 1994), en su artículo 21 se establece la obligatoriedad de la formación en una segunda lengua o lengua extranjera en Colombia desde la educación básica. El Ministerio de Educación Nacional (men, 2006), a través del Plan Nacional de Bilingüismo, ha fijado una meta de formación de nivel B2 para estudiantes de pregrado, incluidos los del nivel tecnológico.
Para conocer si los estudiantes cumplen con este propósito, es necesario medir sus habilidades mediante pruebas estandarizadas y evaluar sus avances. Estas pruebas deben estar alineadas con el Marco Común Europeo de Referencia (mcer), que es el estándar internacional adoptado por Colombia para la medición del nivel de inglés. El mcer define seis niveles que se agrupan en tres bloques: usuario básico (A), usuario independiente (B) y usuario competente (C) (Consejo de Europa, 2001).
Entre los estudios que se encuentran con relación al valor agregado de la formación, se tiene el de Rodríguez y López (2016). Estos autores hicieron una comparación entre las pruebas Saber 11 y Saber Pro con el propósito de aportar a la construcción de parámetros de medida de la calidad de la enseñanza en educación superior a nivel de pregrado; esto es, técnicos profesionales, programas tecnológicos y profesionales universitarios. Se cita en su trabajo, el estudio de Bogoya y Bogoya (2013), quienes descubrieron que el nivel de conocimientos previos evaluados mediante la prueba Saber 11 tiene un impacto significativamente mayor en la variabilidad de los resultados obtenidos en la prueba Saber Pro, en comparación con el factor socioeconómico de los estudiantes, siendo este último 13 veces menos influyente (Rodríguez, & López, 2016).
Otras investigaciones sobre valor agregado incluyen la de Páez et al. (2022), que explora el valor agregado para programas del Núcleo Básico de Conocimientos en Administración, comparando los valores de las pruebas estandarizadas Saber 11 y Saber pro. También está el proyecto de Varona y Murcia (2021), de la Universidad Autónoma del Valle del Cauca, en el que se mide el valor agregado de la formación de inglés en contraste con las competencias emprendedoras en diversos programas de formación. Esta investigación sugiere que las expectativas de valor agregado no se cumplen en su totalidad.
Con el objetivo de conocer el valor agregado que tiene la formación de inglés en los diferentes programas de pregrado de la institución donde se hizo el estudio, se analizaron los resultados de las pruebas diagnósticas de entrada y salida de estudiantes del nivel tecnológico entre el 2018 y 2022. Este estudio se hizo utilizando metodología cuantitativa, con análisis estadístico y pruebas paramétricas y no paramétricas, según la normalidad de los datos. Aunque no se ha usado una prueba estándar para esta comparación, el diseño de pruebas adaptadas a necesidades específicas es válido y altamente útil (Cliff, & Bradford, 1981; Jeyaraj, 2012).
Metodología
Partiendo del objetivo planteado, se desarrolló la investigación desde un paradigma postpositivista (Guba, & Lincoln, 1994) que propone que las realidades estudiadas son fenómenos complejos que no pueden ser simplificados a una sola dimensión, y cuyos significados están profundamente ligados al contexto en el que se presentan (complejidad). Además, para comprender estas realidades se requiere un esfuerzo intelectual que integre diversos elementos, desarrollando modelos que consideren tanto el contexto como las interacciones entre sus componentes (Cedeño, & Jaramillo, 2017).
La investigación es de tipo hipotético-deductivo (Saunders et al., 2016), ya que busca comprobar las hipótesis de que la formación en inglés tiene un efecto en las competencias de los estudiantes en esta área y que existen diferencias en el aprendizaje según género, horas de formación, jornada de estudio y tipo de programa académico.
Para comprobar las hipótesis se llevó a cabo un estudio de tipo correlacional con el fin de encontrar la asociación que existe entre las variables planteadas (Hernández et al., 2010); y de corte longitudinal (Sierra, 2008), a través de una prueba pareada de Wilcoxon con un time lags de 18 meses (Taris, & Kompier, 2014), para identificar las diferencias entre el puntaje de entrada y de salida en la prueba de inglés de los estudiantes en la población analizada. El tamaño del efecto se calculó por medio de la d de Cohen (1988), la cual considera que efectos menores a 0,2 señalan la no existencia de efecto; mayores a 0,21 y menores a 0,49, un efecto pequeño; entre 0,50 y 0,70, efecto moderado, y mayores a 0,7, un efecto grande.
Participantes
La población evaluada fue de 192 estudiantes del nivel tecnológico distribuidos en 21 grupos. Todos los participantes pertenecían a programas de Telecomunicaciones, Cableado, Desarrollo de software, Gestión de la producción industrial, Mecatrónica, Mantenimiento electrónico y Mantenimiento de equipos biomédicos. Se descartó de la muestra a estudiantes que por diversas razones no presentaron pruebas diagnósticas de ingreso y egreso, que solo tenían una de las dos pruebas o presentaron alguna novedad en el proceso de formación como retiro, cancelación, o traslado. La población inicial antes de la limpieza de los datos era de 400 estudiantes. Es importante mencionar que los 192 estudiantes cumplen con el protocolo de presentación de pruebas diagnósticas de acuerdo con la normatividad institucional; todos presentaron la prueba de ingreso durante el primer periodo de formación y la prueba de egreso durante el último periodo de formación.
En la Figura 1 se puede ver el número de estudiantes por género y jornada con los respectivos porcentajes de la muestra. En la Tabla 1 se muestra los participantes por programa de formación y género.
Figura 1. Participantes por género y jornada
Tabla 1. Participantes por programas de formación
|
Programa |
Femenino |
Masculino |
Total |
|
Análisis y desarrollo de sistemas de información |
5 |
17 |
22 |
|
Automatización |
4 |
26 |
30 |
|
Cableado |
3 |
19 |
22 |
|
Gestión de la producción industrial |
7 |
45 |
52 |
|
Mantenimiento de equipos biomédicos |
3 |
2 |
5 |
|
Mantenimiento electrónico |
2 |
2 |
4 |
|
Mecatrónica |
2 |
25 |
27 |
|
Telecomunicaciones |
5 |
25 |
30 |
|
Total |
31 |
161 |
192 |
Instrumento
A fin de evaluar el nivel de inglés de los estudiantes y determinar el valor agregado a lo largo de su formación en un periodo de 18 meses, se diseñó una prueba que respondiera a las necesidades específicas del plan de estudios, que se centrara en el currículo y cumpliera con los estándares internacionales de pruebas de inglés. El diseño de la prueba se realizó con el equipo de docentes, tomando como base pruebas de certificación internacional, y adaptada a las necesidades del contexto institucional, especialmente en temas relacionados con el currículo. La prueba abarcó desde el nivel básico (A1) hasta el intermedio (B1), e incluyó 30 preguntas: diez de comprensión oral, diez de comprensión escrita, y diez de gramática y vocabulario. Posteriormente, se sometió el instrumento a pruebas de validez con expertos en lengua inglesa para verificar la relevancia y pertinencia de las preguntas antes de ser administrado a los estudiantes. Además, se estableció una escala de puntos para cada uno de los niveles A1, A2 y B1.
Procedimientos
El examen se administró a través de la plataforma de gestión de aprendizaje Learning Management System (lms), durante la clase de inglés en presencia del profesor. Se asignó un tiempo límite de 30 minutos y no se estableció un criterio de aprobación o reprobación. El objetivo era simplemente evaluar el nivel de inglés de los estudiantes al inicio de su formación y al finalizarla, es decir, después de 18 meses para poder determinar el valor agregado a través de la formación.
Análisis de datos
Se llevaron a cabo análisis estadísticos descriptivos y pruebas de comparación de los puntajes de entrada y salida, así como comparaciones entre grupos. La prueba pareada de Wilcoxon en el software Statistical Package for the Social Sciences, SPSS versión 25, y el software libre basado en R JASP versión 0.18.3 (JASP Team, 2024), un software estadístico que permite realizar análisis descriptivos inferenciales y correlacionares de datos. Se consideró la normalidad de los datos por medio de la prueba de Shapiro-Wilk, p<0,05 para la selección de pruebas paramétricas y no paramétricas, según correspondiera.
Resultados
A continuación, se presentan los resultados generales y posteriormente por cada una de las variables analizadas según horas de formación, género, programas académicos, jornada, y grupos docentes.
Se presenta un análisis general de los datos, como se muestra en la Tabla 2 de estadísticas descriptivas y en la Figura 2, donde se evidencia un incremento de diez puntos en el nivel de competencia en inglés como resultado de la formación. No se registraron valores atípicos en el análisis. Los datos revelan un puntaje promedio de 52,56 (desviación estándar:16.01) al inicio del periodo formativo de los estudiantes, mientras que, al finalizar este periodo, se alcanzó un puntaje medio de 62,77 (desviación estándar: 18,26) de salida.
Tabla 2. Estadísticos descriptivos - Resultados entrada y salida
|
Resultado de entrada |
Resultado de salida |
|
|
Válido |
192 |
192 |
|
Faltante |
0 |
0 |
|
Media |
52,561 |
62,778 |
|
Desviación estándar |
16,018 |
18,268 |
|
Asimetría |
0,287 |
-0,025 |
|
Curtosis |
-0,478 |
-0,968 |
|
Shapiro-Wilk |
0,985 |
0,976 |
|
P valor de Shapiro-Wilk |
0,037 |
0,002 |
|
Mínimo |
18,210 |
25,180 |
|
Máximo |
92,300 |
100,000 |
Figura 2. Contraste entrada y salida
Para conocer si el valor agregado es estadísticamente significativo, se llevó a cabo una prueba pareada de Wilcoxon. De acuerdo con los resultados obtenidos y como se ve en la Tabla 3, el aporte resultó ser significativo para la formación en inglés, con un valor p <0,001. Además, se calculó el tamaño del efecto mediante la d de Cohen, obteniendo un valor de 0,476 con intervalos de confianza al 95 % [0,341-0,592], lo que indica que el efecto es moderado (Cohen, 1988).
Tabla 3. Muestra pareada de Wilcoxon
|
Prueba T para muestras pareadas |
||||||||||
|
95 % IC |
||||||||||
|
Medida 1 |
Medida 2 |
Prueba |
Estadística |
z |
df |
p |
Tamaño del efecto |
Tamaño del efecto SE |
Más bajo |
Más alto |
|
Resultado de salida |
Resultado de entrada |
Student |
6,291 |
191 |
<0,001 |
0,454 |
0,099 |
0,305 |
0,602 |
|
|
Wilcoxon |
13,676 |
5,722 |
<0,001 |
0,476 |
0,083 |
0,341 |
0,592 |
|||
Nota: para la prueba T de Student, el tamaño del efecto está dado por la d de Cohen. Para la prueba de Wilcoxon, el tamaño del efecto está dado por la correlación de rango biserial emparejado. IC: intervalo de confianza.
Otro aspecto analizado fue la relación entre los resultados de entrada y salida con las horas de formación. En la Figura 3, que muestra los tres rangos, se observa que hay un mayor impacto en la formación cuando se tiene entre 221 y 300 horas (segundo rango) a lo largo del programa. Resulta llamativo la comparación de horas entre el primer y tercer rango, que siendo mayor el número de horas del tercer rango, el desempeño de los estudiantes no mejora significativamente, al contrario, se observa un mejor desempeño en el rango de 150-220 horas que en el rango 301-350 horas.
Figura 3. Resultados de entrada y salida según rango de horas
También se analizó el desempeño de los estudiantes en relación con el género. Aunque las mujeres obtienen valores más altos en la prueba de salida, la diferencia en el valor agregado es mayor en los hombres que en las mujeres, así se puede ver en la Figura 4 de cajas y bigotes. Los hombres obtienen en promedio 51,48 en la entrada y 62,27 en la salida, mientras que las mujeres 58,19 y 65,44 en entrada y salida, respectivamente. En otras palabras, si bien el desempeño de las mujeres es mejor tanto al inicio como al final de la formación, la mejora experimentada por los hombres es más significativa.
Figura 4. Resultados de entrada y salida según género
Por otro lado, se evaluó el desempeño de los estudiantes en relación con el programa de formación. Como se observa en la Figura 5, entre los programas evaluados, el que muestra el mejor desempeño en prueba de salida es Gestión de la Producción Industrial (gpi), seguido de Mecatrónica y Cableado, que superan los 60 puntos. Por el contrario, hay dos programas que registran puntajes por debajo de los 60 puntos: Telecomunicaciones y Automatización Industrial. Sin embargo, es importante destacar que algunos programas de formación muestran un mejor desempeño en la prueba de entrada en lugar de la prueba de salida. En estos programas no se evidencia una mejora significativa en el dominio del inglés a lo largo de la formación. Estos incluyen Análisis y Desarrollo de Sistemas de Información, Mantenimiento de Equipos Biomédicos y Mantenimiento Electrónico.
Figura 5. Resultados de entrada y salida según programa de formación
Otra variable analizada en relación con los resultados de entrada y salida fue la jornada de estudio. En la Figura 6 se observa que los programas diurnos muestran un desempeño ligeramente mejor en la salida en comparación con los programas nocturnos. Esto sugiere que hay un mayor aporte en la formación para los programas diurnos que para los nocturnos. Los grupos de la noche tienen una media de desempeño de 60 puntos a la salida, pero presentan una media más alta al ingreso en comparación con los grupos diurnos.
Figura 6. Resultados de entrada y salida según jornada
Finalmente, se analizaron los resultados en relación con los docentes responsables de la formación en inglés. Se observa que hay grupos en los que el aporte de los docentes fue altamente significativo, destacándose especialmente el grupo identificado como grupo 4, este estuvo integrado por dos docentes que resaltaron por su inclusión de actividades con enfoque técnico y por generar muy buena conexión con los estudiantes (Figura 7).
En general, se evidencia un aporte en la formación, independientemente de la combinación de grupos de docentes. En el caso de los grupos que contaron con un único docente a lo largo de la formación, solo se observa una diferencia en el aporte en la formación en el caso del docente 1, profesional con trayectoria y amplia experiencia.
Figura 7. Resultados de entrada y salida según instructores en formación
Discusión
Los resultados en general muestran un aporte significativo en la formación en inglés. No obstante, aún no se alcanza la meta propuesta de que los estudiantes finalicen con un nivel B1, según el Marco Común Europeo adaptado por el men. Los resultados obtenidos situaron a los estudiantes en el nivel A2, lo que los clasifica como usuarios básicos. Estos hechos coinciden con un estudio previo realizado por Rodríguez y López (2016), que también mostró resultados de valor agregado en inglés en programas de educación superior en Colombia evidenciando que el nivel se mantiene en el mismo rango.
Así mismo, al comparar estos resultados con otros estudios de valor agregado, como el realizado por Páez et al. (2022), donde se analiza el valor agregado para programas del Núcleo Básico de Conocimientos en Administración, comparando los valores de las pruebas estandarizadas icfes Saber 11 y Saber Pro, y el proyecto de Varona y Murcia (2021) de la universidad Autónoma del Valle del Cauca, en el que se mide el valor agregado de la formación de inglés comparado con las competencias emprendedoras en varios programas de formación, se evidencia que las expectativas de valor agregado no se cumplen completamente, los niveles de inglés se mantienen estables.
En cuanto a los datos relacionados con los docentes de formación, no se encontraron diferencias significativas al considerar un único instructor o la combinación de varios. En este aspecto, es crucial tener en cuenta el nivel de inglés del docente y sus prácticas de enseñanza, su desarrollo profesional, pues partiendo de él como individuo se permea la institución, los estudiantes, en sí la calidad educativa (Bastidas, 2022).
En lo que respecta a las horas de formación, se observa que hay una diferencia en el impacto cuando se consideran las horas ideales de formación, ya que se observa un mayor aporte en el rango de 250 y 300 horas. Por lo tanto, se recomienda mantener una programación entre dichas horas a lo largo del programa, aunque esto está en contradicción con los lineamientos vigentes que hablan de una programación de 384 horas. Sin embargo, estas horas estarían dentro del margen de 350 y 400 horas recomendadas por el mcer para alcanzar el nivel B1, establecido como meta para la educación terciaria por parte del men.
Los resultados derivados de este estudio coinciden con el artículo publicado por Jiménez et al. (2017), el cual revisa el número de horas ideales para alcanzar el nivel B1 según la norma ntc 5580. La comparación de los datos de horas de formación con los resultados de las pruebas estandarizadas (Saber tyt) para los mismos estudiantes, también muestra un mejor desempeño en el rango de 250 a 300 horas.
Conclusiones
Se concluye que existe un cambio estadísticamente significativo en los puntajes de entrada y salida en las pruebas de inglés en los estudiantes que participaron en el estudio. Algunas variables, como las horas de formación y la jornada de estudio, están relacionadas con estos cambios.
Existen numerosos estudios que respaldan la relación entre la cantidad de horas de formación y el rendimiento en pruebas de idiomas. Por ejemplo, un metaanálisis realizado por Norris y Ortega (2006) señala una correlación positiva entre el tiempo dedicado al estudio del idioma y el progreso en la competencia lingüística. Además, investigaciones como la de Lightbown y Spada (2013) sugieren que la exposición prolongada a un segundo idioma, como en el caso de una jornada de estudio más extensa, puede conducir a mejoras significativas en la competencia lingüística.
No se encontró una relación estadísticamente significativa entre la continuidad de los estudiantes con un mismo profesor durante toda la formación. Sin embargo, el tipo de programa de formación cursado sí está relacionado con los puntajes de entrada y salida en las pruebas de inglés. Rodríguez y López (2016) afirman que los programas que mayor aportan a la formación son Economía, Contaduría y Administración de Empresas.
Varios estudios han explorado cómo diferentes enfoques de enseñanza y programas de formación pueden influir en el dominio de un idioma. Por ejemplo, el enfoque comunicativo, que se centra en la comunicación real y la interacción, ha demostrado ser efectivo para mejorar las habilidades lingüísticas (Richards, & Rodgers, 2001). Asimismo, la investigación de Long y Doughty (2009) destaca la importancia de un enfoque centrado en el estudiante y la relevancia de las tareas lingüísticas auténticas para el desarrollo de la competencia comunicativa.
A pesar de la mejora en los puntajes, los estudiantes aún no alcanzan la meta propuesta por el men de lograr el nivel B2 al finalizar su formación. El mcer establece que el nivel B2 corresponde a un usuario independiente y competente en el idioma. Alcanzar este nivel es crucial para diversas oportunidades educativas y laborales tanto a nivel nacional como internacional (Consejo de Europa, 2001). Estudios como el de Hawkey (2006) resaltan la importancia del nivel B2 para la comunicación efectiva en entornos académicos y profesionales.
Recomendaciones y futuros estudios
Referencias