Patrón de Evaluación y control de calidad en eLearning

Patrón de Evaluación y control de calidad del Diseño Instruccional en enseñanza virtual (e-Learning)

Bergin, J. (2000). Fourteen Pedagogical Patterns. In M. Devos & A. Rüping (Eds.), Proceedings of the

Fifth European Conference on Pattern Languages of Programs (EuroPLoP '2000) (pp. 1-49). Irsee,

Germany: UVK - Universitaetsverlag Konstanz.

● Nombre.

Realización de un patrón de diseño pedagógico para la evaluación del diseño instruccional vinculado a una acción formativa virtual. Versión 00. 08FEB13

● Thumbnail.

El diseño instruccional (DI) constituye una parte muy importante de una acción formativa. La evaluación del DI vinculado a una acción formativa virtual proporciona una herramienta clave de obtención de datos objetivos que permiten conocer el estado del proceso, tomar decisiones estratégicas basadas en hechos, establecer planes de futuro y distribuir racionablemente los recursos disponibles. Así mismo, el presente patrón puede ser utilizado como guía orientadora durante la fase de diseño instruccional de una acción formativa de nueva creación.

● Problema.

La aplicación del principio de mejora a las acciones formativas implica la realización periódica de actividades de evaluación del proceso formativo en su conjunto. El DI constituye una de las partes fundamentales de este proceso formativo y, como tal, ha de ser evaluada de forma eficaz y sistemática. La calidad de las decisión tomadas con objeto de mejorar los procesos formativos dependerá en gran medida de la calidad de la evaluación del DI asociado. En la actualidad no existe un documento de referencia que unifique el procedimiento ni garantice que éste goce de una calidad mínima. Este patrón establece directrices para garantizar una calidad mínima en la elaboración de las evaluaciones de los DI asociados a una acción formativa virtual.

Entre otros aspectos, este patrón unifica: estructura y contenido del documento guía de evaluación, documento registro de toma de datos, formato de presentación, ponderación y criterios de evaluación.

● Fuerzas.

En el ámbito docente existe una gran variedad de experiencias formativas de diferentes orígenes, propósitos, objetivos  o destinatarios. Actualmente comienzan a implantarse mecanismos de gestión de la calidad entre los que se encuentran las herramientas de evaluación del proceso formativo. El diseño instructivo constituye una parte importante de este proceso.  De lo dicho se desprende que la evaluación del diseño instructivo tiene gran repercusión en la calidad del proceso formativo. La creación de un patrón genérico de evaluación del diseño instruccional asociado a una acción docente pretende unificar los criterios de evaluación y garantizar una calidad mínima de los contenidos, su secuenciación, estructura, actividades y las tutorías asociadas.

● Solución.

Este patrón trata de unificar criterios relacionados con la evaluación del diseño instruccional asociado a una acción formativa virtual que tenga lugar. La evaluación se centra principalmente en:

                                                                                                                                

­          Información general asociada a la acción formativa. Existe un calendario detallado, se actualiza y es público.

­          Criterios de evaluación. Claro, definido y público.

­          Sistema ponderación. Coherente, claro, definido y público.

­          Desarrollo de la evaluación. Fuentes de obtención de los datos (documentación de la acción formativa, publicaciones, documentos internos, registros, actas…), Forma de obtención de los datos (observación directa, entrevistas, encuestas, reportes de actividad…

­          Valoración. Se establecen criterios de valoración de cumplimiento de requisitos, se definen claramente y son conocidos.

­          Adecuación. Se determina la adecuación de la acción formativa en base al tipo y desarrollo cognoscitivo  del alumno, al entorno virtual, al plan docente, a los medios disponibles, al número de alumnos y a los objetivos de aprendizaje establecidos.

­          Determinación de las necesidades formativas. Existe un procedimiento sistemático de determinación que tiene en cuenta la normativa y el punto de vista del cliente (centro docente, unidad…)

­          Objetivos de aprendizaje. Están establecidos, se corresponden con las necesidades y se comunican desde el inicio del curso. Criterios públicos de valoración de su consecución. Se describen, son observables y pueden ser cuantificados.

­          Contenidos. Permiten alcanzar los objetivos de aprendizaje teniendo en cuenta los alumno (madurez, desarrollo cognoscitivo, destrezas, formación, capacidad intelectual…), el contexto, al modelo pedagógico y la disposición de medios. Empleo equilibrado de los diferentes tipos de medios (escrito, audiovisuales,  multimedia…). Existe un procedimiento de determinación del nivel inicial del alumno. Lenguaje adecuado. Contenidos básicos a disposición del alumno. Se actualizan. Son motivadores. Poseen la suficiente calidad. Se indica desde el inicio cuáles son los recursos. Se ha tenido en cuenta las condiciones del aprendizaje (contenidos, entorno, alumnos…). Existen contenidos alternativos. Permiten el aprendizaje significativo.

­          secuenciación y estructura de los contenidos. Fomentan la colaboración y el trabajo colaborativo. El interface es amigable e intuitivo. Resulta fácil navegar por los contenidos. Los contenidos se presentan en unidades homogéneas, autocontenidas y manejables. Fomentan la interacción del alumno con los contenidos. Fácil orientación a través de los contenidos. Homogeneidad de presentación. Legibles. Jerarquizados de los general a lo particular- de fácil a complejo- …).

­          Entorno. Facilita las relaciones entre personajes protagonistas de la acción formativa. Simulan entornos conocidos, el diseño de pantallas amigable con zonas diferenciadas.

­          Actividades. Están definidas, son acordes con los contenidos y facilitan el logro de los objetivos de aprendizaje establecidos. Se corresponden con los conocimientos, destrezas y habilidades establecidas por los objetivos. Incluyen casos prácticos cuando son necesarios. Criterios públicos de valoración de las actividades. Naturaleza (información, investigación, resolución de problemas, casos prácticos…) y tipo de actividades. Duración.  Coordinadas (acorde a destrezas y esfuerzo cognoscitivo)

­          Elementos tecnológicos. Están disponibles. Son adecuados a las necesidades, se actualizan.

­          Tutorías. Existe un mecanismo de monitorización de actividad del alumno (tiempo, acceso a contenidos, correos, intervenciones en foros, temporización, gestión de entrega de trabajos…). Existen herramientas de comunicación tutor-alumno, son conocidas y se gestionan los perfiles de acceso. Existe un plan de tutoría, es conocido desde el inicio, se actualiza y está implantado. Existen mecanismos de orientación y retroalimentación, son conocidos y de fácil utilización. Requisitos de los tutores (formación, experiencia, habilidades…).

● Discusión/Consecuencias/Implementación.

El patrón para propuesto se ilustra en la tabla que se incluye en el presente apartado. Para la confección del mismo se ha seguido la secuenciación lógica del diseño instruccional: se parte de la determinación de las necesidades formativas, se establecen los objetivos a alcanzar a la finalización de la misma, se seleccionan y estructuran los contenidos educacionales, se establecen los recursos necesarios, se determinan las actividades necesarias para apoyar a los contenidos en el logro de los objetivos y se evalúa el proceso con objeto de mejorar continuamente su eficiencia. La evaluación de los requisitos puede seguir un orden diferente al indicado en la tabla a condición de que la valoración de cada uno se incluya en el concepto y subconcepto correspondiente a efectos de poderación.

Los criterios de ponderación indicados en la tabla son orientativos, se admiten ligeras modificaciones tratando siempre de mantener las proporciones. En caso de que alguno de los apartados no fuera aplicable a una acción formativa concreta, la ponderación se distribuirá entre el resto de conceptos siguiendo las proporciones establecidas en el patrón. La valoración final es el resultado de sumar los valores ponderados obtenidos en cada apartado.

Los criterios de valoración de cumplimiento de requisitos deben definir de forma objetiva las condiciones que ha de satisfacer éste para que se considere cumplido así como las relativas a su satisfacción parcial.    

La particularización de este patrón a una acción formativa concreta debe indicar, para cada uno de los requisitos, las fuentes de obtención de datos (generalmente: documentación de la acción formativa, publicaciones, normativa, documentación interna, registros del sistema, actas de calificaciones, currículos, libros de texto…) así como las formas de obtención de los mismos (generalmente: observación directa, entrevistas con protagonistas de la acción formativa, encuestas…)

A efectos de este patrón, un proceso está implantado si está definido, es conocido por los implicados y se lleva a cabo.

TABLA DE APLICACIÓN DEL PATRÓN DE DISEÑO PEDAGÓGICO PARA LA EVALUACIÓN DEL DISEÑO INSTRUCCIONAL VINCULADO A UNA ACCIÓN FORMATIVA VIRTUAL. VERSIÓN 00. 08FEB13

Concepto	Subconcepto	Requisitos	Ponderación
Necesidades	­Determinación de las necesidades formativas.	¿Existe un procedimiento sistemático de determinación de necesidades formativas?	15
		¿el procedimiento tiene en cuenta la normativa y el punto de vista del cliente (centro docente, unidad…)?
Objetivos	Objetivos de aprendizaje.	¿Se establecen los objetivos de aprendizaje y se comunican desde el inicio del curso?	15
		¿Se corresponden con las necesidades?
		¿Se describen con claridad, son observables y pueden ser cuantificados?
		¿Existen criterios públicos de valoración de su consecución?
Acción formativa	­Adecuación	¿Se determina la adecuación de la acción formativa en base al tipo y desarrollo cognoscitivo  del alumno?	7
		¿Y al entorno virtual, al plan docente, a los medios disponibles, al número de alumnos y a los objetivos de aprendizaje establecidos?
	Información general	¿Existe un calendario  donde se detalle la organización temporal de la acción formativa? ¿Está disponible para los alumnos? ¿se actualiza?	3
Contenidos	­Contenidos	¿Permiten alcanzar los objetivos de aprendizaje establecidos?	12
		¿Se tienen en cuenta el contexto, el modelo pedagógico y la disponibilidad de medios?
		¿Se determinan teniendo en cuenta las particularidades de los alumnos -madurez, desarrollo cognoscitivo, destrezas, formación, capacidad intelectual…)?
		¿Se actualizan? ¿Emplean un lenguaje adecuado? ¿Poseen la calidad suficiente?  ¿Son motivadores?
		¿Se facilitan contenidos alternativos para alumnos con baja disponibilidad horaria o dificultades de acceso al Sistema Gestor de Aprendizaje?
		¿Existen contenidos básicos mínimos a disposición del alumno?
		¿Los diferentes tipos de medios  (escrito, audiovisuales,  multimedia…) son empleados de manera equilibrada?
		Con vistas a adaptar los contenidos: ¿Se dispone de un procedimiento de determinación del nivel inicial del alumno?
		¿Son accesibles y legibles?¿Respetan la homogeneidad de presentación?
		¿Fomentan la colaboración, el aprendizaje significativo y el trabajo colaborativo?
	­secuenciación y estructura de los contenidos	¿El interface es amigable e intuitivo? ¿Resulta fácil la navegación y orientación a través de los contenidos (homogeneidad en la ubicación de los controles, estructura visible, empleo de hiperenlaces...)?	8
		¿Los contenidos se presentan en unidades homogéneas, auto contenidas y manejables?
		¿Se presentan de forma que fomentan la interacción del alumno con los contenidos?
		¿Se presentan Jerarquizados- de lo general a lo particular, de fácil a complejo-?
Recursos	Elementos tecnológicos	¿Se indica desde el inicio cuáles son los recursos?	5
		¿Están disponibles para el alumno?
		¿Se actualizan y son adecuados a las necesidades?
	­ Tutorías	¿Existe un mecanismo de monitorización de actividad del alumno (tiempo, acceso a contenidos, correos, intervenciones en foros, temporización, gestión de entrega de trabajos…)?	7
		¿Existen herramientas de comunicación tutor-alumno? ¿Están disponibles, son conocidas y se gestionan los perfiles asociados?
		¿Existe un plan de tutoría? ¿Está implantado? ¿Es conocido desde el inicio y se actualiza?
		¿Existen mecanismos de orientación y retroalimentación? ¿Son accesibles, conocidos y de fácil utilización?
		¿Existe un procedimiento de control de requisitos de los tutores (formación, experiencia, habilidades…)?¿Se lleva a cabo?
	­Entorno	¿Facilita las relaciones entre personajes protagonistas de la acción formativa?	3
		¿Tratan de simular entornos conocidos para el alumno (metáforas)?
		¿El diseño de las pantallas amigable, presenta  zonas diferenciadas, ubicación coherente de controles, es uniforme…?
Actividades	­Actividades	¿Están definidas, son acordes con los contenidos y facilitan el logro de los objetivos de aprendizaje establecidos?	15
		¿Son adecuadas a los conocimientos, destrezas y habilidades de los alumnos?
		¿Incluyen casos prácticos cuando son necesarios?
		¿Se han establecido criterios de valoración de las actividades? ¿Son conocidos por el alumno desde el inicio de la acción formativa?
Evaluación	­Criterios de evaluación.	¿Los criterios de evaluación están definidos? ¿Se explican claramente y son públicos?	3
	­ Sistema ponderación.	¿El sistema de ponderación de la evaluación está definido? ¿Es coherente, claro y público?	3
	­Desarrollo de la evaluación	¿Están establecidas las fuentes de obtención de los datos (documentación de la acción formativa, publicaciones, documentos internos, registros, actas…)?	4
		¿Están establecidas las formas de obtención de los datos (observación directa, entrevistas, encuestas, reportes de actividad…)?

● Recursos especiales. No se considera necesario el uso de recursos especiales para la aplicación del presente patrón.

● Patrones relacionados. No se relaciona con ningún patrón.

● Ejemplo. La aplicación de este patrón a acciones formativas de carácter periódico puede ser especialmente útil al proporcionar información relacionada con el grado de adecuación a cada nuevo grupo de alumnos, la actualización de los contenidos o la evolución del desempeño del proceso.

● Contraindicaciones. No se considera ninguna.

● Agradecimientos. A mi familia por la paciencia y el apoyo demostrados.

MMJ

Madrid a 9 de febrero de 2013.