INTRODUCCIÓN

1. MARCO DE REFERENCIA

2. UN MODELO DE AUROEVALUACIÓN

     Diseño y proceso de autoevaluación

3.VALORACIÓN DEL PROCESO DE AUTOEVALUACIÓN MEDIANTE GRUPOS DE DISCUSIÓN

BIBLIOGRAFÍA

INTRODUCCIÓN

La evaluación de la Calidad implica una preocupación de las organizaciones  públicas y privadas por satisfacer al cliente e ir mejorando tanto en los procesos como en los resultados. Las organizaciones que se inician en este camino de la Calidad se caracterizan por una concienciación e interiorización de una filosofía de Calidad, en la participación e implicación de sus Recursos Humanos, en la mejora continua y en el propio aseguramiento de la Calidad.  

Pero los temas de Calidad no son en ningún modo estáticos e inmutables sino que, todo lo contrario, han ido evolucionando y madurando al mismo ritmo que lo hacían las propias organizaciones. En los años 80, las empresas se centraron en la calidad del producto y del servicio apostando por sistemas de calidad tipo ISO 9000 que se fundamentaban en el exhaustivo control del producto. Diez años más tarde, incorporaron aspectos fundamentales como la satisfacción del cliente, el liderazgo y la participación en las organizaciones y su orientación a la mejora continua a través de los ciclos PDCA (Planificar, Implantar, Chequear y Actuar) en lo que se denominó la Calidad Total. Pero la evolución de la calidad no se detuvo aquí.  

En estos últimos años, la Calidad Total ha evolucionado a lo que se denominan Modelos de Excelencia Empresarial. Estos modelos, entre los que destacan los Premios Malcom Baldrige en Estados Unidos, Deming en Japón o EFQM (European Foundation for Quality Management) en Europa, incorporan a los modelos anteriores la autoevaluación. Así, por ejemplo, el Modelo de la EFQM, se fundamentaría en los siguientes aspectos: 

• En un enfoque riguroso y estructurado sustentado en nueve criterios de excelencia.
• En una evaluación basada en hechos contrastables y no en apreciaciones personales y subjetivas.
• En mediciones objetivas que permiten observar su evolución a través del tiempo.
• En la realización de comparaciones entre diferentes organizaciones de distintos ámbitos e incluso con otras áreas, departamentos o unidades de la misma organización 

Estos modelos de excelencia han calado hondo en nuestras organizaciones y las universidades no se han quedado al margen. La búsqueda de la mejora continua en la enseñanza universitaria para satisfacer las necesidades planteadas por la sociedad ha derivado en la aplicación de estos métodos y conceptos de calidad en la educación superior. 

En este contexto, es obvio que para que exista un sistema de calidad en las universidades, previamente se ha de analizar el mundo académico y establecer unos objetivos globales, por los que, las universidades se orienten en la mejora de sus procesos y sistemas de calidad. Este análisis, en las universidades españolas fue realizado, en un primer momento por el Consejo de Universidades y, más tarde por la ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación). 

En ambas propuestas, se establece una autoevaluación que trata de un modo introspectivo la salud de las organizaciones que se tome de punto de partida para una orientación hacia la Calidad (Buendía, 1996; Crespo, Anduiza, Méndez y Méndez, 1999; De Miguel, 1996; Tejedor, 1997). 

[^ SUBIR]

1.     MARCO DE REFERENCIA

En un primer momento, el programa de Evaluación Institucional de la Calidad de las Universidades fue promovido por el Consejo de Universidades y a propuesta del Excmo. Sr. Ministro de Educación y Ciencia (Real Decreto de 1 de Diciembre de 1995). En dicho acuerdo se establecía que a través de la Guía de Evaluación se dispondrá de la preparación, coordinación y desarrollo del Plan Nacional de la Calidad de las Universidades. 

Todas las acciones que se desprendían de este Plan tenían como finalidad la implantación de una evaluación general del Sistema Educativo. La metodología de evaluación definida, tal y como se prevé en el contexto europeo y en el  Plan Nacional de la Calidad de las Universidades, combinaba la Autoevaluación (Self-evaluation) con la Evaluación Externa (Peer-evaluation). 

La autoevaluación, como proceso interno que es, se lleva a cabo por la propia institución. Se trata de una reflexión de carácter participativo acerca de la realidad de la institución en relación con la calidad.  

Más tarde, La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) tomó el relevo en los temas de Calidad en la educación superior siguiendo los temas relacionados con las evaluaciones institucionales y dio un peso fundamental a la metodología de autoevaluación. 

La ANECA es una fundación estatal creada por el Ministerio de Educación, Cultura y Deporte, (autorización de Consejo de Ministros de 19 de julio de 2002), en cumplimiento de lo establecido en el artículo 32 de la L.O.U. (Ley Orgánica 6/2001 de Universidades, de 21 de diciembre). 

Tal y como la propia ANECA señala, sus principales objetivos son: 

• Medir y hacer público el rendimiento de la actividad universitaria, para facilitar la toma de decisiones y la rendición de cuentas a la sociedad.
• Impulsar la competitividad, comparabilidad y transparencia de las universidades para mejorar el nivel de calidad del sistema universitario en su conjunto y de las universidades en particular.
• Potenciar la mejora continua de la calidad docente, investigadora y de gestión de las instituciones universitarias.
• Aportar información cualificada y comparable a las Administraciones para facilitar la toma de decisiones basada en elementos objetivos y fiables.
• Fomentar la competitividad de las universidades españolas en el ámbito europeo e internacional.
• Dotar al sistema universitario español de un marco para asumir los compromisos del nuevo espacio universitario europeo.
• Proporcionar información a los estudiantes, sus familias y al conjunto de la sociedad sobre la calidad de los centros universitarios.
• Estimular a las universidades a la rendición transparente de cuentas y al compromiso social. 

Entre los diferentes programas o actividades que desarrolla la ANECA se encuentra el Plan de Evaluación Institucional (PEI). El PEI evalúa las titulaciones universitarias de carácter oficial y que tienen validez en todo el territorio nacional. Esta evaluación utiliza criterios similares a los utilizados por el Modelo de Excelencia EFQM y específicamente son los siguientes: Programa formativo, Organización de la enseñanza, Recursos humanos, Recursos materiales, Proceso Formativo y Resultados. 

El PEI es un proceso de diagnóstico de las fortalezas y debilidades que concluye con unas propuestas de mejora. El objetivo de estas propuestas de mejora es la de aumentar la calidad de la titulación evaluada y, tal y como señala la ANECA en su guía, la de favorecer la obtención de la homologación en su momento. 

Este proceso de evaluación está organizado en tres fases: Autoevaluación, Evaluación externa e Informe final.  

En la fase de Autoevaluación, la titulación evaluada, a través del Comité de Autoevaluación interno, describe y valora su situación respecto a los criterios establecidos enunciados anteriormente, seleccionando y proponiendo los planes de mejora que consideran que deben ponerse en marcha. El resultado de esta fase es el Informe de Autoevaluación. 

En este informe se debe plasmar la realidad de la titulación a través de la reflexión, descripción, el análisis y de la valoración de todos los factores que inciden en la misma. La redacción de este informe es  un proceso complejo que requiere la participación de todos los grupos de interés en la titulación (docentes, no docentes, alumnos…), y que se recomienda que debe ser el liderado por el equipo directivo de la titulación  y contar con el apoyo y respaldo del Consejo de Gobierno de la propia Universidad. 

Mediante la autoevaluación, la institución conoce la situación de la enseñanza respecto de los criterios del modelo propuesto por la ANECA, determinando cuáles son sus fortalezas y debilidades, lo que constituye el elemento de partida para proponer el plan de mejora. En opinión de Bolivar (1994), en la autoevaluación, el centro genera procesos y establece formas de trabajo dirigidas a la revisión de lo cotidiano a favor del logro de un plan de mejora. 

La Revisión por Pares (Peer-review) es el proceso más utilizado en la realización de la evaluación de las instituciones universitarias. Este procedimiento ha sido utilizado, de forma extensa, tanto para la acreditación como para la mejora de las unidades de enseñanza en los países anglosajones (House, 1993; Kells, 1992).  

[^ SUBIR]

2.- UN MODELO DE AUTOEVALUACIÓN.

Para el desarrollo de la evaluación interna proponemos un enfoque metodológico cualitativo, orientado a recoger el discurso social de los agentes implicados (alumnos, profesores, y personal de administración y servicios) de la universidad, mediante el análisis de Grupos de Discusión y la aplicación de Cuestionarios de Estudio. 

La Universidad de Granada, en su propio proceso de autoevaluación, planificó la creación de Grupos de Discusión para autoevaluar la calidad de la enseñanza en todas sus titulaciones. El propósito de este procedimiento es el de obtener información de naturaleza cualitativa de un número limitado y predeterminado de participantes.        

Así pues; se llevó a cabo una meta evaluación de todo el proceso de evaluación institucional desde la selección del contactador o el diseño del grupo hasta la interpretación del discurso en el grupo emitido. Por último, se desarrolló un registro escrito de los pasos dados hasta completar el informe y de los problemas metodológicos, prácticos, teóricos ó de cualquier otro tipo que fueron surgiendo y la forma de cómo se fueron resolviendo. 

[^ SUBIR]

Diseño y proceso de autoevaluación

El Grupo de Discusión propicia la producción libre del discurso a través de la discusión del tema propuesto, en éste caso sobre la calidad de la enseñanza; reproduciendo en su composición y dinámica las situaciones sociales de referencia y confrontación ideológica de las actitudes y representaciones sociales respecto a la calidad. 

El proceso de esta metodología incluiría:

o        Selección de los participantes en los grupos e discusión. Los participantes se deben seleccionar atendiendo al curso, al turno (de mañana ó tarde), al género, al tener o no asignaturas pendientes y a su participación  ó no en órganos de representación. Es decir, el diseño de la composición del grupo se realiza teniendo en cuenta todas las características sociodemográficas que se considerarn relevantes a la hora de generar el discurso social.

o        Categorización: En la unidad de evaluación a realizar se establece una planificación de categorías acorde con el tema a investigar. Siguiendo esta metodología propia de análisis se identifican fracciones en la dinámica de grupos.  

El análisis de datos consiste en examinar, categorizar, tabular ó reorganizar, de alguna manera, la evidencia empírica de modo que de cuenta de los propósitos iniciales del estudio. (Yin, 1984). 

Atendiendo al desarrollo del discurso del grupo en la Universidad de Granada se identificaron cuatro fracciones ó subgrupos claramente diferenciados:

§         Fracción vocacional

§         Fracción institucional

§         Fracción crítica

§         Fracción independiente 

Para la construcción de las fracciones se atendió a los intereses de los participantes dentro de la titulación, a los objetivos que se pretenden conseguir con ella y a su comportamiento meritocrático ó no mientras la cursan. 

Respecto al esquema interpretativo del grupo; la dinámica sintagmática u orden de aparición de los temas emitidos por el grupo sigue una proximidad semántica, un plano sintagmático o hilo argumental. 

A partir de estos temas se estableció el esquema interpretativo y las categorías de análisis que genera el grupo para, a partir de ellas, conocer su visión sobre la calidad y el proceso de enseñanza-aprendizaje. 

Entre los resultados más significativos resultantes de esta metodología destacan:

A través de la repercusión de la implicación activa de los agentes educativos parece conveniente considerar los elementos que se han de producir para mejorar el nivel de preocupación de los alumnos como consecuencia de la actuación docente. 

Profundizando en ésta idea (Senge, 1990; Senge et al., 1995; Badoux, 1995; Langford y Cleary, 1995) identifican la evolución relacional entre profesor/alumno de la siguiente forma: 

o        El Profesor como proveedor de conocimiento y el Alumno como receptor pasivo (HACER POR…)

o        El Profesor como entrenador y experto y el Alumno como sujeto partícipe del aprendizaje (HACER CON…)

o        El Profesor como facilitador, consejero y provocador y el Alumno como inicio del aprendizaje (CAPACITAR) 

Para el aseguramiento de la utilidad del proceso de autoevaluación interna es indispensable que todos los agentes que intervienen en el proceso educativo participen en la valoración de las unidades evaluadas. Esta posibilidad alude, precisamente, a la relación de aspectos fuertes y débiles seleccionados como punto de partida para potenciar ó corregir futuras experiencias. 

[^ SUBIR]

3.- VALORACIÓN DEL PROCESO DE AUTOEVALUACIÓN MEDIANTE GRUPOS DE DISCUSIÓN

La realidad de la experiencia de autoevaluación mediante los grupos de discusión proporciona una valoración en torno a la problemática planteada. 

Los puntos de referencia que ha utilizado la universidad de Granada han sido varios siendo preferentes los propios alumnos, docentes y personal de administración y servicios de la institución, a quienes se les ha pedido que aporten “ideas para garantizar una educación de calidad”. 

En este contexto, la evaluación interna se constituye como proceso, interno y participativo de reflexión, necesario para reforzar actuaciones encaminadas a la búsqueda de mejora. Esta realidad de autoevaluación, en su fundamentación, atiende a la elaboración de un “Informe Final” que refleja el trabajo de los comités respecto a las percepciones y valoraciones realizadas sobre las unidades de evaluación. 

La disposición de este informe supone un ejercicio de promoción de la mejora que necesita del complemento de evaluación externa para completar la eficacia del ejercicio de evaluación institucional.        

Se establece, de esta manera, un proceso de mejora continua de la calidad con el objeto de identificar y determinar las expectativas que implican dicha mejora.

Ambas herramientas de evaluación: autoevaluación (self evaluation) y evaluación externa (peer review) no sólo constituyen un elemento de profundización en la cultura evaluativa de la calidad sino que también aportan credibilidad sobre los procesos de evaluación institucional. 

Las actuaciones desarrolladas, en este sentido, garantizan el impacto real de las decisiones que la universidad adopte sobre la unidad evaluada.

[^ SUBIR]  

BIBLIOGRAFÍA

Badoux, B. (1995). Practising the learning organization. Seminario organizado por Peat Marwick y el Management Center Europe. Universidad Comercial de Deusto. Bilbao, 18 y 19 de Diciembre. 

Bolivar, A. (1994). La evaluación de centros: entre el control administrativo y la mejora interna, J.M. ESCUDERO y M.T. GONZÁLEZ, Profesores y escuela. ¿Hacia una reconversión de los centros y la función docente? Madrid: Ediciones Pedagógicas. 

Buendía, L. (1996). Las ayudas del profesor en el aprendizaje cooperativo y su influencia en la evaluación criterial. Revista de Investigación Educativa, 14 (2), 95-119. 

Consejo de Universidades (1996). Plan Nacional de Evaluación de la Calidad de las Universidades: Guía de Evaluación. Madrid: Consejo de Universidades. Secretaría General. 

Consejo de Universidades (1997). Informe sobre la primera convocatoria del Plan Nacional de Evaluación y propuesta para la realización de la segunda. Madrid: Consejo de Universidades. Secretaría General. 

Consejo de Universidades (1998). Plan Nacional de Evaluación de la Calidad de las Universidades. Guía de Evaluación. Madrid: Consejo de Universidades. Secretaría General.

Crespo, I., Anduiza, E. y Méndez, M. (1999) Metodología de la Ciencia Política. CIS. Universidad de Lima. 

De Miguel, M. (1996). La evaluación de las instituciones universitarias. En F.J. Tejedor y J. L. Rodríguez Dieguez (eds.), Evaluación Educativa II. Evaluación Institucional. Salamanca: IUCE. 

De Miguel, M., Mora, J. G. y Rodríguez, S. (Eds.) (1991). La evaluación de las instituciones universitarias. Madrid: Consejo de Universidades. 

House, E.R. (1993). Professional evaluation: social impact and political consequences. Newbury Park, CA: Sange. 

Kells, H.R. (1992). An analysis of the nature and recent development of performance indicators in higher education. Higher Education Management, 4 (2), 131-138. 

Landford, D.P. y Cleary, B.A. (1995). Orchestrating learning with quality. ASQC Quality Press. Milwaukee: Wisconsin. 

Real Decreto 1947/1995, de 1 de diciembre, por el que se establece el Plan Nacional de Evaluación de la Calidad de las Universidades. (BOE núm. 294 de 9 de diciembre de 1995). 

Senge, P. (1990). The fifth discipline: The art and practice of the learning organization. Nueva York: Doubleday Currency. 

Senge, P., Kleiner, A., Roberts, C., Ross, R., & Smith, B. (1994). The fifth discipline fieldbook: Strategies and tools for building a learning organization. Nueva York: Doubleday Currency. 

Yin, R.K. (1997). Case study evaluations. In D. ROG & D. FOURNIER (Eds.). Progress and future directions in evaluation: Perspectives on theory, practice and methods. New directions for evaluation. San Francisco: Jossey-Bass.

[^ SUBIR]