INTRODUCCIÓN
1. MARCO DE REFERENCIA
2. UN MODELO DE AUTOEVALUACIÓN.
Diseño y proceso
de autoevaluación
3.VALORACIÓN DEL PROCESO DE AUTOEVALUACIÓN
MEDIANTE GRUPOS DE DISCUSIÓN
BIBLIOGRAFÍA
INTRODUCCIÓN
La
evaluación de la Calidad implica una preocupación de las organizaciones
públicas y privadas por satisfacer al cliente e ir mejorando
tanto en los procesos como en los resultados. Las organizaciones
que se inician en este camino de la Calidad se caracterizan
por una concienciación e interiorización de una filosofía de
Calidad, en la participación e implicación de sus Recursos Humanos,
en la mejora continua y en el propio aseguramiento de la Calidad.
Pero los temas de Calidad no son en ningún modo estáticos
e inmutables sino que, todo lo contrario, han ido evolucionando
y madurando al mismo ritmo que lo hacían las propias organizaciones.
En los años 80, las empresas se centraron en la calidad del
producto y del servicio apostando por sistemas de calidad tipo
ISO 9000 que se fundamentaban en el exhaustivo control del producto.
Diez años más tarde, incorporaron aspectos fundamentales como
la satisfacción del cliente, el liderazgo y la participación
en las organizaciones y su orientación a la mejora continua
a través de los ciclos PDCA (Planificar, Implantar, Chequear
y Actuar) en lo que se denominó la Calidad Total. Pero la evolución
de la calidad no se detuvo aquí.
En estos últimos años, la Calidad Total ha evolucionado
a lo que se denominan Modelos de Excelencia Empresarial. Estos
modelos, entre los que destacan los Premios Malcom Baldrige
en Estados Unidos, Deming en Japón o EFQM (European Foundation
for Quality Management) en Europa, incorporan a los modelos
anteriores la autoevaluación. Así, por ejemplo, el Modelo de
la EFQM, se fundamentaría en los siguientes aspectos:
- En
un enfoque riguroso y estructurado sustentado en nueve criterios
de excelencia.
- En
una evaluación basada en hechos contrastables y no en apreciaciones
personales y subjetivas.
- En
mediciones objetivas que permiten observar su evolución a
través del tiempo.
- En
la realización de comparaciones entre diferentes organizaciones
de distintos ámbitos e incluso con otras áreas, departamentos
o unidades de la misma organización
Estos modelos de excelencia han calado hondo en nuestras
organizaciones y las universidades no se han quedado al margen.
La
búsqueda de la mejora continua en la enseñanza universitaria
para satisfacer las necesidades planteadas por la sociedad ha
derivado en la aplicación de estos métodos y conceptos de calidad
en la educación superior.
En
este contexto, es obvio que para que exista un sistema de calidad
en las universidades, previamente se ha de analizar el mundo
académico y establecer unos objetivos globales, por los que,
las universidades se orienten en la mejora de sus procesos y
sistemas de calidad. Este análisis, en las universidades españolas
fue realizado, en un primer momento por el Consejo de Universidades
y, más tarde por la ANECA (Agencia Nacional de Evaluación de
la Calidad y Acreditación).
En
ambas propuestas, se establece una autoevaluación que trata
de un modo introspectivo la salud de las organizaciones que
se tome de punto de partida para una orientación hacia la Calidad
(Buendía, 1996; Crespo, Anduiza, Méndez y Méndez, 1999; De Miguel,
1996; Tejedor, 1997).
1.
MARCO DE REFERENCIA
En
un primer momento, el programa de Evaluación Institucional de
la Calidad de las Universidades fue promovido por el Consejo
de Universidades y a propuesta del Excmo. Sr. Ministro de Educación
y Ciencia (Real Decreto de 1 de Diciembre de 1995). En dicho
acuerdo se establecía que a través de la Guía de Evaluación
se dispondrá de la preparación, coordinación y desarrollo del
Plan Nacional de la Calidad de las Universidades.
Todas
las acciones que se desprendían de este Plan tenían como finalidad
la implantación de una evaluación general del Sistema Educativo.
La metodología de evaluación definida, tal y como se prevé en
el contexto europeo y en el Plan Nacional de la Calidad de las Universidades,
combinaba la Autoevaluación (Self-evaluation)
con la Evaluación Externa (Peer-evaluation).
La
autoevaluación, como proceso interno que es, se lleva a cabo
por la propia institución. Se trata de una reflexión de carácter
participativo acerca de la realidad de la institución en relación
con la calidad.
Más
tarde, La Agencia Nacional de Evaluación de la Calidad y Acreditación
(ANECA) tomó el relevo en los temas de Calidad en la educación
superior siguiendo los temas relacionados con las evaluaciones
institucionales y dio un peso fundamental a la metodología de
autoevaluación.
La
ANECA es una fundación estatal creada por el Ministerio de Educación,
Cultura y Deporte, (autorización de Consejo de Ministros de
19 de julio de 2002), en cumplimiento de lo establecido en el
artículo 32 de la L.O.U. (Ley Orgánica 6/2001 de Universidades,
de 21 de diciembre).
Tal
y como la propia ANECA señala, sus principales objetivos son:
- Medir
y hacer público el rendimiento de la actividad universitaria,
para facilitar la toma de decisiones y la rendición de cuentas
a la sociedad.
- Impulsar la competitividad, comparabilidad
y transparencia
de las universidades para mejorar el nivel de calidad del
sistema universitario en su conjunto y de las universidades
en particular.
- Potenciar la mejora continua de la calidad docente, investigadora y de gestión
de las instituciones universitarias.
- Aportar información cualificada y comparable a las Administraciones
para facilitar la toma de decisiones basada en elementos objetivos
y fiables.
- Fomentar
la competitividad de las universidades españolas en el ámbito
europeo e internacional.
- Dotar al sistema universitario
español de un marco para asumir los compromisos del nuevo
espacio universitario europeo.
- Proporcionar
información a los estudiantes, sus familias y al conjunto
de la sociedad sobre la calidad de los centros universitarios.
- Estimular
a las universidades a la rendición transparente de cuentas
y al compromiso social.
Entre
los diferentes programas o actividades que desarrolla la ANECA
se encuentra el Plan de Evaluación Institucional (PEI). El PEI
evalúa las titulaciones universitarias de carácter oficial y que
tienen validez en todo el territorio nacional. Esta evaluación
utiliza criterios similares a los utilizados por el Modelo de
Excelencia EFQM y específicamente son los siguientes: Programa
formativo, Organización de la enseñanza, Recursos humanos, Recursos
materiales, Proceso Formativo y Resultados.
El
PEI es un proceso de diagnóstico de las fortalezas y debilidades
que concluye con unas propuestas de mejora. El objetivo de estas
propuestas de mejora es la de aumentar la calidad de la titulación
evaluada y, tal y como señala la ANECA en su guía, la de favorecer
la obtención de la homologación en su momento.
Este
proceso de evaluación está organizado en tres fases: Autoevaluación,
Evaluación externa e Informe final.
En
la fase de Autoevaluación, la titulación evaluada, a través
del Comité de Autoevaluación interno, describe y valora su situación
respecto a los criterios establecidos enunciados anteriormente,
seleccionando y proponiendo los planes de mejora que consideran
que deben ponerse en marcha. El resultado de esta fase es el
Informe de Autoevaluación.
En
este informe se debe plasmar la realidad de la titulación a
través de la reflexión, descripción, el análisis y de la valoración
de todos los factores que inciden en la misma. La redacción
de este informe es un proceso complejo que requiere la participación
de todos los grupos de interés en la titulación (docentes, no
docentes, alumnos…), y que se recomienda que debe ser el liderado
por el equipo directivo de la titulación y
contar con el apoyo y respaldo del Consejo de Gobierno de la
propia Universidad.
Mediante
la autoevaluación, la institución conoce la situación de la
enseñanza respecto de los criterios del modelo propuesto por
la ANECA, determinando cuáles son sus fortalezas y debilidades,
lo que constituye el elemento de partida para proponer el plan
de mejora. En opinión de Bolivar (1994),
en la autoevaluación, el centro genera procesos y establece
formas de trabajo dirigidas a la revisión de lo cotidiano a
favor del logro de un plan de mejora.
La
Revisión por Pares (Peer-review) es el proceso más utilizado
en la realización de la evaluación de las instituciones universitarias.
Este procedimiento ha sido utilizado, de forma extensa, tanto
para la acreditación como para la mejora de las unidades de
enseñanza en los países anglosajones (House, 1993; Kells, 1992).
2.- UN MODELO DE AUTOEVALUACIÓN.
Para
el desarrollo de la evaluación interna proponemos un enfoque
metodológico cualitativo, orientado a recoger el discurso social
de los agentes implicados (alumnos, profesores, y personal de
administración y servicios) de la universidad, mediante el análisis
de Grupos de Discusión y la aplicación de Cuestionarios de Estudio.
La Universidad de Granada,
en su propio proceso de autoevaluación, planificó la creación
de Grupos de Discusión para autoevaluar la calidad de la enseñanza
en todas sus titulaciones. El propósito de este procedimiento
es el de obtener información de naturaleza cualitativa de un
número limitado y predeterminado de participantes.
Así pues; se llevó a cabo una
meta evaluación de todo el proceso de evaluación institucional
desde la selección del contactador o el diseño del grupo hasta
la interpretación del discurso en el grupo emitido. Por último,
se desarrolló un registro escrito de los pasos dados hasta completar
el informe y de los problemas metodológicos, prácticos, teóricos
ó de cualquier otro tipo que fueron surgiendo y la forma de
cómo se fueron resolviendo.
Diseño y proceso de autoevaluación
El Grupo de Discusión propicia
la producción libre del discurso a través de la discusión del
tema propuesto, en éste caso sobre la calidad de la enseñanza;
reproduciendo en su composición y dinámica las situaciones sociales
de referencia y confrontación ideológica de las actitudes y
representaciones sociales respecto a la calidad.
El proceso de esta metodología
incluiría:
o
Selección de los participantes
en los grupos e discusión. Los participantes se deben seleccionar
atendiendo al curso, al turno (de mañana ó tarde), al género,
al tener o no asignaturas pendientes y a su participación
ó no en órganos de representación. Es decir, el diseño
de la composición del grupo se realiza teniendo en cuenta todas
las características sociodemográficas que se considerarn relevantes
a la hora de generar el discurso social.
o
Categorización: En la unidad
de evaluación a realizar se establece una planificación de categorías
acorde con el tema a investigar. Siguiendo esta metodología
propia de análisis se identifican fracciones en la dinámica
de grupos.
El análisis de datos consiste
en examinar, categorizar, tabular ó reorganizar, de alguna manera,
la evidencia empírica de modo que de cuenta de los propósitos
iniciales del estudio. (Yin, 1984).
Atendiendo al desarrollo del
discurso del grupo en la Universidad de Granada se identificaron
cuatro fracciones ó subgrupos claramente diferenciados:
§
Fracción vocacional
§
Fracción institucional
§
Fracción crítica
§
Fracción independiente
Para la construcción de las
fracciones se atendió a los intereses de los participantes dentro
de la titulación, a los objetivos que se pretenden conseguir
con ella y a su comportamiento meritocrático ó no mientras la
cursan.
Respecto al esquema interpretativo
del grupo; la dinámica sintagmática u orden de aparición de
los temas emitidos por el grupo sigue una proximidad semántica,
un plano sintagmático o hilo argumental.
A partir de estos temas se
estableció el esquema interpretativo y las categorías de análisis
que genera el grupo para, a partir de ellas, conocer su visión
sobre la calidad y el proceso de enseñanza-aprendizaje.
Entre los resultados más significativos
resultantes de esta metodología destacan:
|
Temas relacionados
|
|
Motivaciones
y objetivos versus Salidas profesionales y valor otorgado
a la situación
|
|
Aspectos negativos
|
|
Profesorado
Falta
de información
Proceso
de enseñanza-aprendizaje.
Planes
de estudio.
Secretaría,
problemas burocráticos y organizativos
|
|
Posibilidades de mejora
|
|
Posibilidades
de participación.
Asunción
de responsabilidades por todos los actores (Universidad,
profesorado y alumnos)
Planteamientos
de cambios hacia la mejora.
|
A través de la repercusión
de la implicación activa de los agentes educativos parece conveniente
considerar los elementos que se han de producir para mejorar
el nivel de preocupación de los alumnos como consecuencia de
la actuación docente.
Profundizando en ésta idea
(Senge, 1990; Senge et al., 1995; Badoux, 1995; Langford y Cleary,
1995) identifican la evolución relacional entre profesor/alumno
de la siguiente forma:
o
El Profesor como proveedor de
conocimiento y el Alumno como receptor pasivo (HACER POR…)
o
El Profesor como entrenador y
experto y el Alumno como sujeto partícipe del aprendizaje (HACER CON…)
o
El Profesor como facilitador,
consejero y provocador y el Alumno como inicio del aprendizaje
(CAPACITAR)
Para el aseguramiento de la
utilidad del proceso de autoevaluación interna es indispensable
que todos los agentes que intervienen en el proceso educativo
participen en la valoración de las unidades evaluadas. Esta
posibilidad alude, precisamente, a la relación de aspectos fuertes
y débiles seleccionados como punto de partida para potenciar
ó corregir futuras experiencias.
3.- VALORACIÓN DEL PROCESO DE AUTOEVALUACIÓN
MEDIANTE GRUPOS DE DISCUSIÓN
La realidad de la experiencia
de autoevaluación mediante los grupos de discusión proporciona
una valoración en torno a la problemática planteada.
Los puntos de referencia que
ha utilizado la universidad de Granada han sido varios siendo
preferentes los propios alumnos, docentes y personal de administración
y servicios de la institución, a quienes se les ha pedido que
aporten “ideas para garantizar una educación de calidad”.
En este contexto, la evaluación
interna se constituye como proceso, interno y participativo
de reflexión, necesario para reforzar actuaciones encaminadas
a la búsqueda de mejora. Esta realidad de autoevaluación, en
su fundamentación, atiende a la elaboración de un “Informe Final”
que refleja el trabajo de los comités respecto a las percepciones
y valoraciones realizadas sobre las unidades de evaluación.
La disposición de este informe
supone un ejercicio de promoción de la mejora que necesita del
complemento de evaluación externa para completar la eficacia
del ejercicio de evaluación institucional.
Se establece, de esta manera,
un proceso de mejora continua de la calidad con el objeto de
identificar y determinar las expectativas que implican dicha
mejora.
Ambas herramientas de evaluación:
autoevaluación (self evaluation) y evaluación externa (peer
review) no sólo constituyen un elemento de profundización en
la cultura evaluativa de la calidad sino que también aportan
credibilidad sobre los procesos de evaluación institucional.
Las actuaciones desarrolladas,
en este sentido, garantizan el impacto real de las decisiones
que la universidad adopte sobre la unidad evaluada.
BIBLIOGRAFÍA
Badoux, B. (1995). Practising the learning
organization. Seminario organizado por Peat
Marwick y el Management Center Europe. Universidad Comercial
de Deusto. Bilbao, 18 y 19 de Diciembre.
Bolivar,
A. (1994). La evaluación de centros: entre el control administrativo
y la mejora interna, J.M. ESCUDERO y M.T. GONZÁLEZ, Profesores
y escuela. ¿Hacia una reconversión de los centros y la función
docente? Madrid: Ediciones Pedagógicas.
Buendía,
L. (1996). Las ayudas del profesor en el aprendizaje cooperativo
y su influencia en la evaluación criterial. Revista
de Investigación Educativa, 14 (2), 95-119.
Consejo
de Universidades (1996). Plan Nacional de Evaluación de la Calidad
de las Universidades: Guía de Evaluación. Madrid: Consejo de
Universidades. Secretaría General.
Consejo
de Universidades (1997). Informe sobre la primera convocatoria
del Plan Nacional de Evaluación y propuesta para la realización
de la segunda. Madrid: Consejo de Universidades. Secretaría
General.
Consejo
de Universidades (1998). Plan Nacional de Evaluación de la Calidad
de las Universidades. Guía de Evaluación. Madrid: Consejo de
Universidades. Secretaría General.
Crespo,
I., Anduiza, E. y Méndez, M. (1999) Metodología de la Ciencia
Política. CIS. Universidad de Lima.
De
Miguel, M. (1996). La evaluación de las instituciones universitarias.
En F.J. Tejedor y J. L. Rodríguez Dieguez (eds.), Evaluación
Educativa II. Evaluación Institucional. Salamanca: IUCE.
De
Miguel, M., Mora, J. G. y Rodríguez, S. (Eds.) (1991).
La evaluación de las instituciones universitarias. Madrid:
Consejo de Universidades.
House, E.R. (1993). Professional
evaluation: social impact and political consequences. Newbury Park, CA: Sange.
Kells, H.R. (1992). An analysis of the nature and
recent development of performance indicators in higher education.
Higher Education Management,
4 (2), 131-138.
Landford, D.P. y Cleary, B.A. (1995). Orchestrating learning with quality. ASQC Quality Press. Milwaukee:
Wisconsin.
Real
Decreto 1947/1995, de 1 de diciembre, por el que se establece
el Plan Nacional de Evaluación de la Calidad de las Universidades.
(BOE núm. 294 de 9 de diciembre de 1995).
Senge, P. (1990). The
fifth discipline: The art and practice of the learning organization.
Nueva York: Doubleday Currency.
Senge, P., Kleiner, A., Roberts, C., Ross, R., &
Smith, B. (1994). The fifth discipline fieldbook: Strategies
and tools for building a learning organization. Nueva York:
Doubleday Currency.
Yin, R.K. (1997). Case study evaluations. In D.
ROG & D. FOURNIER (Eds.). Progress
and future directions in evaluation: Perspectives on theory,
practice and methods. New directions for evaluation. San Francisco: Jossey-Bass.
Imprimir