Medición de los resultados de las universidades públicas españolas y los sistemas universitarios regionales



Descargar 455.17 Kb.
Página3/9
Fecha de conversión29.04.2018
Tamaño455.17 Kb.
1   2   3   4   5   6   7   8   9

2.3. Principios de Berlín y recomendaciones europeas


Una pregunta fundamental al construir un ranking universitario es qué criterios deben tenerse presentes en su elaboración. El documento «Principios de Berlín sobre los Rankings de las Instituciones Superiores» (Centrum für Hochschulentwicklung, CHE 2006) ofrece referencias valiosas para responder a esta cuestión, enumerando ocho principios básicos que se resumen así:

    1. Indicar claramente cuál es el público objetivo del ranking.

    2. Ser claro acerca de qué mide cada indicador utilizado.

    3. Utilizar medidas de resultados (outcomes) en lugar de medidas de esfuerzo (inputs).

    4. Ser metodológicamente escrupulosos en la elaboración del ranking.

    5. Especificar los problemas surgidos y los posibles errores.

    6. Prestar atención a las diferencias culturales al puntuar instituciones de distintos países.

    7. Tener en cuenta los sesgos de las distintas áreas al compararlas.

    8. Mantener un estándar ético alto, dado el impacto que tienen los rankings.

Por otra parte, los principios fundamentales que deberían regir el sistema de rankings, según la European University Association y del Grupo Internacional de Expertos en Rankings (CHE 2006), son:

    1. Atender al carácter multidimensional de las universidades

    2. Respetar la perspectiva del usuario, potenciando las aplicaciones web que le permitan expresar sus preferencias.

    3. Ofrecer una visión global, cubriendo todas las instituciones

    4. Atender a la diversidad, teniendo en cuenta que las actividades y el presupuesto de las instituciones son muy variables.

    5. Reconocer la variedad de disciplinas, para medir el desempeño de la de institución y por campos del conocimiento.

    6. Independencia, asegurando que el ranking es desarrollado e implementado por una institución independiente.

    7. Sostenibilidad de los indicadores, en el tiempo y financieramente, que no requiera cobrar a los estudiantes por el uso de los rankings.



  1. MEDICIÓN DE LOS RESULTADOS DE LAS UNIVERSIDADES ESPAÑOLAS: U-RANKING

3.1. Descripción de U-Ranking


El proyecto U-Ranking, Indicadores Sintéticos del Sistema Universitario Español (ISSUE), elaborado por el Ivie y la Fundación BBVA, mide los resultados de las universidades públicas españolas, teniendo en cuenta los criterios mencionados y las recomendaciones de la literatura especializada en elaboración de indicadores.

En España existen distintas iniciativas de rankings universitarios que evalúan los resultados de las universidades españolas. Sin embargo, U-Ranking realiza cuatro aportaciones importantes que hacen de él una herramienta rigurosa, precisa, de fácil manejo y acceso, y útil para responsables, expertos en educación superior, estudiantes y orientadores vocacionales:



  1. Contempla las tres grandes dimensiones de la actividad universitaria: la docencia, la investigación y la innovación y desarrollo tecnológico, ofreciendo indicadores de cada una de ellas.

  2. Evalúa los resultados de las universidades tanto en términos de volumen (ISSUE-V) como de productividad (ISSUE-P), valorando el efecto del tamaño de las universidades.

  3. Considera la desagregación por disciplinas o tipos de estudios siempre que la información disponible lo permite, reconociendo la diversidad de áreas en las que las universidades pueden ofrecer formación o desarrollar investigación y ofreciendo indicadores desagregados por titulaciones.

  4. Ofrece rankings personalizados de los grados que se pueden cursar, incorporando si se desea las preferencias de los usuarios –qué estudiar, dónde y atendiendo a qué actividades universitarias-, mediante una herramienta web de fácil manejo, útil para elegir la universidad en la que cursar los estudios.1

3.2. Datos y estructura


El ranking analiza las 48 universidades públicas españolas. Los datos utilizados para la elaboración de los indicadores sintéticos provienen de sistemas de información y estadísticas que son públicos. Los datos de las variables son recogidos con el máximo nivel de desagregación por campos científico, con el fin de que las normalizaciones dentro de cada campo hagan más comparables los resultados.

Para evaluar la actividad docente, investigadora y de innovación y desarrollo tecnológico de las universidades se consideran cuatro ámbitos de indicadores en cada una de estas tres grandes dimensiones:



  • Recursos disponibles

  • Producción obtenida

  • Calidad

  • Internacionalización de las actividades

Cada uno de los cuatro ámbitos se analiza a partir de uno, dos o tres indicadores, en función de la disponibilidad e idoneidad de la información, según la dimensión estudiada. En anexo 1 describe los indicadores empleados, su fuente, su ámbito temporal de cobertura así como su desagregación.

3.3. Cálculo de los indicadores sintéticos


Los criterios seguidos para la construcción de los indicadores sintéticos que calcula U-Ranking son los siguientes2:

  1. Estimación de datos faltantes: Una vez seleccionadas las variables relevantes y analizadas las fuentes, se imputan los valores faltantes en los datos mediante un proceso automatizado de estimación. El proceso identifica, a partir de una matriz de correlaciones, aquel par de variables que presentan mayor correlación con la variable analizada. Seguidamente se estima un modelo lineal (por mínimos cuadrados) entre la variable a imputar y las dos variables más correlacionadas, utilizando solo la información de la misma familia de conocimiento. A partir de los parámetros estimados en el anterior modelo y la información existente para dicha universidad en las variables relacionadas, se calcula el valor estimado de la variable faltante.

  2. Normalización: Los indicadores son normalizados para que su magnitud sea comparable. Dado que la agregación geométrica es el método de agregación generalmente utilizado en nuestro cálculo, la normalización se ha realizado a partir del cálculo de la ratio entre la variable y su mediana, por lo que los resultados normalizados están centrados en 1. Los valores inferiores a la mediana se encuentran acotados entre 0 y 1, mientras los superiores estarán por encima del 1.

  3. Ponderación y agregación de nivel 1: Se ponderan y agregan los indicadores para construir los indicadores sintéticos de nivel 1 en los cuatro ámbitos –Recursos, Producción, Calidad e Internacionalización- de cada una de las tres dimensiones –Docencia, Investigación e Innovación y Desarrollo Tecnológico-. En este primer nivel se ha realizado una agregación aritmética y se ha optado por la equiponderación, es decir se asignan pesos idénticos a los indicadores de un mismo ámbito.

  4. Ponderación y agregación de nivel 2: Se ponderan y agregan los ámbitos de cada dimensión para construir tres indicadores de nivel 2: de docencia, de investigación y de innovación y desarrollo tecnológico. En este caso se procede mediante un método de agregación geométrica. Este método limita la sustituibilidad entre los componentes que agrega, es decir, penaliza a aquellas universidades que tengan muy desatendido alguno de los cuatro ámbitos transversales (Recursos, Producción, Calidad, Internacionalización) frente a las que los atiendan de manera equilibrada. En cuanto al peso a dar a cada ámbito dentro de cada dimensión en este nivel, se realizó una encuesta a expertos universitarios, mediante la aplicación del método Delphi. Los pesos otorgados por los expertos a los distintos ámbitos se recogen en el cuadro 2. Tras este paso se obtienen los índices sintéticos de docencia, de investigación y de innovación y desarrollo tecnológico.


Cuadro 2. Pesos para la ponderación de los distintos ámbitos

 

Recursos

Producción

Calidad

Internacionalización

Docencia

25,4

30,4

23,9

20,3

Investigación

20

30

30

20

Innovación y desarrollo tecnológico

34,2

26,3

21,1

18,4



  1. Ponderación y agregación de nivel 3: Las tres dimensiones se ponderan y agregan para obtener un único índice sintético global de nivel 3. La agregación se realiza de nuevo tomando medias geométricas y se ponderan las tres dimensiones a partir de los pesos obtenido de las opiniones de los expertos participantes en el Delphi. Los pesos otorgados a la docencia, investigación y a la innovación y desarrollo tecnológico son, respectivamente, el 56%, el 34% y el 10%.

  2. Obtención del ranking: los índices sintéticos obtenidos se ordenan de mayor a menor, redondeándolos al primer decimal, obteniendo el ranking global de productividad de las universidades públicas españolas.

  3. Índices sintéticos de productividad y de volumen: Los indicadores simples de los que se parte están todos relativizados en función de la variable considerada más apropiada (alumnos, profesores, presupuesto, etc.), de forma que el tamaño no tiene una influencia directa en los resultados. Así pues, la metodología descrita conduce a medir los resultados de cada universidad con independencia de su tamaño, tratándose de índices de productividad. (ISSUE-P). Con el fin de obtener un indicador de volumen de resultados (ISSUE-V) que incorpore el tamaño, se multiplica ISSUE-P por una medida de tamaño (T). Esta medida se obtiene como una media aritmética normalizada de tres variables: el número de profesores, el número de alumnos y el presupuesto.
1   2   3   4   5   6   7   8   9


La base de datos está protegida por derechos de autor ©bazica.org 2016
enviar mensaje

    Página principal