Evaluación de la ciencia: una aproximación teórica al análisis bibliométrico

Karina Villarroel

Resumen

La bibliometría constituye un medio para inferir la producción científica en el área de educación en esta institución desde la perspectiva de las fuentes más citadas, las instituciones que las editan y los autores más citados entre otros elementos. Estos indicadores combinados pueden ayudar a valorar el estado actual de la investigación de los graduados y apoyar la toma de decisiones en cuanto a la dirección de la investigación.

Introducción

La evaluación de las publicaciones científicas constituye un eslabón fundamental dentro del proceso de investigación, por lo tanto se ha convertido en una herramienta que permite calificar la rigurosidad del proceso generador de conocimiento y el impacto de este proceso en el entorno. Según Sanz (2004), en su obra Evaluación de la investigación y sistema de ciencia menciona que, a finales de los setenta ya existía en los Estados Unidos una cierta preocupación por los procedimientos de evaluación utilizados en la asignación de fondos de investigación por las agencias públicas de fomento de la I+D [la National Science Foundation (NSF) o los National Institutes of Health (NIH)], como demuestran las revisiones realizadas de estas prácticas. El interés por los métodos de evaluación de la investigación propició el desarrollo de trabajos que contribuyeron a ampliar la perspectiva y a introducir elementos que conectaban la tradicional forma de la evaluación de la investigación, por medio de la revisión por pares, con la evaluación de las políticas de investigación y de otros objetos, lo que implicaba la introducción de nuevos instrumentos y herramientas, a la vez que se hacían más complejos los criterios de evaluación.

En el año 1991 año en España, en el contexto del lanzamiento de la primera política científica merecedora de este nombre (Menéndez, 1997), la demanda de un sistema de evaluación que estuviese garantizado por el Estado (Menéndez, 1995) condujo a la creación de una estructura singular que se responsabilizase de la evaluación de las actividades de investigación: la Agencia Nacional de Evaluación y Prospectiva - ANEP.

Desde entonces, el interés por la evaluación de la investigación, en sentido amplio, se ha extendido. Por un lado, es un tema que continúa atrayendo la atención de los gobiernos y de las agencias de financiación; por otro lado, el interés de la comunidad científica sobre los procesos de evaluación en las revistas académicas no ha hecho sino crecer. Sin duda la dinámica competitiva de la ciencia ha ayudado a este creciente interés.

En concepción de Torres (2009), la tarea de evaluar a la ciencia no es una acción fácil de enfrentar, puesto que no se trata de un ente homogéneo ni particular, sino que se trata de una entidad o todo un sistema complejo que al tener como misión principal la generación de conocimiento, y al ser este un bien intangible, dificulta el establecimiento de parámetros confiables y objetivos para lograr un resultado lo más cercano posible a la realidad que se mide (Sancho, 2001).

Respecto a la evaluación de la ciencia, Maltrás (2003) señala que en las tres últimas décadas se ha observado una explosión de estudios sociales sobre el funcionamiento e impacto de las actividades científicas. Dentro de estos, los estudios cuantitativos han surgido como un nuevo complejo disciplinario teórico y práctico, en cuyo seno se han desarrollado nuevos métodos de aproximación empírica a la ciencia basados en baterías de indicadores cuantitativos acerca de su institucionalización, producción y calidad.

Para comprender la evaluación de la investigación, su dinámica de cambio y sus desafíos, es necesario situarla en el contexto del sistema de I+D y su interacción con las políticas que tienden a promoverlo. Hace más de medio siglo que los sociológicos de la ciencia llamaron la atención sobre el papel central que la evaluación -leída como control de calidad-jugaba en el sistema de producción de conocimiento científico certificado que es la ciencia. El momento "fundacional" de esta práctica institucionalizada, en forma de revisión por pares expertos, se sitúa en 1665, cuando la Royal Society instauró un sistema por el cual la presentación de trabajos para su publicación en Philisophical Transactions debía realizarse con el informe favorable de un miembro de la Royal Society.

Así pues, desde los primeros momentos del desarrollo de la práctica investigadora diferenciada y de la consolidación de la institución científica, la obtención de la "certificación" y la declaración del conocimiento como válido ha sido parte consustancial de la ciencia. La evaluación de la investigación se ha desarrollado inicialmente en el marco del sistema de comunicación científica y la aceptación de trabajos en revistas científicas estaba sometida al juicio de los pares que trataban de determinar sus contribuciones. La evaluación por pares de los artículos científicos o de los méritos curriculares ha sido el mecanismo central que la comunidad investigadora ha utilizado para la aceptación de las publicaciones científicas, el reconocimiento con los puestos, e incluso para el otorgamiento de premios como los Nobel.

Además del control de calidad, desde los inicios, la evaluación del mérito por parte de los pares científicos ha cumplido también la función esencial de incidir en la dirección del desarrollo del conocimiento de las diversas disciplinas. Sin embargo, el desarrollo, la expansión y la consolidación de las instituciones de la ciencia ha llevado a que surjan tensiones con las demandas más amplias que emergen de la sociedad y del sistema político, y que hacen de la evaluación un instrumento para determinar la asignación de recursos, un mecanismo para cambiar estructuras organizativas y definir nuevos incentivos, o para evaluar los resultados en ciertas áreas científicas.

Análisis bibliométrico

La palabra bibliometría tiene su origen en autores como Alan Pritchar y Paul Otlet Pritchard (1969) quienes explicaron cómo las matemáticas y los métodos estadísticos pueden analizar tanto las tendencias de la expresión escrita de una disciplina, tal como lo afirman en su artículo Statistical bibliography on bibliometrics publicado en Journal on Documentation.

Algunos autores explican la bibliometría como los estudios cuantitativos (métodos matemáticos y estadísticos) acerca del uso de los documentos. La bibliometría es un método analítico que mediante la aplicación de estadísticas descriptivas, análisis multidimensional y representaciones gráficas permite medir el desarrollo de la ciencia.

Este método es de gran utilidad en la formulación de políticas científicas porque con sus resultados se puede observar sobre qué investigan los científicos, que posición ocupan los científicos de un país en el ámbito de la ciencia, describe la actividad de los investigadores en forma individual o de los centros de investigación y las innovaciones o tendencias de estudios realizados en una disciplina determinada.

Al respecto Camps (2008), establece que la bibliometría es la ciencia que permite el análisis cuantitativo de la producción científica a través de la literatura, estudiando la naturaleza y el curso de una disciplina científica.

Por otro lado, la Bibliometría guarda una estrecha relación con la documentación científica. Según López (1996), el objeto de estudio de la documentación se basa en el concepto de información documental y en el concepto de proceso documental como un cauce informativo de naturaleza peculiar, por cuanto se da en el mismo una actividad de recuperación de mensajes informativos emitidos en procesos anteriores y mediante su conservación y tratamiento técnico, se difunden transformados, con la finalidad de que sirvan de fuente de información para la obtención de un nuevo conocimiento o para la acertada toma de decisiones en las organizaciones, empresas o instituciones.

Analizando la definición de Tagne-Sutchiffe sobre bibliometría, e intentando compararla con sus conceptualizaciones de cienciometría, se pudo notar que existía una leve diferencia entre ambas. La bibliometría estaría más dirigida a un análisis cuantitativo de determinados procesos de información, incluyendo la publicación pero extendiéndose a la distribución y el uso de la información (Vanti, 2000). El fin que tiene la bibliometría, es utilizar los resultados de las mediciones par la previsión y la toma de decisiones.

En el análisis de SpinaK, confirma la interdisciplinariedad de la bibliometría y su enfoque hacia las fuentes de información cuando presenta su definición: "La bibliometría es, pues, una disciplina con alcance multidisciplinario y la que analiza uno de los aspectos más relevantes y objetivos de esa comunidad, la comunidad impresa" (1998, p. 142).

Se puede concluir que la bibliometría establece como parte de la sociología de la ciencia, y con ella se obtiene pautas en cuanto a como se desarrollo es estudio y la conducta de los autores, entre otros aspectos. Con el análisis bibliométrico se calculan una serie de indicadores de acuerdo al tipo o diversidad de documentos.

Actividad científica y la bibliometría

La aparición casi simultánea en 1978 del primer número de Sciento-metrics y del volumen dirigido por Elkana et al, (1978), puede considerarse como un hito que señaló el paso a primer plano de los indicadores de actividad científica. Ambos hechos fueron manifestaciones sobresalientes de una tendencia opuesta a la representada por los trabajos de tipo teorizante, con débil o nula base empírica y alejados de los acercamientos cuantitativos. Subrayaba, por el contrario, la función central de la cienciometría como fundamento específico de los estudios sociales sobre la ciencia y de sus aplicaciones a la documentación y a la política y la planificación de la ciencia.

La cienciometría había sido una consecuencia directa de la formulación original del programa de la «ciencia de la ciencia» y contaba ya con tratados como Naukometrija (1969), de Nalimov y Mulchenco, 1969. El subtítulo de Scientometrics describe muy claramente esta orientación: «Revista internacional sobre todos los aspectos cuantitativos de la ciencia de la ciencia, la comunicación en la ciencia y la política científica». Por su parte, Toward a me tric ofscience recogió las comunicaciones y debates de un simposio organizado en torno al primero de los volúmenes bianuales de Science indicators, publicación oficial del gobierno de los Estados Unidos que desde 1972 confecciona la empresa Computer Horizons. A esta misma empresa le encargó la National Science Foundation un informe sobre el tema, tarea que fue dirigida por Narin, 1976 y publicada con el título de Evaluative bibliometrics. The use of publication and citation analysis in the evaluation ofscientific activity (1976), donde por vez primera se examinaron a fondo las posibilidades de la bibliometría para la evaluación de la actividad científica.

Existen varias leyes bibliométricas las cuales se nombran según las personas que las enunciaron. Son las llamadas leyes epónimas y no tienen la rigurosidad de las leyes físicas o químicas. Estas leyes son variantes algebraicas o expresiones distintas de un mismo fenómeno desde diferentes puntos de vistas.

Así también se presentan otras leyes que también pertenecen a la anterior categoría como ser: Ley de crecimiento exponencial de la información científica, Ley del envejecimiento u obsolescencia de la literatura científica y Ley de la dispersión de la literatura científica, descritas por Price (1976).

Indicadores bibliométricos

Los indicadores bibliométricos son instrumentos para medir las producciones científicas y permiten analizar el impacto que causa un trabajo científico o cualquier otro, dependiendo de la literatura citada: éstos son datos estadísticos deducidos de las publicaciones científicas (Terrada y López-Piñero, 1991).

Con estos indicadores se puede determinar el crecimiento de cualquier área científica teniendo en cuenta la cantidad de trabajos publicados, colaboración de autores, centros de investigación, impacto de las comunicaciones, países, instituciones, la producción de los científicos, colegios invisibles, atendiendo el número de citas recibidas, entre otros (Vallejos-Torralba, 2006).

Clasificación de los indicadores bibliométricos

Los indicadores bibliométricos permiten evaluar, determinar y proporcionar información sobre resultados de crecimiento en el proceso investigativo. De acuerdo a ello se pueden clasificar en los siguientes:

Los indicadores bibliométricos son una herramienta clave para estudiar la actividad científica si se utilizan adecuadamente, pues no todos se pueden implementar en los diferentes documentos, debido a que existen ciertas limitaciones en cada uno de ellos. Para tal caso es recomendable ser exhaustivos en su aplicación y análisis que seguramente corresponderá a otros estudios de aplicación.

Por tanto, se puede concluir que la documentación científica y la Bibliometría comparten el mismo objeto de estudio: el análisis de los documentos. De hecho, es tal la simbiosis entre ellas que la mayor parte de estudios bibliométricos han sido realizados por los documentalistas.

Conclusión

Terminar esta indagación señalando que es necesario más investigación al respecto, deja de ser conveniente. Aún siguen faltando estudios de evaluación científica sobre la producción científica que las universidades realizan. Utilizando una amplia gama de indicadores biblio-métricos disponibles, se puede ayudar no solo a indagar las realizaciones pasadas sino sobre todo orientar prospectivamente las investigaciones a realizarse a futuro y tomar decisiones evaluativas más pertinentes.

Referencias

Camps D. (2008).Limitaciones de los indicadores bibliométricos en la evaluación de la actividad científica biomédica, Colombia Médica; 39 (1): 74-79.        [  ]

Camps D. (2007). Estudio bibliométrico general de colaboración y consumo de la información en artículos originales de la revista Universitas Médica, periodo 2002 a 2006. Universitas Médica; 48(4): 358-365.        [  ]

López, P. (1996). Introducción a la Bibliometría. Valencia: Promo libro. Vallejo-Ruiz M. (2005). Estudio Longitudinal de la producción española de tesis doctorales en educación matemática (1075-2002). Tesis Doctoral. Departamento de Métodos de Investigación y diagnóstico en Educación. España: Universidad de Granada.        [  ]

Maltrás, B. (2003). Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Asturias: Tarea. 287pp.        [  ]

Menéndez, L. (1995)" Research actors and the state: research evaluation and evalu-ation of science and technology policies in Spain", Research Evaluation vol. 5 (1): 79-88.        [  ]

Price DJ. (1976). A general theory of bibli-ometric and other cumulative disad-vantage processes, Journal of American Society of Information Sciences; 27(5): 292-306.        [  ]

Menéndez, L. (1997). Estado, ciencia y tecnología en España (1939-1997). Madrid: Alianza. Editorial.        [  ]

Sanz, L. (2004). Evaluación de la investigación y sistema de ciencia. Unidad de Políticas comparadas del CSIC, Madrid. Documento de trabajo de CSIC.        [  ]

Sancho, L. (2001). Medición de las actividades de ciencia y tecnología; estadísticas e indicadores empleados. Revista Española de Documentación Científica. 13(3-4)382-404.        [  ]

Spinak, E. (1996). Diccionario enciclopédico de bibliometría, cienciometría e informetría. Montevideo.        [  ]

Terrada ML, López-Piñero JM. (1991). La producción científica española y su posición en la comunidad internacional. Madrid: Espasa Calpe.        [  ]

Vallejos, M. y Torralba, M. (2006). Análisis diacrónico de la producción española de tesis doctorales en educación matemática mediante la metodología ARIMA en datos de diseños longitudinales: e-mail: mvruiz@ugr.es        [  ]

Torres, J. (2009). Desarrollo científico de las Ciencias Sociales en México; análisis bibliométrico del periodo 1007-2006: Social Science Citation Index (SSCI-ISI) y Cite Space. Tesis no publicada de Doctorado, Universidad de Granada-Facultad de comunicación y documentación. Granada, España.        [  ]

Vanti, N. (2000). Métodos cuantitativos de evaluación de la ciencia: bibliometría, cienciometría e informetría. Instituto Latino-Americano de Estudios Avanzados de la Universidad Federal do Río Grande do Saul, 14(29), 13-18.         [  ]

Vallejos, R. (2005). Estudio Longitudinal de la Producción Española de Tesis Doctorales en Educación Matemática (1975-2002). Tesis doctoral. Departamento de Métodos de investigación y Diagnóstico en Educación. Universidad de Granada, Granada, España. 535 pp.         [  ]

Vallejos, M. & Torralba, M. (2006). Análisis diacrónico de la producción española de tesis doctorales en educación matemática mediante la metodología ARIMA en datos de diseños longitudinales: e-mail:mvruiz@ugr.es        [  ]