EVALUACIÓN DE REVISTAS CIENTÍFICAS

2. Calidad de las Revistas Científicas

B. Indicadores Basados en Citación

La forma más objetiva de determinar la calidad de un trabajo científico es mediante la citación. Es lógico que se apliquen los mismos indicadores para determinar la calidad de lo publicado por una revista. Fue la utilización para la determinación de la visibilidad de las revistas lo que supuso su aceptación masiva como indicador de la calidad de los trabajos. Estos índices heredan las críticas de la citación.

El problema es que se necesita tener registradas todas las citas recibidas por los documentos de la revista, por lo que se necesita que esté incluida dentro de una de las grandes bases de datos bibliográficos de citación.

  • Google Académico incluye artículos y contribuciones a congresos de Informática e Ingeniería Eléctrica, publicados en sitios web que cumplen sus directrices y en repositorios de preprints, por lo que, como hemos indicado, no hay selección de revistas, ni garantía de la inclusión de todos los papers de una revista. A partir de los datos de Google Académico se generan los indicadores de Google Metrics, de acceso abierto.
  • Web of Science (WOS) para la inclusión de revistas considera las normas de publicación básicas de la revista, su contenido editorial, la diversidad internacional de sus autores y su citación. No se considera cada factor de forma aislada, sino que al combinar e interrelacionar la información, el editor determina las virtudes y debilidades de la revista. En el análisis de la citación de las revistas se tiene en cuenta si son de Ciencias Sociales o de Artes y Humanidades, debido a los diferentes hábitos de citación en las distintas disciplinas. A partir de los datos del WOS se genera el Journal Citation Report (JCR), con acceso de pago, con una batería de indicadores para las revistas.
  • Scopus tiene un Consejo de Selección, unos criterios mínimos y unos criterios de selección. Los criterios mínimos para considerar una revista son: revisión por pares, publicación regular con ISSN, contenido relevante y entendible para el público general, y el compromiso público con el cumplimiento de normas éticas y el rechazo de las malas prácticas. Y los criterios de selección que utilizan los expertos se agrupan en 5 categorías: política editorial, contenido, citación en Scopus, regularidad y disponibilidad online. A partir de los datos de Scopus se generan los datos de JournalMetrics, de acceso abierto con dos indicadores (SNIP y SJR) y de SCImago Journal & Country Rank, de acceso abierto también, con una batería de indicadores para cada revista.

Se trata de empresas que buscan unos beneficios, por lo que siempre existe la sospecha de un conflicto de intereses. Otro problema es que cada cita corresponde a dos papers, el citante y el citado, cada uno de los cuales con una fecha de publicación y una tipología documental. Eso diversifica los indicadores que se pueden calcular, tanto por la tipología como por las fechas.

El problema de la autocitación/autoreferenciación aplicado a autores. En el caso de las revistas (citas de los papers de una revista a otros papers de la misma revista) es incluso peor, porque:

  • En el proceso de revisión se puede inducir a la inclusión de referencias a otros papers publicados en la propia revista. De hecho, algo que se valora en este proceso es la bibliografía, y la no existencia de referencias a la revista puede suponer también la falta de relación del original con la revista, lo que puede ser utilizado como excusa para inducir a la referenciación de papers de la propia revista.
  • Se puede incluir material editorial introductorio en cada número en el que se cite los papers publicados en el número correspondiente, como una forma de que cada paper tenga al menos una cita.

I. Indicadores Básicos

Estos indicadores se realizan anualmente, con la citación procedente de ese año, es decir, donde el citante ha sido publicado el año de referencia.

  • Documentos Citables: número de documentos primarios (Artículos y Reviews en WOS y Artículos, Reviews, Conference Papers y Short Surveys en Scopus). No es un indicador en sí mismo pero sirve como base para el cálculo de otros indicadores.
  • Referencias: número de referencias realizadas en los papers publicados el año correspondiente. Normalmente sólo se contabilizan las de los documentos citables.
  • Referencia Promedio: es el número de referencias dividido por el de documentos. Tanto en numerador como en el denominador sólo se contemplan los documentos citables.
  • Citas: citas recibidas por los papers de una revista. Realizadas por los papers publicados el año en cuestión. Pueden limitarse los años de publicación de los citados. Puede haber variaciones tanto en los tipos documentales receptores de las citas como en los emisores.
  • Documentos Citados: papers publicados en un determinado periodo con al menos una cita de paper publicado el año de referencia. Puede haber diferencias tanto en el periodo seleccionado como en los tipos documentales considerados. A veces se expresa como porcentaje.
  • Autocitas: citas procedentes de papers publicados en la revista el año de referencia hacia papers de la misma revista. Puede haber diferencias tanto en el periodo seleccionado como en los tipos documentales considerados. A veces se expresa como porcentaje.
  • Cited Half-Life: la mediana de los años de antigüedad de los documentos de la revista en cuestión citados el año de referencia. Si una revista tiene una vida media de citados de 5, los papers de la revista con una edad menor o igual que 5 acumulan el 50% de la citación obtenida por la revista el año de referencia. Es un indicador de la obsolescencia de la revista.
  • Citing Half-Life: la mediana de los años de antigüedad de las referencias de la revista en cuestión citados el año de referencia. Si una revista tiene una vida media de referenciados de 5, los papers de la revista con una edad menor o igual que 5 acumulan el 50% de la citación realizada por la revista el año de referencia.
  • % de Colaboración Internacional: es el porcentaje de papers publicados en la revista, en el año de referencia, realizados por autores de más de un país.

El número de documentos citables, el de citados, el de referencias, el de citas y el de autocitas son dependientes del tamaño, del número de papers publicados. Los promedios, porcentajes y vidas medias son independientes del tamaño.

II. Promedios de Citación

Es el promedio de citas recibidas por los papers publicados en la revista en cuestión procedentes de papers publicados el año de referencia. Puede haber diferencias en los periodos y tipos documentales considerados.

En el JCR en el denominador se consideran los documentos citables de los años correspondientes, mientras que en las citas se vienen a considerar todas las citas recibidas por la revista esos años independiente del tipo documental del citante y del citado. En el JCR hay muchas ocasiones en las que no es posible reproducir los resultados utilizando la misma base de datos (WOS).

Algunas variaciones son:

  • Factor de Impacto (Journal Impact Factor): el periodo de citados considerado corresponde a los dos años anteriores de referencia.
  • Índice de Inmediatez: el periodo de citados considerado corresponde al mismo año de referencia.
  • Factor de Impacto de tres años: el periodo de citas considerado corresponde a los tres años anteriores de referencia.
  • Factor de Impacto de cinco años: el periodo de citados corresponde a los cinco años anteriores de referencia.

A estos indicadores se les llama también impactos esperados, porque es el impacto que se puede esperar de un paper publicado en la revista en cuestión.

Indica el promedio de citas por trabajo en una revista en un periodo determinado. Se puede considerar que mide la visibilidad internacional de los resultados que se publican en la misma. Es utilizado de manera inapropiada en muchas ocasiones, sobre todo cuando se utiliza para suplir la falta de información sobre el impacto observado de una determinada producción y sobre todo se utiliza en disciplinas de la Bibliometría. Debido al tamaño de las diferencias entre disciplinas y a sus diferentes hábitos de citación no son comparables de unas disciplinas a otras.

En ocasiones para hacerlos comparables entre disciplinas se han tipificado o normalizado teniendo en cuenta los factores de impactos de todas las revistas de cada disciplina (cited-side).

III. Índice y Mediana H5

Estas son las medidas utilizadas en Google Metrics, que no necesitan conocer el número ni el tipo de papers publicados.

  • Índice H5: una revista tiene un índice h5 de h, si sus h papers publicados en los últimos 5 años naturales más citados tienen al menos h citas cada uno, y ningún otro tiene más de h citas. Dichos h papers forman el núcleo H5 de la revista.
  • Mediana H5: es la mediana de las citas obtenidas por los papers del núcleo h5 de la revista. Se tiene en cuenta todas las citas recibidas por los papers más citados, igual que el índice G propuesto por Egghe.
IV. SNIP

Propuesto por Henk Moed en 2010. Las siglas corresponden a Source Normalized Impact per Paper (impacto por paper normalizado para la publicación). Es uno de los indicadores de revistas calculados con la base de datos Scopus que ofrece Elsevier en Journalmetrics.

El SNIP en su versión original de la revista j en el año de referencia se calculaba de distinta forma. Todos los cálculos, se realizaban considerando la producción primaria.

Define una forma de normalizar el factor de impacto de tres años para que los resultados sean comparables globalmente, entre disciplinas y otras:

  • Basándose en el número de referencias promedio a la base de datos de la disciplina (citing-side) en lugar de en el número promedio de las citas recibidas (cited-side).
  • Determinando la disciplina de cada revista en función de los papers que la citan. No es una clasificación fija, ni arbitraria, sino que para cada revista queda definida cada año por los papers que la citan.

C. Indicadores de Red

Estos también se basan en la citación, en la red de citación entre revistas. Estos métodos se basan en el random walk betweenness o grado de intermediación de caminante aleatorio, que es la cantidad de veces que un caminante aleatorio pasa por un vértice o un enlace suponiendo que al llegar a cada nodo el caminante elige uno de los caminos de salida aleatoriamente. En este caso los nodos son las revistas y los enlaces son las citas de una revista a otras. Y el caminante sería un lector aleatorio, que lee un paper y después sigue una de las referencias, de modo que sería la proporción del tiempo que pasa el lector con papers de una revista.

La idea de centralidad por autovalor (eigenvalue) fue propuesta como medida de centralidad por Philip Bonacich en 1972, cuando en una red de amistad definió a la persona más importante como la que tenía los amigos más importantes, es decir, la revista más importante es la que es citada por las revistas más importantes. Se diferencia del grado en que no todos los enlaces cuentan igual sino dependiendo de la importancia del nodo con el que conectan. Se suele decir que es un indicador de importancia frente al grado (citación) que es un indicador de popularidad.

A partir de la matriz de adyacencia se genera una matriz estocástica dividiendo el valor del enlace por el total de enlaces que parten de cada nodo, es decir, por la suma de la fila correspondiente de la matriz de adyacencia. El vector formado por la centralidad por autovalor de todos los nodos será el autovalor dominante de la matriz estocástica mencionada anteriormente. Para su cálculo se suele emplear el método de la potencia que multiplica la matriz estocástica por sí misma hasta que se ve reducida a dicho autovector.

Como no es seguro que la centralidad por autovalor se pueda calcular por el método de la potencia, se utilizan variaciones del PageRank de Google para generar una matriz estocástica que cumpla las condiciones suficientes para que se pueda aplicar el método de la potencia.

Se tiene que hacer constar que en 1976, Pinski y Narín propusieron algo similar con los Influence Weights como una forma de obtener indicadores comparables en las diferentes disciplinas. No llegaron a la variación del PageRank para poder aplicar el método de la potencia.