¿CÓMO SE HA ELABORADO?

La elaboración de IN-RECS ha implicado la realización de las siguientes operaciones:

  1. Identificación de la población de revistas científicas españolas especializadas en ciencias sociales que estén actualmente en circulación
  2. Distribución de revistas por disciplinas y especialidades
  3. Selección de las revistas fuente
  4. Desarrollo de la aplicación que soportará el índice de impacto
  5. Carga de datos
  6. Generación de indicadores
  7. Referencias bibliográficas


1. Identificación de la población de revistas científicas españolas especializadas en ciencias sociales que estén actualmente en circulación

La primera tarea consiste en identificar todas las revistas científicas españolas actualmente vigentes publicadas en el área de Ciencias Sociales. En principio, se trataba de localizar exhaustivamente todas aquellas revistas que pueden calificarse de científicas, esto es, todas aquellas que publican, con mayor o menor abundancia, artículos de investigación original, o sea, trabajos donde, empleando una metodología científica contrastada, se aporten datos nuevos al conocimiento establecido, independientemente de la calidad o relevancia que estos puedan tener. No se alude aquí, por tanto, a las publicaciones periódicas de finalidad informativa, como boletines, anuarios, memorias, etc... que, aun cumpliendo una función muy importante para el buen desenvolvimiento de la práctica profesional, carecen de sentido desde el punto de vista de la investigación, que es el ámbito en el que se mueve este proyecto.

Para efectuar dicha tarea se utilizan los principales directorios nacionales e internacionales especializados en el control de publicaciones periódicas: Directorio de revistas de LATINDEX, Directorio Español de Revistas de Ciencias Sociales y Humanidades alimentado por el CINDOC, Ulrichs Periodicals International Directory, Catálogo colectivo REBIUN.

2. Distribución de revistas por disciplinas y especialidades.

El siguiente paso consiste en la distribución de las revistas según disciplinas y, en el caso de las Ciencias Jurídicas, a Economía, Educación y la Psicología por especialidades, entendiendo por tales, las áreas de conocimiento en que se vertebran de acuerdo con el catálogo de áreas de conocimiento de las Universidades españolas.

Este punto es clave en el proceso se selección de revistas a incluir en el índice de impacto. Un prerrequisito para una construcción no sesgada, temáticamente hablando, del índice de impacto estriba en conseguir que las principales especialidades y subespecialidades estén representadas en la base de datos. Por consiguiente, al menos una revista especializada de cada área deberá figurar en el índice como revista fuente, esto es, revista de la cual se van a vaciar íntegramente todas las referencias bibliográficas de los artículos de investigación que publiquen.

Para realizar dicha tarea se utilizan dos procedimientos:

  • Las clasificaciones temáticas que las propias bases de datos consultadas utilizan para categorizar las revistas que indizan. A saber: C.D.U. (Clasificación Decimal Universal), Códigos de clasificación de la Unesco, Clasificación Dewey y clasificación temática Ulrich's.

  • El análisis de la citación emitida y recibida por cada una de las revistas que conforman la base de datos.



3. Selección de las revistas fuente.

En principio, podría pensarse que un índice de impacto del tipo que aquí se propone debiera cubrir todas las revistas científicas publicadas en el área de interés del mismo. Este planteamiento, sería no solo inviable por motivos económicos, sino innecesario, como diversos estudios bibliométricos han demostrado. Se ha comprobado que un número relativamente pequeño de revistas publica el núcleo sustancial de los resultados científicos significativos, en cualquier campo de conocimiento considerado. Este principio se conoce con el nombre de Ley Bradford. Estudios bibliométricos basados en el recuento de citas de las bases de datos de Thomson Scientific4 han demostrado que únicamente 150 revistas concentran la mitad de lo que es citado y un cuarto de lo publicado sobre un tema. Asimismo, se ha comprobado como un núcleo base de aproximadamente 2.000 revistas concentra el 85% de los artículos publicados y el 95% de los artículos citados en un área. Si tenemos en cuenta que en el mundo circulan unas 100.000 revistas científicas, podremos darnos cuenta como con un reducidísimo grupo de publicaciones podemos construir una base de datos realmente significativa.

Por consiguiente, nuestro objetivo ha sido identificar el núcleo de revistas científicas españolas de Ciencias Sociales y Jurídicas más influyentes, y que, al mismo tiempo, respeten unos mínimos estándares de calidad editorial.

Para conseguirlo se han empleado cuatro criterios:

  • Pervivencia o antigüedad.

  • Calidad editorial entendida esta en una doble vertiente: calidad en el proceso editorial (empleo de un riguroso sistema de selección y evaluación de originales) y reputación y prestigio del editor y comités editoriales.

  • Impacto científico de las revistas españolas de Ciencias Sociales tanto a nivel internacional como nacional.

  • Opinión de los investigadores españoles medida a través de encuestas sobre la calidad percibida de las revistas de su especialidad.

Los dos primeros criterios actúan como prerrequisito para la entrada en la base de datos, esto es, aquellas revistas que no los cumplen quedan automáticamente descartadas. Los dos segundos, son los criterios definitivos para la selección. En cualquier caso, conviene explicar el sentido de cada uno de estos criterios y su forma de.

Una vez establecida la selección de revistas que se ajusta a los requerimientos mínimos establecidos para este estudio, el siguiente paso es localizar el grupo de entre ellas que concentra la mayor parte de la atención de los científicos. Como se ha demostrado repetidamente, controlando esa parcela de revistas, generalmente reducida, se puede asegurar una altísima cobertura de las revistas y trabajos más influyentes o lo que es lo mismo aquellas que contribuyen más activamente al progreso científico. Esta identificación deberían hacerse teniendo en cuenta las distintas subespecialidades en que se vertebran las comunidades científicas españolas de Ciencias Sociales.

El segundo grupo de criterios aluden a la repercusión científica de las revistas, medida a través de las citas recibidas en un marco nacional (cuando se han dispuesto de estudios bibliométricos) e internacional (citas recibidas por las revistas españolas en las bases de datos de Thomson Scientific) y al prestigio y calidad otorgada por los propios investigadores españoles, medidos a través de una encuesta de opinión.

Para determinar la relevancia científica de una revista se han propuesto y empleado gran número de indicadores. La amplia mayoría de los mismos se puede incluir dentro de dos grandes categorías: aquellos que se cimentan en medidas subjetivas frente a los que consideran medidas objetivas. Los primeros se basan en una valoración de la calidad percibida por parte de los implicados en el área. Así, se propone a una serie de expertos que evalúen la calidad y relevancia de un grupo de revistas. Dado que la percepción individual puede estar sesgada por motivos de preferencias personales, la calidad final de cada uno de los medios de difusión de las investigaciones es igual a la media de la calidad percibida entre todos los interesados. Estos métodos subjetivos, a pesar de su aceptación tienen sus problemas por cuanto son el producto de una declaración verbal en un contexto social determinado obtenida por un procedimiento reactivo.

Frente a estas clasificaciones subjetivas, se encuentran aquellas que se basan en indicadores objetivos como son los basados en los recuentos de citas, sólo posibles a partir de las bases de datos de Thomson Scientific o en estudios bibliométricos realizados ad hoc. La racionalidad de este tipo de estudios es que el motivo para publicar en las revistas especializadas es el de acumular conocimiento que pueda ser usado y reconocido por futuros investigadores en el avance de la ciencia. De esta forma, cuantas más veces haya sido citado un artículo, mayor será el impacto del conocimiento trasmitido sobre la comunidad científica y, por consiguiente, mayor su reconocimiento social.

En este proyecto se han utilizado ambos criterios, a fin de aprovechar sus fortalezas y minimizar sus debilidades. Diversos estudios, además, han venido comprobando que los resultados de las encuestas, cuando se realizan con todo tipo de cautelas, no suelen diferir notablemente de los obtenidos a partir de los índices de impacto, procedimiento más estándar, con menos indecisiones, más objetivo y, sobre todo, más barato.

  1. Pervivencia o antigedad de las revistas

    La primera condición que se impone a la revistas que formarán parte del núcleo de publicaciones fuentes (citadoras) es la pervivencia; sólo aquellas revistas que tuviesen una antigüedad mínima de seis años y que hubiesen venido publicándose puntualmente en dicho período podrían formar parte del índice de citas. Las razones son de orden científico y técnico o metodológico. La pervivencia de una revista es un factor que demuestra, por una parte, la necesidad de la revista como medio de comunicación para una comunidad científica y profesional determinada, y, por otra, la capacidad de la revista de ser un producto vivo, interesante y necesario para dicha comunidad. Por consiguiente, este aspecto, puede ser un indicador indirecto del peso específico de la revista en el panorama editorial. Pero, además hay otra razón de orden técnico. Para construir unos índices de impacto mínimamente solventes se necesita que la revista venga funcionando en un período más o menos amplio de tiempo dependiendo de la disciplina. Para determinar dicho período nada mejor que averiguar como envejece la literatura científica publicada en España en Ciencias Sociales. El envejecimiento u obsolescencia de las referencias bibliográficas insertas en los artículos mostraría en qué momento la mayoría de las misma deja de citarse, esto es, deja de ser directamente útil a una comunidad científica.

  2. Calidad editorial

    Aquí se entiende por calidad editorial la calidad en el proceso editorial (empleo de un riguroso sistema de selección y evaluación de originales) y la reputación y prestigio del editor y comités editoriales. Independientemente de los fundamentación científica que pueda tener este criterio, resulta una exigencia ineludible en un índice de impacto a realizar en España. La calidad del proceso editorial se asienta en los siguientes pilares:


    • Utilización de un sistema de evaluación y selección de originales aplicable a la mayoría de los manuscritos publicados en la revista. El sistema de arbitraje científico ha sido y todavía es considerado como el eje fundamental de la publicación científica válida y de calidad; es el instrumento de certificación o canonización del conocimiento del que se vale la comunidad científica desde el siglo XVIII. A pesar de los defectos que se han ido evidenciando (es lento, costoso, despilfarrador del tiempo de la comunidad científica, subjetivo, propenso al sesgo, permite abusos, es incapaz de detectar el fraude, el plagio y la publicación duplicada, no puede garantizar la validez externa de los trabajos), mayoritariamente se considera que, al igual que ocurre con la democracia, es el menos malo de los sistemas.

    • Reputación y prestigio del editor y comités editoriales Aunque los sistemas y procesos editoriales de las revistas científicas son harto diversos, dependiendo de variables tan cambiantes como los objetivos, cobertura, público de un lado, y los recursos financieros disponibles de otro, la existencia de comités editoriales, encargados de asegurar el control de calidad de los contenidos y compuestos por reputados científicos con amplio currículo como investigadores en activo y experiencia editorial, es fundamental para el buen desenvolvimiento de la revista. Por otra parte, el tamaño y la composición -especialmente del comité editorial o de asesores-, en términos de procedencia geográfica (local, nacional o internacional) o institucional (endogámica o no), son indicadores indirectos del prestigio de que goza la revista, en tanto en cuanto ponen de manifiesto la capacidad de atraer hacia la revista a científicos reputados y de abrir al exterior la revista, con lo que se puede asegurar una mayor objetividad y neutralidad, un mayor acierto en el diseño de la política editorial, y una mayor proyección de la revista.


    Para comprobar estos extremos se han verificado las declaraciones efectuadas por la revista en sus propias instrucciones a autores y se ha analizado la estructura editorial tal como figura en la propia revista.


  3. Encuesta de opinión a investigadores españoles

    Las encuestas de opinión entre la comunidad científica se han utilizado repetidamente, y desde antiguo, para fijar la repercusión, influencia, relevancia, prestigio o reputación de las revistas que actúan como medios de comunicación en ella.

    Se han utilizado los datos de las encuestas desarrolladas por el CINDOC1 entre profesores de universidad adscritos a las áreas de conocimiento de ciencias sociales y jurídicas en 2002. Conviene advertir que a pesar, de los defectos metodológicos de que adolecen algunos de estos trabajos (sesgos de respuesta, baja tasa de respuesta...), los resultados pueden ser aprovechados para alcanzar nuestros propósitos.


    • Impacto científico: nacional e internacional

      1. Impacto internacional

        Se trata de medir el impacto internacional de las revistas científicas españolas de Ciencias Sociales. Para la localización de las citas internacionales se ha utilizado la base de datos Web of Science, que es un compendio de las tres bases de datos de Thomson Scientific: Science Citation Index (SCI), Social Science Citation Index (SSCI) y Arts and Humanities Citation Index (A&HCI). En las BD del Thomson Scientific se encuentra la bibliografía científica de mayor sofisticación y calidad metodológica, difusión, visibilidad e impacto internacional. El hecho de que publicar en una revista indizada por Thomson Scientific se haya convertido en un signo intrínseco de calidad, que es valorado positivamente por los más diversos sistemas de evaluación, ha provocado que las revistas cubiertas por Thomson Scientific atraigan los mejores artículos de investigación. De ahí que pueda presumirse que en sus bases de datos estén los mejores trabajos, de forma que también pueda presumirse que las citas obtenidas adquieran un especial valor. Pues bien cada año se localizan las citas recibidas de todas las revistas científicas españolas de Ciencias Sociales vivas.


        En líneas generales, los datos obtenidos en las especialidades objeto de estudio hasta el presente muestran que:


        • El número de citas recibido por las revistas españolas es bajo, especialmente en las ciencias jurídicas.

        • Más de dos tercios de las revistas poseen un impacto internacional nulo o irrelevante.

        • Como era de esperar son pocas las revistas que concentran un número respetable de citaciones y, entre ellas, se encuentran la mayoría de las revistas seleccionadas como fuente en nuestro índice.


      2. Impacto nacional

        Afortunadamente en la mayor parte de las áreas hasta ahora estudiadas y muy especialmente en la Economía, contamos con estudios bibliométricos que basándose en el recuento de citas bibliográficas de una muestra de revistas españolas de cada especialidad han calculado su impacto bibliográfico. En líneas generales los resultados de citación nacional señalan como las revistas más citadas en España en cada especialidad concuerdan básicamente con las revistas mejor valoradas por los investigadores y de mayor impacto internacional, salvo llamativas excepciones concentradas en el área económica.

        A modo de conclusión, creo que estamos en disposición de afirmar que se ha diseñado una herramienta que permitirá emitir una muy buena radiografía de la investigación canalizada a través de las revistas científicas españolas de Ciencias Sociales. Y esto, fundamentalmente por las siguientes razones:

        1. Se obtiene el máximo respaldo posible por parte de la comunidad científica que va a ser objeto de evaluación con esta herramienta. Ello se consiguie por dos vías absolutamente complementarias:

          • Opinión de los propios investigadores a partir de encuestas (calidad percibida)

          • Citación realizada por los propios investigadores: (impacto realmente observado, a nivel nacional e internacional)


        2. Se obtiene una muy buena representación de los que es el mapa de la investigación española en Ciencias Sociales. Las distintas comunidades científicas en las que se vertebran las Ciencias Sociales españolas se encuentran convenientemente representadas.

        3. Se cuenta con un respaldo legal, en el sentido de que se tienen en cuenta las exigencias planteadas por la propia CNEAI respecto a los mínimos estándares de calidad editorial que deben cumplir las revistas científicas españolas (poseer un mecanismo de selección rigurosa de sus originales y contar con reputados comités editoriales)

        4. Se prima la selección sobre la exhaustividad. Por dos razones:


          • La ciencia es selectiva por naturaleza. Existe un proceso de selección natural que afecta a todas sus actividades. De forma que muy pocas serán las revistas de mayor reputación, impacto, relevancia, etc... (Bradford, 80/20)

          • Motivos económicos: complejidad técnica y elevados costes de un índice de citas



4. Diseño de la aplicación que soporta el índice de impacto

4.1. Estructura general de la base de datos

Siguiendo una metodología de diseño relacional la base de datos se estructura en tan sólo tres entidades:


  • Tabla de revistas: contiene los títulos normalizados y completos de las revistas.

  • Tabla de ejemplares: almacena los datos bibliográficos de los fascículos (año, volumen y número).

  • Tabla de artículos o trabajos: registra los datos que identifican a un trabajo autores, título, página inicial.


Utilizando el modelo Entidad / Relación (E/R) la estructura de la base de datos resultante tiene la siguiente apariencia:


Diseño de la base de datos relacional

En el gráfico 1 los rectángulos identifican a las entidades principales con las que trataremos: revistas, fascículos e ítem (todo ítem citable). Los rombos representan las relaciones existentes entre las distintas entidades.

4.2 Implementación de la base de datos

Como se comentará posteriormente, se ha hecho uso de un Sistema de Gestión de Base de Datos (SGBD) relacional. El modelo relacional, hace uso del concepto de tabla como base de implementación, por tanto, debemos de transformar las entidades y relaciones del modelo conceptual a tablas en el modelo implementable.

4.3 Diseño de la interfaz

La interfaz consta de una serie de ventanas organizadas según su funcionalidad y/o objetivos. La clasificación se puede realizar de la siguiente manera:

  • Ventanas de conexión y desconexión con el SGBD.

  • Formularios de carga de datos: con ellas podemos registrar en la base de datos, en la versión actual, los datos referentes a las revistas, los fascículos y la información esencial de los trabajos publicados. Estas ventanas dan la posibilidad al usuario de introducir, borrar y editar la información almacenada.

  • Herramientas de administración de la base de datos: con ellas, podemos realizar copias de seguridad de toda la información contenida en la base de datos, añadir otra base de datos, esto es realmente interesante si por ejemplo pretendemos completar la información que ya tenemos con la incorporación de nuevas revistas.

  • Ventanas de resultados: en ellas podemos visualizar distintos indicadores estadísticos y/o bibliométricos: factores de impacto, número de citas recibidas por revista, número de trabajos e ítem citables publicados por cada revista, número de autorreferencias y de autocitas. Así como ver que revistas citan a una dada; visualizar el ranking de los trabajos más citados, ver gráficamente la evolución de los factores de impacto a lo largo del tiempo, etc.

4.4 Interconexión global del sistema

Esquema del Sistema

En esta figura se representa las posibilidades de interconexión que permite el sistema. Actualmente, es posible realizar el proceso de carga y cálculo de indicadores de manera remota.

4.5 Descripción del entorno de desarrollo

Por motivos obvios de seguridad, robustez, eficiencia, escalabilidad e interconexión, se ha elegido como sistema de gestión de la base de datos (SGBD) al sistema PostgreSQL en su versión 7.1. El SGBD ha corrido bajo la plataforma SuSe Linux 9.1.

En PostgreSQL se han implementado las distintas tablas comentadas anteriormente, junto con las restricciones de integridad necesarias, además de los índices oportunos para agilizar los procesos de cálculo.

La GUI se ha realizado en JAVA 2. La elección de JAVA como lenguaje de desarrollo no es otra que la facilidad de que dispone para conectarse, de manera sencilla y transparente, con distintos SGBDs. Para esta interconexión JAVA dispone de un potente paquete llamado JDBC (Java Data Base Connection) que realiza esta tarea de manera sencilla y eficaz.

El sistema desarrollado, gracias al JDBC, permite que tanto el SGBD como la GUI se alojen en maquinas distintas, obviamente conectadas en red (vía Internet o Intranet). Con esto, gracias a la movilidad que proporcionan los dispositivos portátiles, permitimos que las personas encargadas del proceso de carga de datos puedan trabajar desde lugares distintos. Desde estos lugares pueden conectar con el SGBD centralizado y realizar la carga.

5. Carga de los datos

Para la carga de los documentos fuente y sus referencias en el caso de revistas en formato papel se consultan los originales, se marcan y cargan manualmente. En el caso de revistas con versión electrónica, se realiza el volcado directo a la base de datos, una vez etiquetada la información mediante la utilización de programas de conversión (PDF/texto) y del diseño de macros con editores de texto.

Este proceso concluye con la depuración de los datos introducidos a fin de detectar errores de corte mecánico u ortográfico y deficiencias en el control de autoridades.

6. Generación de indicadores

  1. Revistas

    De cada título de revista se ofrece la siguiente información:

    • Número de ítems publicados por año

    • Número de citas recibidas por año

    • Número de referencias dadas por año

    • Número de autorefencias por año

    • Número de autocitas por año

    • Tasas de autorreferenciación y de autociatación

    • Índice de impacto anual

    • Índice de inmediatez por año

    • Semiperíodo de las referencias citadas

    • Porcentaje de trabajos citados

    • Matriz de doble entrada de la revista que hace la cita a las revistas referenciadas. Las cifras irán discriminadas por año y por título

    • Matriz de doble entrada de la revista que hace la cita a las revistas referenciadas. Las cifras irán discriminadas por año y por título


    Se ofrece la posibilidad de obtener listados donde los títulos de revistas aparezcan en orden descendente de frecuencias agrupados por especialidades (Economía, Geografía, Psicología...)

  2. Trabajos

    Se ofrece un listado por especialidades de los trabajos más citados en la base de datos, con indicación de los trabajos citadores y citados.

  3. Autores

    Se ofrece un listado por especialidades de los autores más citados en la base de datos, con indicación de los trabajos citadores y citados.

  4. Instituciones

    Se ofrece un listado por especialidades de las instituciones más citadas en la base de datos, con indicación de los trabajos citadores y citados.

  5. Datos generales

    • Número de publicaciones analizadas por año

    • Número de artículos analizados por año

    • Número de referencias dadas por año

    • Número de citas recibidas por año

    • Número de revistas citadas por año

    • Número y porcentaje de trabajos citados

    • Número medio de citas por trabajo


7. Referencias bibliográficas

  1. Alcain Partearroyo, M Dolores. Índices de impacto de las revistas españolas de Ciencias Sociales (Biblioteconomía y Documentación, Psicología, Psiquiatría y Urbanística y Ordenación del Territorio) a partir del análisis de las revistas mejor valoradas por los pares. Madrid, 2003. Accesible en http://www.cindoc.csic.es/info/inforev2.html [Consulta 2004-06-18]

  2. Garfield, E. 1996. The significant scientific literature appears in a small core of journals. The Scientist, 10(17), 13-16.


 © EC³ Evaluación de la Ciencia y de la Comunicación Científica
    Fecha publicación: 14/10/2004 - Fecha última modificación: 12/11/2008  Optimizada para MS-Explorer con resolución 1024 x 768 pixeles