¿CÓMO SE HA ELABORADO?

La elaboración de IN-RECJ ha implicado la realización de las siguientes operaciones:

  1. Identificación de la población de revistas científicas españolas especializadas en ciencias jurídicas que estén actualmente en circulación
  2. Distribución de revistas por disciplinas y especialidades
  3. Selección de las revistas fuente
  4. Desarrollo de la aplicación que soportará el índice de impacto
  5. Carga de datos
  6. Generación de indicadores
  7. Referencias bibliográficas


1. Identificación de la población de revistas científicas españolas especializadas en ciencias jurídicas que estén actualmente en circulación

La primera tarea consiste en identificar todas las revistas científicas españolas actualmente vigentes publicadas en el área de Ciencias Jurídicas. En principio, se trataba de localizar exhaustivamente todas aquellas revistas que pueden calificarse de científicas, esto es, todas aquellas que publican, con mayor o menor abundancia, artículos de investigación original, o sea, trabajos donde, empleando una metodología científica contrastada, se aporten datos nuevos al conocimiento establecido, independientemente de la calidad o relevancia que estos puedan tener. No se alude aquí, por tanto, a las publicaciones periódicas de finalidad informativa, como boletines, anuarios, memorias, etc... que, aun cumpliendo una función muy importante para el buen desenvolvimiento de la práctica profesional, carecen de sentido desde el punto de vista de la investigación, que es el ámbito en el que se mueve este proyecto.

Para efectuar dicha tarea se utilizan los principales directorios nacionales e internacionales especializados en el control de publicaciones periódicas: Directorio de revistas de LATINDEX, Directorio Español de Revistas de Ciencias Sociales y Humanidades alimentado por el CINDOC, Ulrichs Periodicals International Directory, Catálogo colectivo REBIUN.


2. Distribución de revistas por disciplinas y especialidades.

El siguiente paso consiste en la distribución de las revistas según disciplinas y, en el caso de las Ciencias Jurídicas, a Administración, Mercantil y el Derecho del Trabajo por especialidades, entendiendo por tales, las áreas de conocimiento en que se vertebran de acuerdo con el catálogo de áreas de conocimiento de las Universidades españolas.

Este punto es clave en el proceso se selección de revistas a incluir en el índice de impacto. Un prerrequisito para una construcción no sesgada, temáticamente hablando, del índice de impacto estriba en conseguir que las principales especialidades y subespecialidades estén representadas en la base de datos. Por consiguiente, al menos una revista especializada de cada área deberá figurar en el índice como revista fuente, esto es, revista de la cual se van a vaciar íntegramente todas las referencias bibliográficas de los artículos de investigación que publiquen.

Para realizar dicha tarea se utilizan dos procedimientos:

  • Las clasificaciones temáticas que las propias bases de datos consultadas utilizan para categorizar las revistas que indizan. A saber: C.D.U. (Clasificación Decimal Universal), Códigos de clasificación de la Unesco, Clasificación Dewey y clasificación temática Ulrich's.

  • El análisis de la citación emitida y recibida por cada una de las revistas que conforman la base de datos.



3. Selección de las revistas fuente.

En principio, podría pensarse que un índice de impacto del tipo que aquí se propone debiera cubrir todas las revistas científicas publicadas en el área de interés del mismo. Este planteamiento, sería no solo inviable por motivos económicos, sino innecesario, como diversos estudios bibliométricos han demostrado. Se ha comprobado que un número relativamente pequeño de revistas publica el núcleo sustancial de los resultados científicos significativos, en cualquier campo de conocimiento considerado. Este principio se conoce con el nombre de Ley Bradford. Estudios bibliométricos basados en el recuento de citas de las bases de datos de Thomson Scientific4 han demostrado que únicamente 150 revistas concentran la mitad de lo que es citado y un cuarto de lo publicado sobre un tema. Asimismo, se ha comprobado como un núcleo base de aproximadamente 2.000 revistas concentra el 85% de los artículos publicados y el 95% de los artículos citados en un área. Si tenemos en cuenta que en el mundo circulan unas 100.000 revistas científicas, podremos darnos cuenta como con un reducidísimo grupo de publicaciones podemos construir una base de datos realmente significativa.

Por consiguiente, nuestro objetivo ha sido identificar el núcleo de revistas científicas españolas de Ciencias Jurídicas más influyentes, y que, al mismo tiempo, respeten unos mínimos estándares de calidad editorial.

Para determinar la relevancia científica de una revista se han propuesto y empleado gran número de indicadores. La amplia mayoría de los mismos se puede incluir dentro de dos grandes categorías: aquellos que se cimentan en medidas subjetivas frente a los que consideran medidas objetivas. Los primeros se basan en una valoración de la calidad percibida por parte de los implicados en el área. Así, se propone a una serie de expertos que evalúen la calidad y relevancia de un grupo de revistas. Dado que la percepción individual puede estar sesgada por motivos de preferencias personales, la calidad final de cada uno de los medios de difusión de las investigaciones es igual a la media de la calidad percibida entre todos los interesados. Estos métodos subjetivos, a pesar de su aceptación tienen sus problemas por cuanto son el producto de una declaración verbal en un contexto social determinado obtenida por un procedimiento reactivo.

Frente a estas clasificaciones subjetivas, se encuentran aquellas que se basan en indicadores objetivos como son los basados en los recuentos de citas. La racionalidad de este tipo de estudios se asienta en que el motivo para publicar en las revistas especializadas es el de acumular conocimiento que pueda ser usado y reconocido por futuros investigadores en el avance de la ciencia. De esta forma, cuantas más veces haya sido citado un artículo, mayor será el impacto del conocimiento trasmitido sobre la comunidad científica y, por consiguiente, mayor su reconocimiento social.

En este proyecto se han utilizado ambos criterios, a fin de aprovechar sus fortalezas y minimizar sus debilidades. Diversos estudios, además, han venido comprobando que los resultados de las encuestas, cuando se realizan con todo tipo de cautelas, no suelen diferir notablemente de los obtenidos a partir de los índices de impacto, procedimiento más estándar, con menos indecisiones, más objetivo y, sobre todo, más barato.

Para conseguirlo se han empleado tres criterios:

  • Pervivencia o antigedad.

  • Opinión de los investigadores españoles medida a través de encuestas sobre la calidad percibida de las revistas de su especialidad.

  • Impacto científico de las revistas españolas de Ciencias Jurídicas tanto a nivel internacional como nacional.

El primer criterio actúa como prerrequisito para la entrada en la base de datos, esto es, aquella revista que no lo cumple queda automáticamente descartada. El segundo, es el criterio definitivo para la selección. En cualquier caso, conviene explicar el sentido de cada uno de estos criterios.

Una vez establecida la selección de revistas que se ajusta a este requerimiento mínimo el siguiente paso fue localizar el grupo de entre ellas que concentra la mayor parte de la atención de los científicos. Como se ha demostrado repetidamente, controlando esa parcela de revistas, generalmente reducida, se puede asegurar una altísima cobertura de las revistas y trabajos más influyentes o lo que es lo mismo aquellas que contribuyen más activamente al progreso científico. Esta identificación se ha realizado teniendo en cuenta las distintas subespecialidades en que se vertebran las comunidades científicas españolas de Ciencias Jurídicas. Y para ello se han empleado los dos criterios subsiguientes: opinión de los investigadores y recuento de citas.

  1. Pervivencia o antigedad de las revistas

    La primera condición que se impone a la revistas que formarán parte del núcleo de publicaciones fuentes (citantes) es la pervivencia; sólo aquellas revistas que tuviesen una antigüedad mínima de seis años y que hubiesen venido publicándose puntualmente en dicho período podrían formar parte del índice de citas. Las razones son de orden científico y técnico o metodológico. La pervivencia de una revista es un factor que demuestra, por una parte, la necesidad de la revista como medio de comunicación para una comunidad científica y profesional determinada, y, por otra, la capacidad de la revista de ser un producto vivo, interesante y necesario para dicha comunidad. Por consiguiente, este aspecto, puede ser un indicador indirecto del peso específico de la revista en el panorama editorial. Pero, además hay otra razón de orden técnico. Para construir unos índices de impacto mínimamente solventes se necesita que la revista venga funcionando en un período más o menos amplio de tiempo dependiendo de la disciplina. Para determinar dicho período nada mejor que averiguar como envejece la literatura científica publicada en España en Ciencias Jurídicas. El envejecimiento u obsolescencia de las referencias bibliográficas insertas en los artículos mostraría en qué momento la mayoría de las misma deja de citarse, esto es, deja de ser directamente útil a una comunidad científica.

  2. Encuesta de opinión a investigadores españoles

    Las encuestas de opinión entre la comunidad científica se han utilizado repetidamente, y desde antiguo, para fijar la repercusión, influencia, relevancia, prestigio o reputación de las revistas que actúan como medios de comunicación en ella.

    Se han utilizado los datos de las encuestas desarrolladas por el CINDOC1 entre profesores de universidad adscritos a las áreas de conocimiento de ciencias sociales y jurídicas en 2002. Conviene advertir que a pesar, de los defectos metodológicos de que adolecen algunos de estos trabajos (sesgos de respuesta, baja tasa de respuesta...), los resultados pueden ser aprovechados para alcanzar nuestros propósitos.


  3. Impacto científico de las revistas españolas de Ciencias Jurídicas

    Con este criterio se pretende medir el impacto de las revistas a partir del recuento de citas que estas han generado tanto en un entorno nacional como internacional. En el caso de las Ciencias Jurídicas no tiene sentido emplear el impacto internacional, ya que el número de citas que reciben las revistas españolas en el contexto internacional es absolutamente irrelevante. Para la localización de las citas internacionales se ha utilizado la base de datos Web of Science, que es un compendio de las tres bases de datos de Thomson Scientific: Science Citation Index (SCI), Social Science Citation Index (SSCI) y Arts and Humanities Citation Index (A&HCI). Dicha tarea ha sido infructuosa ya que prácticamente ninguna revista española ha recibido citas de este tipo.

    Pero afortunadamente en las Ciencias Jurídicas, contamos con un estudio bibliométrico, desarrollado por el CINDOC1, que basándose en el recuento de citas bibliográficas de una muestra de revistas españolas de cada especialidad ha calculado su impacto bibliográfico. En líneas generales los resultados de citación nacional señalan como las revistas más citadas en España en cada especialidad concuerdan básicamente con las revistas mejor valoradas por los investigadores.

    A modo de conclusión, creo que estamos en disposición de afirmar que se ha diseñado una herramienta que permitirá emitir una muy buena radiografía de la investigación canalizada a través de las revistas científicas españolas de Ciencias Jurídicas. Y esto, fundamentalmente por las siguientes razones:




    1. Se obtiene el máximo respaldo posible por parte de la comunidad científica que va a ser objeto de evaluación con esta herramienta, ya que se ha utilizado la opinión de los propios investigadores a partir de encuestas (calidad percibida).

    2. Se obtiene una muy buena representación de los que es el mapa de la investigación española en Ciencias Jurídicas. Las distintas comunidades científicas en las que se vertebran las Ciencias Jurídicas españolas se encuentran convenientemente representadas.

    3. Se prima la selección sobre la exhaustividad. Por dos razones:


      • La ciencia es selectiva por naturaleza. Existe un proceso de selección natural que afecta a todas sus actividades. De forma que muy pocas serán las revistas de mayor reputación, impacto, relevancia, etc... (Bradford, 80/20)

      • Motivos económicos: complejidad técnica y elevados costes de un índice de citas



4. Diseño de la aplicación que soporta el índice de impacto

4.1. Estructura general de la base de datos

Siguiendo una metodología de diseño relacional la base de datos se estructura en tan sólo tres entidades:


  • Tabla de revistas: contiene los títulos normalizados y completos de las revistas.

  • Tabla de ejemplares: almacena los datos bibliográficos de los fascículos (año, volumen y número).

  • Tabla de artículos o trabajos: registra los datos que identifican a un trabajo autores, título, página inicial.


Utilizando el modelo Entidad / Relación (E/R) la estructura de la base de datos resultante tiene la siguiente apariencia:


Diseño de la base de datos relacional

En el gráfico 1 los rectángulos identifican a las entidades principales con las que trataremos: revistas, fascículos e ítem (todo ítem citable). Los rombos representan las relaciones existentes entre las distintas entidades.

4.2 Implementación de la base de datos

Como se comentará posteriormente, se ha hecho uso de un Sistema de Gestión de Base de Datos (SGBD) relacional. El modelo relacional, hace uso del concepto de tabla como base de implementación, por tanto, debemos de transformar las entidades y relaciones del modelo conceptual a tablas en el modelo implementable.

4.3 Diseño de la interfaz

La interfaz consta de una serie de ventanas organizadas según su funcionalidad y/o objetivos. La clasificación se puede realizar de la siguiente manera:

  • Ventanas de conexión y desconexión con el SGBD.

  • Formularios de carga de datos: con ellas podemos registrar en la base de datos, en la versión actual, los datos referentes a las revistas, los fascículos y la información esencial de los trabajos publicados. Estas ventanas dan la posibilidad al usuario de introducir, borrar y editar la información almacenada.

  • Herramientas de administración de la base de datos: con ellas, podemos realizar copias de seguridad de toda la información contenida en la base de datos, añadir otra base de datos, esto es realmente interesante si por ejemplo pretendemos completar la información que ya tenemos con la incorporación de nuevas revistas.

  • Ventanas de resultados: en ellas podemos visualizar distintos indicadores estadísticos y/o bibliométricos: factores de impacto, número de citas recibidas por revista, número de trabajos e ítem citables publicados por cada revista, número de autoreferencias y de autocitas. Así como ver que revistas citan a una dada; visualizar el ranking de los trabajos más citados, ver gráficamente la evolución de los factores de impacto a lo largo del tiempo, etc.

4.4 Interconexión global del sistema

Esquema del Sistema

En esta figura se representa las posibilidades de interconexión que permite el sistema. Actualmente, es posible realizar el proceso de carga y cálculo de indicadores de manera remota.

4.5 Descripción del entorno de desarrollo

Por motivos obvios de seguridad, robustez, eficiencia, escalabilidad e interconexión, se ha elegido como sistema de gestión de la base de datos (SGBD) al sistema PostgreSQL en su versión 7.1. El SGBD ha corrido bajo la plataforma SuSe Linux 9.1.

En PostgreSQL se han implementado las distintas tablas comentadas anteriormente, junto con las restricciones de integridad necesarias, además de los índices oportunos para agilizar los procesos de cálculo.

La GUI se ha realizado en JAVA 2. La elección de JAVA como lenguaje de desarrollo no es otra que la facilidad de que dispone para conectarse, de manera sencilla y transparente, con distintos SGBDs. Para esta interconexión JAVA dispone de un potente paquete llamado JDBC (Java Data Base Connection) que realiza esta tarea de manera sencilla y eficaz.

El sistema desarrollado, gracias al JDBC, permite que tanto el SGBD como la GUI se alojen en maquinas distintas, obviamente conectadas en red (vía Internet o Intranet). Con esto, gracias a la movilidad que proporcionan los dispositivos portátiles, permitimos que las personas encargadas del proceso de carga de datos puedan trabajar desde lugares distintos. Desde estos lugares pueden conectar con el SGBD centralizado y realizar la carga.

5. Carga de los datos

Para la carga de los documentos fuente y sus referencias en el caso de revistas en formato papel se consultan los originales, se marcan y cargan manualmente. En el caso de revistas con versión electrónica, se realiza el volcado directo a la base de datos, una vez etiquetada la información mediante la utilización de programas de conversión (PDF/texto) y del diseño de macros con editores de texto.

Este proceso concluye con la depuración de los datos introducidos a fin de detectar errores de corte mecánico u ortográfico y deficiencias en el control de autoridades.

6. Generación de indicadores

  1. Revistas

    De cada título de revista se ofrece la siguiente información:

    • Número de ítems publicados por año

    • Número de citas recibidas por año

    • Número de referencias dadas por año

    • Número de autorefencias por año

    • Número de autocitas por año

    • Tasas de autorreferenciación y de autociatación

    • Índice de impacto anual

    • Índice de inmediatez por año

    • Semiperíodo de las referencias citadas

    • Porcentaje de trabajos citados

    • Matriz de doble entrada de la revista que hace la cita a las revistas referenciadas. Las cifras irán discriminadas por año y por título

    • Matriz de doble entrada de la revista que hace la cita a las revistas referenciadas. Las cifras irán discriminadas por año y por título


    Se ofrece la posibilidad de obtener listados donde los títulos de revistas aparezcan en orden descendente de frecuencias agrupados por especialidades (Economía, Geografía, Psicología...)

  2. Trabajos

    Se ofrece un listado por especialidades de los trabajos más citados en la base de datos, con indicación de los trabajos citadores y citados.

  3. Autores

    Se ofrece un listado por especialidades de los autores más citados en la base de datos, con indicación de los trabajos citadores y citados.

  4. Instituciones

    Se ofrece un listado por especialidades de las instituciones más citadas en la base de datos, con indicación de los trabajos citadores y citados.

  5. Datos generales

    • Número de publicaciones analizadas por año

    • Número de artículos analizados por año

    • Número de referencias dadas por año

    • Número de citas recibidas por año

    • Número de revistas citadas por año

    • Número y porcentaje de trabajos citados

    • Número medio de citas por trabajo


7. Referencias bibliográficas

  1. Alcain Partearroyo, M Dolores. Índices de impacto de las revistas españolas de Ciencias Sociales (Biblioteconomía y Documentación, Psicología, Psiquiatría y Urbanística y Ordenación del Territorio) a partir del análisis de las revistas mejor valoradas por los pares. Madrid, 2003. Accesible en http://www.cindoc.csic.es/info/inforev2.html [Consulta 2004-06-18]

  2. Garfield, E. 1996. The significant scientific literature appears in a small core of journals. The Scientist, 10(17), 13-16.


 © EC³ Grupo de investigación: Evaluación de la ciencia y de la comunicación científica
    Fecha publicación: 14/10/2004 - Fecha última modificación: 12/11/2008  Optimizada para MS-Explorer con resolución 1024 x 768 pixeles