Revista Española de Documentación Científica, Vol.
33, No 2 (2010)
Estudios
Juan Miguel Campanario, Antonia Candelario. La influencia de las autocitas en el
aumento del factor de impacto en revistas de Ciencias Sociales. Vol. 33, No.2 (2010),
pp. 185-200

M. Paz Martín-Pozuelo. Prospectiva archivística: nuevas cuestiones, enfoques y
métodos de investigación científica. Vol. 33, No.2 (2010), pp. 201-224

Pablo Dorta-González, María Isabel Dorta-González. Indicador bibliométrico basado
en el índice h. Vol. 33, No.2 (2010), pp. 225-245

Enrique Orduña-Malea, Jorge Serrano-Cobos, Jose Antonio Ontalba-Ruipérez, Nuria
Lloret-Romero. Presencia y visibilidad web de las universidades públicas españolas.
Vol. 33, No.2 (2010), pp. 246-278

Notas y Experiencias
Emilio Ortiz Torres, María Virginia González Guitián, Inés Infante Pérez, Yoan
Viamontes Garrido. Evaluación del impacto científico de las tesis doctorales en
Ciencias Pedagógicas mediante indicadores cienciométricos. Vol. 33, No.2 (2010), pp.
279-286

José Luis Ortega, Isidro F. Aguillo. La participación española en los programas
europeos: análisis estructural del área de salud del 6.º Programa Marco. Vol. 33, No.2
(2010), pp. 287-297

Jordi Ardanuy, Lluis Quintana, Cristobal Urbano. Presencia internacional de los
estudios sobre literatura catalana en el A&HCI. Vol. 33, No.2 (2010), pp. 298-309

Noticias
Ángela Sorli Rojo. Taller 2010: La evaluación de la investigación en Humanidades y
Ciencias Sociales. Vol. 33, No.2 (2010), pp. 311-313

Crítica de libros
Emilia Currás. Redes Sociais e Colaborativas em Informaçao Cientifica. Vol. 33, No.2
(2010), pp. 315-317

Ana Extremeño. El Resumen Documental: Un reto didáctico. Vol. 33, No.2 (2010),
pp. 318-321

Ángela Sorli Rojo. Información y referencia en entornos digitales: desarrollo de
servicios bibliotecarios de consulta. Vol. 33, No.2 (2010), pp. 322-324

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 185-200, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.722
ESTUDIOS / RESEARCH STUDIES
La inﬂ uencia de las autocitas en el aumento del factor
de impacto en revistas de Ciencias Sociales
Juan Miguel Campanario*, Antonia Candelario*
Resumen: En este trabajo se indaga en el efecto de las autocitas en el aumento del factor
de impacto en revistas incluidas en el Social Sciences Citation Index entre 1998 y 2007.
Se estudian dos grupos de revistas: 63 cuyo factor de impacto aumenta después de
cuatro descensos sucesivos y 23 revistas cuyo factor de impacto aumenta durante al
menos seis años seguidos durante el intervalo estudiado de diez años. La variable
fundamental es el porcentaje de autocitas que contribuyen al factor de impacto. En
ninguno de los casos se encontró evidencia de que el factor de impacto haya aumen-
tado debido a un uso masivo de las autocitas.
Palabras clave: Factor de impacto, autocitas.
The inﬂ uence of self citations in the increase of impact factor
in Social Sciences journals
Abstract: In this work we study the effect of journal self citations in the increase of impact
factor of journals indexed in the Social Sciences Citation Index from 1998 to 2007.
Two sets of journals are studied: 63 journals in which the impact factor increased after
four successive decreases and 23 journals in which the impact factor increased in at
least six successive years during the period studied. The main variable is the percentage
of journal self citations that contribute to impact factor. No proof was found of widespread
manipulation of the impact factor as a result of the high level of use of self citations in
journals.
Keywords: Impact factor, self citations.
* Departamento de Física. Universidad de Alcalá. Alcalá de Henares, Madrid.
Correo-e: juan.campanario@uah.es, robertonia71@terra.es.
Recibido: 15-4-09; aceptado: 16-9-09.
185

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
1. Introducción
El factor de impacto (FI) de una revista es probablemente el indicador biblio-
métrico más utilizado. Este indicador se calcula para cada año (A) de acuerdo
con la siguiente ecuación (Glänzel y Moed, 2002):
Citas en año A a documentos publicados en A1 y A2
FI (A) =
Items citables publicados en años A1 y A2
En la ecuación anterior, A1 y A2 son los dos años anteriores a aquél para el
que se calcula el FI. Thomson Reuters (antes ISI) contabiliza en el numerador
todas las citas que reciben las revistas. Sin embargo, en el denominador sólo se
incluyen los items citables: artículos, notas y revisiones (Glänzel y Moed, 2002;
Golubic y otros, 2008; Frandsen, 2008).
El FI ha adquirido una relevancia tal que son muchas las revistas cientíﬁ cas
que lo utilizan como un reclamo publicitario. De hecho, es habitual que en las
páginas web de las editoriales y de las revistas académicas se anuncien los in-
crementos de los FI y que los editores escriban notas comentando dichos incre-
mentos (por ejemplo, Urti, 2003; Sorelle, 2001; Oreopoulos, 2000). Algunos edi-
tores incluso van más allá y aﬁ rman explícitamente que uno de sus objetivos
consiste precisamente en incrementar el factor de impacto de su revista (Karlan,
2008; Kuk, 2008; Lundberg, 2003; Rew, 2008; Shugan, 2002). Son muchos los
estudios que se realizan sobre el FI, incluso en nuestro país (por ejemplo, Gon-
zález y otros 2008).
Dado que el FI suele utilizarse como un indicador de la calidad, no es raro
que una revista en la que este indicador aumenta atraiga más y mejores origina-
les. Estos artículos, probablemente, consigan más citas que otros de menor cali-
dad y el proceso, inteligentemente conducido por un comité editorial activo,
puede dar lugar a aumentos sucesivos del FI y del prestigio de una publicación.
Si el aumento continuado del FI es una situación deseable para una revista,
su descenso año tras año es una mala noticia. Como es sabido, muchas institu-
ciones valoran los artículos en función de la posición en Journal Citation Reports
(JCR) de las revistas en que aquellos aparecen. Una serie sucesiva de descensos
del FI puede hacer que muchos autores duden de la calidad de la revista en
cuestión. En este escenario, los autores de los mejores trabajos probablemente
decidan enviar sus artículos a otras revistas con más FI y el proceso puede dar
lugar a nuevos descensos en este importante indicador.
Dado que el aumento en el FI es un objetivo deseable para los editores de
las revistas cientíﬁ cas, éstos pueden utilizar diversas estrategias para conseguir
este ﬁ n. Por supuesto, la mejor estrategia consiste en publicar buenos trabajos
que atraigan citas. Sin embargo, no siempre es fácil averiguar si un trabajo que
se considera bueno atraerá citas para la revista. En la literatura especializada
abundan los otros mecanismos que pueden dar lugar a aumentos en el número
de citas recibidas. Estos aumentos se traducen en mejoras en el factor de im-
186
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
pacto. Por ejemplo, se suele aﬁ rmar que las revisiones (reviews) atraen citas
(Neuberger y Counsell, 2002). Además, los editores pueden solicitar artículos a
investigadores prestigiosos o pueden ofrecer mejores servicios a todos los auto-
res con la esperanza de conseguir más envíos, lo que implica disponer de más
posibilidades para seleccionar artículos (Chew y otros, 2007). En la literatura
abundan las descripciones de otro tipo de estrategias que han sido cuestionadas
y criticadas. Por ejemplo, los editores pueden sugerir sistemáticamente a los
autores que citen artículos aparecidos en números recientes de la revista (Man-
nino, 2005; Smith, 1997; Neuberger y Counsel, 2002; Sevinc, 2004; Kirchhof y
otros, 2007).
En trabajos anteriores, hemos investigado el papel de las autocitas en el au-
mento del FI de revistas incluidas en el Science Citation Index en dos situacio-
nes diferentes: cuando se producían cuatro descensos consecutivos seguidos de
un aumento (Campanario y Molina, 2009) y cuando las revistas multiplicaban
por cuatro su FI (Andrade y otros, 2009). En ningún caso se detectaron eviden-
cias de manipulación mediante el uso masivo de las autocitas a los dos años
anteriores (autocitas que contribuyen al factor de impacto). No obstante, se de-
tectaron algunos incrementos en el porcentaje de esta variable en algunas revis-
tas. Estos aumentos se pueden atribuir a procesos de aceleración de la investi-
gación, que llevaban a los investigadores a citar preferentemente artículos
recientes.
Las posibilidades no terminan ahí. Por ejemplo, los editores de las revistas
pueden sugerir a los autores que citen artículos recientes de otras revistas que
pertenezcan al mismo grupo editorial (Falagas y Alexiou, 2007). También es po-
sible publicar comentarios y otro tipo de material editorial con muchas citas a
artículos recientes publicados en la revista, aunque no está demostrado que esta
estrategia sea utilizada a gran escala por las revistas académicas (Campanario y
González, 2006; González y Campanario, 2007).
Los editores de las revistas académicas pueden también cambiar las pautas
de publicación. Por ejemplo, es posible publicar materiales que atraigan citas y
que, por la propia deﬁ nición de FI no entren en la contabilidad del denominador.
Para ello, las revistas pueden intentar disimular los trabajos de investigación y
hacerlos pasar como notas o contribuciones cortas, con el ﬁ n de que no sean
tenidos en cuenta por Thomson Reuters (antes ISI) en el denominador del FI.
Por último, una revista podría publicar más cartas al editor, con el ﬁ n de aumen-
tar el número de citas recibidas, sin incrementar el denominador de la ecuación
del factor de impacto (Matías-Guiu y García-Ramos, 2008). Golubic y otros (2008)
realizaron un estudio sobre el efecto de los materiales clasiﬁ cados por Thomson
Reuters (antes ISI) como «no citables» en el FI correspondiente al año 2004 en
revistas indexadas en JCR. Hay ciertos documentos que están excluidos por
Thomson Reuters (antes ISI) del denominador del FI, aunque, realmente, contie-
nen material original de investigación (por ejemplo, 9,5 % en Nature, 7,2 % en
New England Journal of Medicine). Estos documentos fueron citados y, de hecho,
contribuyeron al FI.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
187

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
El efecto de las autocitas en el FI fue estudiado en 2002 para las revistas in-
cluidas en JCR (Science Edition) y se encontró que, en general, inﬂ uían poco en
el rango relativo de las revistas con más FI (McVeigh, 2002). En los últimos dos
años, los FI de las revistas académicas vienen acompañados de un cálculo del
mismo excluyendo autocitas. Este nuevo FI sin autocitas de las revistas permitirá
a los lectores detectar en qué medida una revista es mayoritariamente citada por
otras o por los autores que publican en ella. Por supuesto, las posibles manipu-
laciones del FI utilizando autocitas serán descubiertas fácilmente. En 2008, un
total de 20 títulos fueron excluidos del JCR debido al elevado porcentaje de au-
tocitas que contribuían al FI, en algunos casos, superior al 90 % (Thomson Reu-
ters, 2009).
El editor de una revista puede ejercer un cierto control sobre el número de
documentos citables que se publican. Por ejemplo, si una revista publica 60 ar-
tículos en 2004 y 40 artículos en 2003, el denominador del FI correspondiente al
año 2005 será de 100. El editor podría optar por publicar menos artículos (por
ejemplo, 50 + 30) pero si estos artículos atraen menos citas que los anteriores,
el FI disminuirá. Si el editor y los revisores son capaces de identiﬁ car los artícu-
los que atraerán citas y les dan prioridad, una disminución en el número de
artículos publicados puede contribuir a aumentar el FI.
Opthof, Coronel y Janse realizaron unas simulaciones muy interesantes con
datos de la revista Cardiovascular Research. Su objetivo fue estudiar cómo habría
cambiado el FI de esta revista si hubiese publicado menos documentos. Para ello,
los autores eliminaron sucesivamente en sus simulaciones diversos artículos en
función de las puntuaciones asignadas por los revisores que los analizaron en su
día. Naturalmente, se restaron de la contabilidad total las citas recibidas por los
artículos eliminados. Los autores encontraron que los FI obtenidos cuando se
eliminaban los artículos menos valorados por los revisores eran mayores que los
FI originales entre 1999 y 2001 (Opthof y otros, 2002). Al menos en este caso, si
la revista hubiese seguido las recomendaciones de sus revisores y hubiese pu-
blicado menos artículos, su FI habría aumentado.
De acuerdo con lo anterior, el objetivo de este estudio consiste en extender
el trabajo previo en la línea de investigación sobre el FI de las revistas académi-
cas (Campanario y Molina, 2009; Andrade y otros, 2009). En los estudios ante-
riores se investigó el efecto de las autocitas de la revista en el factor de impacto.
Las revistas analizadas en los trabajos anteriores estaban indexadas en el Science
Citation Index. Se trata ahora de indagar en el papel de las autocitas en el au-
mento del FI de revistas incluidas en el Social Science Citation Index siguiendo
un enfoque similar al de los trabajos citados. Tiene interés realizar este nuevo
estudio porque la dinámica de comunicación y publicación en ciencias sociales
es diferente en muchos aspectos de la dinámica de comunicación y publicación
en ciencias. Por ejemplo, hay menos revistas de ciencias sociales indexadas en
Thomson Reuters (antes ISI). Esto hace que la competencia por ﬁ gurar en el
Social Science Citation Index sea bastante dura.
188
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
El estudio de las revistas de ciencias sociales se hace en dos situaciones di-
ferentes:
a) En revistas cuyo FI disminuye durante al menos 4 años en el período
1998-2007 y luego vuelve a aumentar.
b) En revistas cuyo factor de impacto aumentó durante seis años seguidos
en el período de diez años estudiados.
2. Metodología
Se estudió la evolución del FI de revistas incluidas en la base de datos Social
Sciences Citation Index entre 1998 y 2007, utilizando datos obtenidos de JCR para
la interface web disponible para las universidades españolas.
En primer lugar, identiﬁ camos un conjunto de revistas formado por aquellas
cuyo FI había experimentado al menos cuatro descensos consecutivos seguidos
de un aumento. Se trataba de investigar posibles casos de manipulación del fac-
tor de impacto ante una situación de descensos continuados. Esta situación es
indeseable para todos los actores implicados en la gestión y uso de una revista
académica. Una situación de descenso continuo hace poco atractivas las revistas
para los autores. Por otra parte, para los miembros del comité editorial, resulta
igualmente poco deseable dicho escenario debido a que la revista en la que sir-
ven pierde prestigio. Es posible que las revistas traten de evitar la tendencia
descendente utilizando las autocitas como un recurso para incrementar el factor
de impacto.
En segundo lugar, identiﬁ camos las revistas cuyo FI había aumentado duran-
te seis años seguidos en los 10 años comprendidos en el período estudiado. Esta
es una situación en la que también podrían producirse manipulaciones del factor
de impacto de las revistas en cuestión mediante el recurso a las autocitas.
En ambos casos, sólo se tuvieron en cuenta las revistas incluidas en Social
Sciences Citation Index durante todos los años estudiados y cuyo título abrevia-
do (según JCR) no cambió. Se identiﬁ caron 63 revistas que cumplían el primer
criterio y 23 que cumplían el segundo. El enfoque fue similar al de trabajos an-
teriores realizados con revistas incluidas en el Science Citation Index (Andrade y
otros, 2009; Campanario y Molina, 2009).
Del total de revistas seleccionadas en el primer grupo (63), se excluyeron
aquéllas en las que el número absoluto de citas recibidas fue menor que 20
duran te al menos 4 años. Esto se hizo para evitar interpretaciones espurias de-
bidas a un número escaso de citas. Las revistas excluidas por esta razón son: Eur.
J. Psychiat.; Eur. J. Psychol. Educ.; J. Black Stud.; J. Jpn. Stud.; Labor Hist.; Ocean.
Dev. Int. Law; Prog. Plann.; Program. Electron. Lib. y Sociol. Trav. En el conjun-
to de revistas resultante, deﬁ nimos el «año del cambio de tendencia» (ACT) como
el año en el cual se rompe la tendencia decreciente en el FI para aumentar de
nuevo. Por ejemplo, en la revista Africa, el año del cambio de tendencia es 2004
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
189

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
porque el FI disminuye entre 1999 (año de partida) y 2003 y aumenta de nuevo
en 2004.
En el segundo caso estamos interesados en estudiar la proporción de autoci-
tas que contribuyen al factor de impacto en revistas cuyo FI crece durante un
período de varios años. Seleccionamos aquellas revistas indexadas en JCR (Social
Sciences Citation Index) que cumplen las siguientes condiciones:
a) Existen datos para todo el período investigado (1998-2007).
b) El
FI crece al menos durante seis años seguidos en dicho período.
Los criterios anteriores dan lugar a una muestra de 23 revistas. De nuevo, con
el ﬁ n de evitar interpretaciones sesgadas, eliminamos del conjunto anterior dos
revistas en las cuales la variable CFI fue menor de 20 en al menos 4 años (estas
revistas eliminadas son Libr. Inform. Sci. Res. y Stud. Comp. Int. Dev.).
Para las revistas analizadas se obtuvieron los siguientes datos para cada año:
a) CFI: Citas que contribuyen al FI, es decir, citas a los artículos publicados
en los dos años anteriores.
b) A: Número de documentos citables publicados en los dos años anteriores.
c) ACFI: Autocitas que contribuyen al FI. Este dato se obtuvo de la matriz
de citas recibidas (Cited Journal Data) de JCR. En los casos en que no
aparecen datos de autocitas en Journal Citation Reports (JCR) se asignó
un valor de 0 a esta variable.
Los datos anteriores sirvieron para calcular otras variables que se detallan a
continuación:
a) ACFI/CFI: Para estudiar el efecto de las autocitas en la variable CFI, es
útil deﬁ nir la variable ACFI/CFI expresada como un porcentaje. Esta va-
riable mide la contribución relativa de las autocitas de la revista (ACFI)
a las citas que se utilizan para obtener el FI (CFI).
b) IACFI: Sin embargo, hay que tener en cuenta que en una revista deter-
minada, un alto valor de la variable ACFI/CFI el año del cambio de ten-
dencia no tiene por qué ser indicio de manipulación de las citas, ya que
en dicha revista ese valor alto podría ser habitual durante todos los años.
Esto podría ocurrir, por ejemplo, en revistas que sean el foro de referen-
cia en una especialidad determinada o en revistas muy cerradas con co-
munidades de autores que leen y citan sus artículos en los trabajos que
publican en la misma revista. Es necesario, por tanto, calcular una nueva
variable que nos permita estudiar el incremento en el año del cambio de
tendencia de la participación de las autocitas en las citas que contribuyen
al factor de impacto. Para ello comparamos el cociente entre ambas va-
riables (ACFI/CFI) en el año del cambio de tendencia con el valor medio
de los cinco años anteriores (que son, como sabemos, el año de partida
190
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
y los años en que el FI disminuye). Por tanto, esta nueva variable que
mide el incremento se calcula así:
ACFI/CFI el año del cambio de tendencia
IACFI (A) = Valor medio de ACFI/CFI durante los cinco años previos
c) MACFI(A1-A4): Valor medio del cociente ACFI/CFI los cinco años ante-
riores al año del cambio de tendencia (año de partida y cuatro años de
descensos del FI). El cociente se expresa como un porcentaje.
Dada la especial naturaleza del trabajo que se aborda, se estima imprescin-
dible disponer de criterios exigentes para estudiar el efecto de las autocitas en
el factor de impacto. Por ejemplo, no se puede concluir que un simple aumento
en el número de autocitas es una evidencia de manipulación sin comparar este
dato con los valores de años anteriores.
3. Resultados y discusión
3.1. Descenso
del
FI durante cuatro años consecutivos seguido
de un aumento del mismo
Al igual que en un trabajo anterior, clasiﬁ camos las revistas de acuerdo con
la incidencia de las autocitas (ACFI) en el aumento del FI en el año del cambio
de tendencia. Tienen interés en este caso las revistas en las cuales la variable CFI
aumentó y A disminuyó o no cambió. En estos casos, el FI aumentó debido a
que ambos factores contribuyeron en el mismo sentido o, al menos, no lo hicie-
ron en sentidos opuestos. También tienen interés las revistas en las que las va-
riables CFI y A aumentan. En este caso, el FI aumenta debido a que el efecto
positivo del incremento en la variable CFI tiene más importancia que el efecto
negativo del aumento de A.
Las revistas en las cuales las variables CFI y A disminuyen aumentan su FI el
año del cambio de tendencia debido a que el efecto negativo del descenso de
CFI se compensa con el efecto positivo de la disminución de A. Dado que esta-
mos interesados en estudiar el efecto de las autocitas en el aumento del FI,

excluimos estas revistas del análisis siguiente. Las revistas en esta categoría son:
Am. Hist. Rev., Brain Lang, Fortune y New Republic.
Como ejemplo, la ﬁ gura 1 muestra la evolución de las variables FI, y ACFI/
CFI (expresado como un porcentaje) para la revista J. Doc. Como puede com-
probarse, el factor de impacto (FI) disminuye durante 4 años seguidos y aumen-
ta al siguiente. La variable ACFI/CFI muestra una evolución paralela al factor de
impacto, pero en el año anterior al del cambio se observa un incremento notable
que continúa en el año del cambio.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
191

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
FIGURA 1
Evolución de las variables «FI» y «ACFI/CFI» (expresada como porcentaje)
para la revista «J. Doc.» en el período comprendido entre 2001 y 2006
(el año del cambio de tendencia).
2,5
30
25
2,0
ACFI/CFI
20
1,5
FI
15
FI
1,0
10
0,5
5
0
0
2001
2002
2003
2004
2005
2006
Año
En la tabla I se muestran los datos relevantes para las revistas en las cua-
les se produce un aumento en la variable CFI en el año del cambio de ten-
dencia.
En la muestra estudiada, hay un conjunto de 29 revistas con un valor de la
variable IACFI menor o igual que la unidad. Es evidente que en estas revistas el
aumento de la variable CFI no puede asociarse a un aumento en el porcentaje
de autocitas en el año del cambio de tendencia con respecto a los años anterio-
res. Seleccionamos las revistas en las cuales la variable IACFI tiene un valor su-
perior a 1,3 y el cociente ACFI/CFI es mayor que el 20 % en el año del cambio
de tendencia. Hay 5 revistas en que cumplan las condiciones anteriores: Ethics
Behab, J. Doc., Med. Sci. Law., Philos Public Aff y Res. Teach Engl. Podría argu-
mentarse, sin embargo, que los valores de la variable ACFI son menores de 10
en varias de estas revistas durante varios años anteriores al año del cambio y
este número es muy pequeño como para servir de evidencia de manipulación
del factor de impacto mediante las autocitas.
192
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
IACFI(A)
1,42
0,60
0,30
0,69
1,33
0,61
1,19
0,49
1,31
0,09
0,69
0,99
0,00
0,29
1,06
1,29
0,58
0,44
ACFI(A)/CFI(A)
6,7
6,9
6,1
9,7
5,3
1,4
0,0
4,2
8,5
15,0
35,1
53,7
26,9
12,8
58,6
38,0
11,7
17,6
MACFI(A1-A4)
4,6
0,3
9,1
10,5
58,8
22,2
10,0
16,0
45,2
11,0
20,6
16,3
18,7
59,0
14,5
35,9
14,6
40,5
ACFI/CFI-A
6,7
6,9
6,1
9,7
5,3
1,4
0,0
4,2
8,5
15,0
35,1
53,7
26,9
12,8
58,6
38,0
11,7
17,6
ACFI/CFI-1
0,0
0,0
7,9
9,1
0,0
8,3
8,6
10,0
63,2
20,0
18,1
32,3
15,4
17,5
57,9
37,8
25,0
54,5
ACFI/CFI-2
4,8
6,1
0,0
3,6
64,7
10,0
16,7
14,3
28,2
10,6
23,5
12,5
21,7
81,0
19,3
10,2
11,5
38,5
ACFI/CFI-3
9,5
5,9
6,7
5,6
5,3
0,0
6,8
16,0
51,2
26,1
10,1
48,8
18,8
43,5
16,7
52,2
12,8
40,9
ACFI/CFI-4
7,7
0,0
5,8
6,6
1,4
9,5
55,8
21,4
14,2
75,7
29,2
13,6
15,2
65,4
18,4
24,2
17,2
50,0
ACFI/CFI-5
5,3
0,3
6,3
14,3
59,1
33,3
23,8
23,0
41,0
23,2
35,5
34,9
20,3
47,4
25,6
45,8
10,4
18,5
ACT
le «CFI» el año del cambio de tendencia
2004
2005
2006
2005
2006
2005
2005
2007
2005
2006
2006
2006
2005
2005
2003
2007
2005
2003
b
3
2
2
3
8
7
1
0
2
7
5
3
ACFI(A)
13
20
22
23
17
41
aria
1
3
0
0
1
6
0
2
3
3
6
ACFI1
12
31
10
11
18
11
17
1
2
3
3
4
7
0
1
6
3
5
ACFI2
11
21
11
14
25
17
11
4
6
2
3
7
1
3
0
4
5
5
9
ACFI3
21
15
20
25
10
35
2
6
0
3
7
8
4
7
9
ACFI4
24
24
28
10
24
17
16
10
13
4
3
1
4
5
ACFI5
26
17
10
47
25
38
11
22
45
18
11
27
11
ABLA I
T
FI(A)
0,417
0,755
0,353
0,518
1,043
2,289
1,051
1,807
0,565
0,896
1,078
0,354
1,404
0,800
1,301
1,017
1,035
0,279
FI1
0,204
0,432
0,224
0,263
0,688
1,800
0,689
1,495
0,250
0,464
0,648
0,226
1,148
0,375
0,529
0,614
0,218
0,151
oduce un aumento en la v
FI2
0,412
0,447
0,270
0,333
1,021
1,837
0,722
1,571
0,370
0,644
0,810
0,266
1,371
0,475
0,648
0,967
0,419
0,162
FI3
0,490
0,932
0,295
0,389
1,062
2,027
0,788
1,591
0,375
0,712
0,836
0,307
2,028
0,490
0,761
1,104
0,629
0,314
FI4
0,565
0,935
0,378
0,609
1,083
2,061
0,902
2,269
0,545
0,720
1,137
0,329
2,465
0,704
0,892
1,301
0,879
0,382
FI5
0,596
0,978
0,797
0,824
1,239
2,429
1,419
2,377
0,674
0,788
1,574
0,528
2,561
0,741
1,035
1,472
0,941
0,491
vistas en las que se pr
e
T REV
TH CAR
a las r
W REV
V
W REV
Revista
-J HEAL
Y
ARD BUS REV
V
TH SOC WORK
Datos par
THOL U LA
AFRICA
BUS HIST
CAN J AGING
CA
COMP POLIT
CURR ANTHROPOL
ECON HIST REV
ENVIRON PLANN D
ETHICS BEHA
ETHNIC RACIAL STUD
FORDHAM LA
FOREIGN LANG ANN
HAR
HEAL
HOUSING STUD
IND LABOR RELA
INQUIR
INT J
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
193

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
IACFI(A)
0,85
0,98
0,31
0,73
1,12
1,36
0,44
0,88
1,27
1,47
1,34
1,31
0,93
0,35
1,20
0,44
0,98
1,96
1,19
ACFI(A)/CFI(A)
3,8
5,6
8,6
4,2
8,9
9,5
33,3
12,3
19,2
22,1
51,1
25,0
19,5
10,5
65,0
14,0
84,0
34,3
28,0
MACFI(A1-A4)
5,0
2,9
8,0
39,2
12,5
12,6
26,5
16,3
19,4
58,0
19,6
14,6
70,1
25,7
11,6
21,6
85,3
17,5
23,6
ACFI/CFI-A
3,8
5,6
8,6
4,2
8,9
9,5
33,3
12,3
19,2
22,1
51,1
25,0
19,5
10,5
65,0
14,0
84,0
34,3
28,0
ACFI/CFI-1
6,3
6,7
3,4
3,3
46,2
20,0
10,0
24,1
11,4
61,9
19,4
17,6
93,3
20,7
11,3
35,3
84,6
12,5
17,1
ACFI/CFI-2
1,9
9,9
5,0
6,3
6,8
40,0
16,5
38,7
47,1
18,6
61,7
33,3
15,8
47,1
24,2
24,0
82,4
22,2
22,4
ACFI/CFI-3
9,2
0,0
5,8
4,0
20,5
19,0
13,9
18,9
64,0
25,9
12,3
17,3
86,2
35,1
16,3
15,0
90,5
25,6
24,0
ACFI/CFI-4
3,0
0,8
5,4
8,9
52,6
11,3
10,6
34,6
13,5
28,3
68,0
10,0
13,4
59,4
16,3
16,3
75,0
15,0
35,4
ACFI/CFI-5
5,8
7,2
4,2
9,5
1,2
7,8
36,8
25,0
20,0
19,7
34,5
14,0
64,7
32,0
14,6
17,5
94,2
12,0
19,1
ACT
2006
2006
2005
2007
2006
2006
2003
2006
2003
2007
2003
2003
2005
2006
2006
2006
2007
2005
2005
7
2
5
4
3
3
8
4
4
ACFI(A)
16
21
23
10
69
13
26
21
12
14
6
1
1
4
4
6
2
2
6
6
3
6
ACFI1
14
14
26
45
14
12
11
8
8
1
9
8
3
4
8
8
7
6
8
ACFI2
14
12
29
11
42
14
15
9
0
4
3
7
4
6
ACFI3
10
14
10
32
34
13
25
13
17
19
10
18
5
9
2
4
1
5
7
7
6
ACFI4
20
16
12
15
34
43
19
11
24
28
9
5
8
3
4
2
9
7
6
ACFI5
14
19
13
19
50
22
16
18
49
18
(continuación)
FI(A)
0,447
1,161
1,300
0,361
0,878
1,439
0,449
0,338
1,600
1,972
2,736
0,835
0,256
0,763
1,005
0,737
0,117
0,357
0,538
FI1
ABLA I
0,295
0,631
0,421
0,211
0,563
0,983
0,438
0,307
1,107
1,657
2,081
0,682
0,205
0,492
0,702
0,327
0,061
0,253
0,398
T
FI2
0,370
0,752
0,775
0,239
0,598
1,542
0,566
0,348
1,269
1,667
2,375
0,768
0,236
0,559
0,705
0,455
0,085
0,360
0,713
FI3
0,733
1,048
0,952
0,309
0,650
1,603
0,654
0,373
1,286
1,754
2,638
0,915
0,403
0,673
0,707
0,580
0,103
0,371
0,750
FI4
0,745
1,449
1,044
0,361
0,848
1,648
0,679
0,407
1,818
1,803
2,927
1,057
0,444
0,827
0,866
0,623
0,139
0,400
0,798
FI5
0,864
1,660
1,150
0,390
0,866
2,021
0,857
0,447
1,826
2,192
3,510
1,115
0,500
0,926
1,108
0,635
0,200
0,472
0,949
W
Revista
W CRIM
TURE
INT J GROUP PSYCHOTH
INT J URBAN REGIONAL
J CRIM LA
J CURRICULUM STUD
J DEV STUD
J DOC
J ECON HIST
J ECON ISSUES
J LEARN SCI
J LEGAL STUD
J MEM LANG
J MONEY CREDIT BANK
J POST KEYNESIAN EC
J PROD ANAL
J REHABIL RES DEV
JUDICA
KRIMINALISTIK
MED SCI LA
MON LABOR REV
194
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
IACFI(A)
0,63
1,14
0,79
2,58
1,83
1,35
0,82
0,62
0,69
0,59
1,03
0,67
4,97
ACFI(A)/CFI(A)
5,1
4,0
6,5
9,1
5,3
8,0
8,7
93,3
35,3
16,0
42,9
14,6
11,3
MACFI(A1-A4)
8,1
5,1
8,7
7,9
8,9
1,7
81,8
13,7
31,8
23,3
13,1
11,0
11,8
ACFI/CFI-A
5,1
4,0
6,5
9,1
5,3
8,0
8,7
93,3
35,3
16,0
42,9
14,6
11,3
acto (se expresa como
ACFI/CFI-1
9,2
0,0
3,1
0,0
0,0
83,3
33,3
11,1
20,1
31,3
11,1
13,1
28,6
ACFI/CFI-2
6,4
5,3
4,9
3,9
5,7
70,0
11,8
14,9
41,7
14,6
17,5
10,5
11,1
ACFI/CFI-3
8,6
9,5
4,0
8,9
2,8
0,0
6,8
4,0
0,0
73,3
50,0
19,6
12,2
ACFI/CFI-4
6,4
7,4
8,1
6,3
2,2
7,2
5,1
0,0
88,9
14,3
20,0
19,2
18,3
ACFI/CFI-5
9,7
3,2
5,0
8,6
5,3
8,2
3,0
93,2
36,1
32,0
29,9
16,8
17,5
ACT
2004
2004
2004
2004
2007
2006
2005
2006
2004
2004
2006
2005
2003
1
6
6
7
6
2
2
ACFI(A)
15
56
23
26
23
22
0
2
3
1
0
3
0
ACFI1
21
25
65
10
16
67
1
2
5
7
4
9
2
ACFI2
16
21
15
15
11
13
2
1
9
7
0
8
0
ACFI3
23
33
11
10
10
11
xpresa como un porcentaje.
2
4
9
5
1
9
0
ACFI4
18
40
32
10
11
10
1
2
7
2
ACFI5
32
55
10
13
34
16
20
28
31
(continuación)
FI(A)
2,357
0,287
0,455
1,133
1,440
0,636
2,871
0,417
1,404
0,905
3,500
3,136
0,500
5).
A
1-
FI1
(
A
ABLA I
2,027
0,156
0,302
0,375
1,077
0,375
2,592
0,283
0,609
0,692
2,218
2,925
0,440
T
CFI
5)/
FI2
crece después de cuatro descensos consecutivos.
A
2,324
0,168
0,352
0,607
1,217
0,480
2,643
0,417
1,260
0,704
2,388
3,053
0,729
.
FI
para el año del cambio. Se e
1-
FI
los cinco años anteriores al año del cambio de tendencia (año de partida y cuatro años de descensos del
(
A
/
CFI
FI3
/
CFI
2,486
0,265
0,389
1,042
1,312
0,538
3,207
0,515
1,271
1,323
2,438
3,247
0,919
ACFI
ACFI
ACFI
) y
FI4
(
A
2,702
0,274
0,540
1,120
1,500
0,893
4,040
0,605
1,277
1,324
2,574
3,259
1,056
CFI
)/
FI5
(
A
3,113
0,353
0,620
1,600
1,611
1,333
6,085
0,610
1,396
2,024
3,093
3,278
1,320
ACFI
T
ARE
alor medio del cociente
alor medio del cociente
): V
4): V
(
A
A
: Cociente de las autocitas de la revista que contribuyen al factor de impacto entre las citas que contribuyen al factor de imp
CFI
Revista
A
W REV
1-
W REV
Autocitas de la revista que contribuyen al
): Cociente entre
(
A
)/
:
(
A
: Año del cambio de tendencia: año en que el
/
CFI
(
A
: Factor de impacto.
TIAL VISION
FI
ACFI
ACT
ACFI
MACFI
ACFI
IACFI
AST PRESENT
A
). El cociente se expresa como un porcentaje.
NEUROPSYCHOLOGY
OSTEUROP
P
PHILOS PUBLIC AFF
RAND J ECON
RES TEACH ENGL
SCHIZOPHRENIA BULL
SOC CHOICE WELF
SOC PSYCHOL QUAR
SP
T I BRIT GEOGR
U PENN LA
U PITT LA
un porcentaje).
FI
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
195

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
7,3
3,1
7,1
7,6
8,9
5,2
7,0
9,3
3,5

ACFI/CFI-2007
28,7
14,8
25,9
19,0
12,7
24,5
11,7
ACFI/CFI-2006
7,1
3,4
8,8
7,8
9,4
7,9
4,9
9,6
22,1
11,1
16,4
22,6
12,5
14,7
21,0
11,8
ACFI/CFI-2005
5,8
5,9
5,2
9,9
6,6
5,2
vistas
24,1
15,3
12,9
12,7
13,2
17,0
16,4
14,5
28,2
10,6
e
ACFI/CFI-2004
5,6
0,0
5,6
2,6
7,5
9,0
7,4
7,6
18,0
12,8
10,7
16,1
13,2
15,2
25,1
12,1
ACFI/CFI-2003
8,2
6,5
1,1
7,1
4,5
8,4
7,5
4,3
5,6
9,6
5,6
6,3
en las r
28,9
26,5
13,5
10,0
luy
ACFI/CFI-2002
9,6
7,7
4,0
8,9
6,0
8,1
8,8
15,3
10,2
9,6
17,0
44,3
18,2
15,8
24,1
11,6
xc
ACFI/CFI-2001
5,9
3,3
6,0
5,5
6,2
20,3
14,2
24,0
8,6
14,8
18,9
11,8
28,0
16,0
11,2
11,4
Se e
ACFI/CFI-2000
8,1
4,8
2,3
7,6
4,6
4,8
9,7
7,6
6,5
12,2
10,4
33,3
14,9
17,8
14,8
22,6
ACFI/CFI-1999
8,5
6,2
9,6
4,3
9,3
4,9
6,3
14,3
13,4
28,8
11,7
11,4
21,4
18,6
28,1
14,7
ACFI/CFI-1998
7,4
5,0
9,0
5,4
12,0
10,6
21,8
13,8
16,5
23,1
14,3
15,6
19,1
30,6
14,8
11,7
actor de impacto
FI-2007
2,400
2,317
3,026
1,396
2,922
3,038
0,818
2,682
3,144
1,318
0,951
1,400
2,580
2,561
2,298
2,237
FI-2006
2,007
3,023
2,531
0,877
2,861
3,556
0,838
2,537
3,138
1,450
1,123
1,423
2,419
2,445
2,310
2,170
FI-2005
1,944
3,233
2,259
0,789
2,443
3,421
1,016
2,054
3,078
1,706
1,058
1,256
2,094
2,183
1,957
2,098
actor de impacto es menor de 20 en al menos 4 años.
ABLA II
FI-2004
T
1,600
2,744
2,177
0,740
1,953
3,418
1,107
3,512
2,703
1,754
0,868
1,324
1,898
2,044
1,989
1,811
ante 6 de los 10 años analizados.
en al f
e los que aumenta el f
FI-2003
1,169
2,674
2,071
0,614
1,672
2,533
1,039
1,917
2,624
1,576
0,818
1,084
1,839
2,027
1,876
1,642
FI-2002
1,000
2,448
1,808
0,583
1,351
2,496
1,000
1,326
2,176
1,549
0,704
0,987
1,758
1,652
1,808
1,432
FI-2001
0,517
2,302
1,624
0,435
0,914
2,449
0,935
1,174
1,868
1,343
0,607
0,975
1,254
1,328
1,775
1,143
FI-2000
0,304
2,211
1,623
0,636
0,871
2,044
0,850
1,093
1,938
1,141
0,529
0,920
1,205
1,419
1,557
1,088
o «FI» aumenta dur
FI-1999
0,232
2,116
1,462
0,765
1,083
2,239
0,746
0,667
2,099
1,062
0,717
0,728
1,175
1,285
1,551
3,000
o de citas que contribuy
Se señalan los años entr
FI-1998
0,225
2,284
1,058
0,433
1,360
1,995
0,619
0,438
1,586
1,046
0,606
0,559
1,748
1,228
1,424
1,451
vistas cuy
e
V
T
TH DEV
V
V
atos de las r
Revista
D
TIENT CARE ST
T RES
A
en las cuales el númer
TH CARE MANAGER
AIDS P
AM POLIT SCI REV
CAN J PSYCHIA
CHILD CARE HL
DEV NEUROPSYCHOL
DEV PSYCHOL
HEAL
INFORM SYST RES
J AFFECT DISORDERS
J MOTOR BEHA
J PSYCHOSOM OBST GYN
PERS INDIV DIFFER
PERS SOC PSYCHOL B
PHYSIOL BEHA
PSYCHIA
PSYCHOL ADDICT BEHA
196
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
ACFI/CFI-2007
6,6
4,2
11,6
15,0
45,8
ACFI/CFI-2006
6,4
0,0
13,2
15,4
51,0
porcentaje.
ACFI/CFI-2005
5,4
2,3
13,1
16,4
61,2
ACFI/CFI-2004
5,7
5,9
14,4
18,3
43,1
ACFI/CFI-2003
3,6
2,9
10,9
14,5
62,7
ACFI/CFI-2002
4,5
5,6
12,4
15,5
54,9
ACFI/CFI-2001
5,1
6,1
8,6
26,2
61,3
ACFI/CFI-2000
6,2
0,0
14,4
32,4
50,0
. El cociente se expresa como un
FI
ACFI/CFI-1999
7,8
2,4
13,0
26,0
10,0
ACFI/CFI-1998
2,1
4,0
14,9
31,0
76,9
FI-2007
4,251
0,676
2,453
1,948
1,886
FI-2006
4,571
0,625
2,749
1,761
1,109
FI-2005
4,502
0,623
2,619
1,411
1,771
(continuación)
FI-2004
3,580
0,531
2,088
1,365
1,383
entre las citas utilizadas para calcular el
FI
FI-2003
3,558
0,500
1,983
1,158
1,255
ABLA II
FI-2002
T
2,961
0,493
1,931
1,050
1,085
FI-2001
2,766
0,446
1,840
0,627
0,633
FI-2000
2,565
0,324
1,691
0,442
0,490
FI-1999
3,036
0,631
1,468
0,658
0,444
FI-1998
3,188
0,379
1,380
0,689
1,209
T RES B-METH
: Cociente de las autocitas de la revista que contribuyen al
Revista
/
CFI
: Factor de impacto.
FI
ACFI
PSYCHOL SCI
SCAND J ECON
SOC SCI MED
TRANSPOR
Z PSYCHOSOM MED PSYC
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
197

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
3.2. Aumento
del
FI en 6 de los 10 años estudiados
En la muestra ﬁ nal quedan 21 revistas cuyos datos más relevantes aparecen
en la tabla II. Como puede apreciarse en esta tabla sólo en una revista la pro-
porción de autocitas en las CFI es superior al 30 % en un número apreciable de
años durante el período de crecimiento. Los porcentajes observados en el resto
de las revistas y años no parecen suﬁ cientemente elevados como para atribuir el
crecimiento del FI principalmente al uso masivo de las autocitas (ACFI) con dicho
ﬁ n. Es de esperar que una revista cuyo FI aumenta año tras año se convierta en
un foro de referencia de la disciplina. Por tanto, no sería raro que un aumento
en las citas fuese acompañado de un aumento en las autocitas. No cabe hablar
de pruebas evidentes de manipulación del FI si la participación de las autocitas
en las citas totales que contribuyen al factor de impacto no es muy destacada o
si porcentaje de autocitas con respecto a las citas no crece a un ritmo evidente-
mente exagerado.
4. Conclusiones
En este trabajo hemos utilizado un método similar al seguido en estudios
anteriores (Andrade y otros, 2009; Campanario y Molina, 2009). En esta ocasión
hemos centrado nuestro interés en dos conjuntos diferenciados de revistas de
ciencias sociales: revistas cuyo FI disminuye durante al menos cuatro años para
aumentar posteriormente y revistas que experimentan crecimientos durante seis
años seguidos en el intervalo de diez años estudiados.
En el primer caso, la distribución de las variables estudiadas permite clasiﬁ car
las revistas en función de los factores que determinan el aumento del FI después
de los años de descenso: citas e ítems citables. En aquellas revistas en las que
el aumento de las citas que contribuyen al factor de impacto está relacionado
con el aumento en el FI, el estudio de la parte de citas que son autocitas reveló
que hay cinco casos en las cuales esta variable puede tener un efecto relevante.
Sin embargo, el número absoluto de autocitas que contribuyen al factor de im-
pacto es muy bajo en algunas de estas revistas durante el período estudiado. Por
tanto, no puede aﬁ rmarse más allá de toda duda que los aumentos en la variable
FI en la muestra de revistas analizadas se deban a políticas deliberadas para au-
mentar la CFI mediante el abuso de las autocitas.
Por otra parte, en la muestra de revistas cuyo FI creció durante 6 años segui-
dos durante los 10 años estudiados, el análisis de la variable ACFI no revela una
inﬂ uencia generalizada en el incremento de dicho indicador bibliométrico.
Los resultados anteriores son paralelos a las tendencias encontradas en dos
estudios previos en el área de ciencias con revistas indexadas en el Science Ci-
tation Index (Andrade y otros, 2009; Campanario y Molina, 2009).
198
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

La inﬂ uencia de las autocitas en el aumento del factor de impacto en revistas de Ciencias Sociales
5. Agradecimientos
Este trabajo está ﬁ nanciado por un proyecto del Ministerio de Ciencia e In-
novación y (Dirección General de Investigación) y FEDER con la referencia
SEJ2007-66236/SOCI. Los autores quieren agradecer los comentarios y sugerencias
de dos revisores anónimos. Una versión reducida se envió al 2009 Meeting of
the Society for Social Studies of Science en Washington DC, October 28 to

November 1, aunque no llegó a presentarse.
6. Bibliografía
Andrade, A.; González-Jonte, R., y Campanario, J. M. (2009): Journals that increase their
impact factor at least fourfold in a few years: the role of journal self-citations. Scien-
tometrics, 80 (2), 515-528.
Campanario, J. M., y González, L. (2006): Journal self-citations that contribute to the im-
pact factor: Documents labeled «editorial material» in journals covered by the Science
Citation Index. Scientometrics, 69 (2), 365-386.
Campanario, J. M., y Molina, A. (2009): Surviving bad times: The role of citations, self-
citations and numbers of citable items in recovery of the journal impact factor after
at least four years of continuous decreases. Scientometrics, 81 (3), 859-864.
Chew, M.; Villanueva, E. V., y Van Der Weyden, M. B. (2007): Life and times of the impact
factor: retrospective analysis of trends for seven medical journals (1994-2005) and their
Editors’ views. Journal of the Royal Society of Medicine, 100 (3), 142-150.
Falagas, M. E., y Alexiou, V. G. (2007): Editors may inappropriately inﬂ uence authors’
decisions regarding selection of references in scientiﬁ c articles. International Journal
of Impotence Research, 19 (5), 443-445.
Frandsen, T. B. (2008): On the ratio of citable versus non-citable items in economics jo-
urnals. Scientometrics, 74 (3), 439-451.
Glänzel, W., y Moed, H. F. (2002): Journal impact measures in bibliometric research.
Scientometrics, 53 (2), 171-193.
Golubic, R.; Rudes, M.; Kovacic, N.; Marusic, M., y Marusic, A. (2008): Calculating impact
factor: How bibliographical classiﬁ cation of journal items affects the impact factor of
large and small journals. Science and Engineering Ethics, 14 (1), 41-49.
González, L., y Campanario, J. M. (2007): Structure of the impact factor of journals inclu-
ded in the Social Sciences Citation Index: Citations from documents labeled «editorial
material». Journal of the American Society for Information Science and Technology, 58
(2), 252-262.
González, G.; Castellano, M.; Valderrama, J. C., y Aleixandre, R. (2008): Literatura cientí-
ﬁ ca de autores españoles sobre análisis de citas y factor de impacto en Biomedicina
(1981-2005). Revista Española de Documentación Cientíﬁ ca, 31 (3), 344-365.
Karlan, B. Y. (2008): Dawn of a new era for Gynecologic Oncology. Gynecologic Onco-
logy, 108 (1), 2.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722
199

JUAN MIGUEL CAMPANARIO, ANTONIA CANDELARIO
Kirchhof, B.; Bornfeld, N., y Green, F. (2007): The delicate topic of the impact factor.
Graefe’s Archive for Clinical and Experimental Ophthalmology, 245 (7), 925-927.
Kuk, Y. (2008): Editorial. Solid-State Electronics, 52 (7), 997.
Lundberg, G. (2003): The «omnipotent» Science Citation Index Impact Factor. The IF is a
poor measure of the worth of journals, journal articles and authors. Medical Journal
of Australia, 178 (6), 253-254.
Mannino, D. M. (2005): Impact factor, impact, and smoke and mirrors. American Journal
of Respiratory and Critical Care Medicine, 171 (4), 417-418.
McVeigh, M. E. (2002): Journal self-citation in the Journal Citation Reports, http://www.
thomsonreuters.com/products_services/science/free/essays/journal_self_citation_jcr/
[consultado el 9 de abril de 2010].
Matías-Guiu, J., y García-Ramos, R. (2008): El factor de impacto y las decisiones editoria-
les. Neurobiología, 23 (6), 342-348.
Neuberger, J., y Counsell, C. (2002): Impact factors: uses and abuses. European Journal
of Gastroenterology & Hepatology, 14 (3), 209-211.
Opthof, T.; Coronel, R., y Janse, M. J. (2002): Submissions, impact factor, reviewer’s re-
commendations and geographical bias within the peer review system (1997-2002):
Focus on Germany. Cardiovascular Research, 55 (2), 215-219.
Oreopoulos, D. G. (2000): Editor’s report 1999: Record high impact factor puts PDI in
elite group. Peritoneal Dialysis International, 20 (1), 5-6.
Rew, D. (2008): Editor’s quinquennial report 2008. European Journal of Surgical Oncolo-
gy, 34 (5), 485-486.
Sevinc, A. (2004): Manipulating impact factor: an unethical issue or An Editor’s choice?
Swiss Medical Weekly, 134 (27-28), 410.
Shugan, S. M. (2002): Editorial. The mission of Marketing Science. Marketing Science,
21 (1), 1-13.
Smith, R. (1997): Journal accused of manipulating impact factor. British Medical Journal,
314, 461 (15 febrero).
Sorelle, R. (2001): Circulation impact factor is highest ever. Circulation, 104, 1450.
Thomson Reuters (2009): Journal Citation Reports® Notices, http://admin-apps.isiknowled-
ge.com/JCR/static_html/notices/notices.htm [consultado el 9 de abril de 2010].
Urti, A. (2003): Editorial. The new impact factor (1.84) and other recent developments in
the European Journal of Pharmaceutical Sciences. European Journal of Pharmaceuti-
cal Sciences, 18 (1), 1.
200
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 185-200, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.722

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 201-224, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.731
Prospectiva archivística: nuevas cuestiones, enfoques
y métodos de investigación cientíﬁ ca
M. Paz Martín-Pozuelo*
Resumen: La archivística, fuertemente inﬂ uenciada por los cambios sociales y tecnológicos,
experimenta en la actualidad transformaciones tan profundas que su propia naturale-
za se está viendo modiﬁ cada. Desde una breve introducción a los estudios de futuro
en este artículo se deﬁ ne la prospectiva archivística como la investigación que se
plantea y se desarrolla para dar respuesta a los interrogantes y la incertidumbre res-
pecto al futuro de los archivos y de la archivística así como al estudio de los factores
de cambio que determinarán ese futuro. Se reﬂ exiona y se discute acerca de sus fun-
damentos, las cuestiones que debe resolver, sus diferentes campos de aplicación y los
métodos más apropiados. El artículo ﬁ naliza con una propuesta acerca de los resulta-
dos de una adecuada aplicación de la prospectiva archivística: documentos de con-
senso e indicadores.
Palabras clave: Archivística, prospectiva, prospectiva archivística, investigación archivísti-
ca, análisis prospectivo, métodos de investigación, técnicas de consenso, vigilancia,
vigilancia tecnológica.
Prospective archival science: new issues and methods for archival
research
Abstract: Archival science, which is highly inﬂ uenced by social and technological change,
is presently in the midst of a profound transformation that affects its very nature. After
a brief introduction to future studies, prospective archival science is deﬁ ned as the
research posed and conducted to respond to queries and uncertainties respecting the
future of archives and archival science, as well as the study of factors of change that
will determine that future. This is followed by a reﬂ ection on the fundamentals of this
discipline, the questions to be addressed, the ﬁ elds of application, and the most suitable
methods. The article concludes with a proposal for the appropriate application of
prospective archival science: consensus documents and indicators.
Keywords: Archival science, prospective archival science, archival research, prospective
analysis, consensus techniques, monitoring, technological monitoring.
* Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid.
Correo-e: ppozuelo@bib.uc3m.es.
Recibido: 1-6-09; 2.ª versión: 1-10-09; aceptado: 25-1-10.
201

M. PAZ MARTÍN-POZUELO
1. Planteamiento
Como disciplina que estudia la documentación que producen los organismos
y las sociedades, la archivística, fuertemente inﬂ uenciada por los cambios socia-
les y tecnológicos, experimenta en la actualidad transformaciones tan profundas
que su propia naturaleza se está viendo modiﬁ cada. Algunas investigaciones re-
velan la necesidad de estudios que evidencien el impacto real de estos cambios
(Gilliland-Swetland, 2000; Duranti, 2000; Cook, 2001; Martín-Pozuelo, 2002; Bor-
glund, 2005). Para ello, esto es, para estudiar el impacto de estas transformacio-
nes, las nuevas cuestiones así como la incertidumbre que el futuro más y menos
inmediato está provocando, la archivística necesita desarrollar nuevos enfoques
y herramientas de investigación. La ﬁ nalidad de este artículo es, precisamente, la
de presentar la prospectiva archivística como nuevo enfoque de investigación
cientíﬁ ca en y para el estudio del futuro de los archivos, de sus profesionales y
de la ciencia que los estudia. Se propone también discutir acerca de los métodos
más adecuados para su aplicación. Desde una aproximación a los estudios de
futuro se deﬁ nen aquí las cuestiones que éstos plantean para la archivística.
En su conjunto las ideas y las propuestas recogidas en este artículo parten de
un presupuesto básico y fundamental: la necesidad de actuar cuanto antes sobre
el futuro de la archivística, el convencimiento de que la prospectiva es la pro-
puesta cientíﬁ ca más adecuada para conocer los factores y puntos clave de ese
futuro, así como la herramienta metodológica que facilita y hace posible la re-
ﬂ exión colectiva sobre el archivo, la archivística y sus profesionales.
2. Introducción. La prospectiva y los estudios de futuro
No existe por el momento una deﬁ nición que podamos referir como de ab-
soluto consenso respecto a la prospectiva y los estudios de futuro. En lo que sí
parece existir unanimidad es en la consideración acerca de lo que no son estos
estudios ni es la prospectiva. Ni la prospectiva ni los estudios de futuro son téc-
nicas adivinatorias. En ningún caso nos permiten adivinar el futuro ni en su con-
junto ni en sus partes. Estos estudios son, en realidad, un grupo de disciplinas
cuya metodología de análisis basada en la observación sistemática, el consenso
colectivo y la anticipación, les dota de un carácter muy cercano a lo cientíﬁ co.
No es éste el lugar para presentar el origen ni el desarrollo de estas discipli-
nas (Medina Vásquez y Ortegón, 2006) que, por otra parte, tienen en la actuali-
dad un notable desarrollo. Como contexto de esta exposición y sin ánimo de
exhaustividad haré un brevísimo recorrido con el ﬁ n de dejar sentada la ﬁ nalidad
de estos estudios como marco teórico que justiﬁ ca la disciplina que aquí se pro-
pone: la prospectiva archivística.
En términos muy globales y siguiendo a Medina Vázquez y Ortegón, los es-
tudios de futuro pueden situarse al inicio del siglo XX cuando en 1907 Gilﬁ llan,
especialista en ciencias sociales sugiere que se denomine Melontología al estudio
202
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
de las civilizaciones futuras (Medina Vásquez y Ortegón, 2006). Sin embargo, son
varios los autores que lo hacen coincidir con 1957 cuando Gastón Berger crea
la voz prospectiva por oposición al término retrospectiva y la deﬁ ne como «la
ciencia que estudia el futuro para poder inﬂ uir en él» (Medina Vásquez y Orte-
gón, 2006; Waardenburg, 1999) Desde entonces hasta hoy todos los intentos
deﬁ nitorios se reducen a insistir sobre la misma idea: conocer el futuro para po-
der inﬂ uirlo.
TABLA I
Evolución del término sobre estudios de futuro
Año
Autor
Descripción
Sugiere que se llame Melontología el estudio de las
1907
Gilﬁ llan
futuras civilizaciones.
Propone el término Futurology para la búsqueda una
1943
O. K. Flechtheim
lógica al futuro.
Crea la voz Prospectiva por oposición al término Re-
1957
Gaston Berger
trospectiva.
1966
Se funda la World Future Society.
Propone Futuribles para el estudio de los futuros posi-
1967
Bertrand de Jouvenel
bles.
1970
Erich Janstch
Utiliza tecnological forestcasting.
1971
Fred Polak
Propone prognostic.
1973
UNESCO
Nace la World Futures Studies Federation.
El secretariado sueco para
1974
Propone Futures Studies en lugar Futures research.
los estudios de futuro
Future analysis, futurics, futures ﬁ eld, probabilistics,
forward studes, future planning, futurography,
antrospectrunity, projective research, short and long
1975
range planning, projections, predictive studies, futury
en
(como correspondiente a history), futory (como future
adelante
más history), alternative analysis, options analysis,
decision option analysis, alternative in futures,
prospectivism, fustory (por historia futura), futurist o
futuristic studies.
1976
Daniel Bell
Utiliza por primera vez la voz prognosis.
Mediados
Foresight, para la identiﬁ cación de nuevas tecnologías.
de los 80
Fuente: Elaboración propia desde Medina Vásquez, J. y Ortegón, E. (2006).
En el mismo sentido y desde la literatura de anticipación el concepto de fu-
turo presenta una evolución diferente en las dos demarcaciones territoriales don-
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
203

M. PAZ MARTÍN-POZUELO
de ﬁ nalmente se desarrolla: Europa y Estados Unidos. En el cuadro que sigue se
recogen las principales tendencias de estos estudios en ambos espacios geográ-
ﬁ cos.
TABLA II
Literatura de anticipación siglos XIX y XX
Estados Unidos
Europa
Planiﬁ cación de largo plazo (50)
Futurología (40)
Investigación de futuros (60)
Prospectiva (50)
• Pronóstico tecnológico (60)
• Prospectiva estrategica (70)
• Planiﬁ cación por escenarios (70)
• Previsión humana y social (70)
Fuente: Elaboración propia desde Medina Vásquez, J. y Ortegón, E. (2006).
De un modo excepcionalmente resumido podemos aﬁ rmar que los estudios
de futuro persiguen establecer la diferencia y llegar así a la comprensión de los
tres tipos de futuro: posible, probable y deseable (Bell, 1997).
La discusión acerca del carácter cientíﬁ co de la prospectiva está presente en
diferentes estudios (Godet, 2004). Con Jordi Serra coincidimos en señalar que la
prospectiva es en realidad, una ciencia sin objeto que se mueve entre la necesi-
dad de predecir lo que puede ocurrir y el deseo de inventar el mejor futuro
posible (Serra,1997) Hay, sin embargo, una serie de rasgos que nos permiten
identiﬁ car con cierta claridad el tipo de reﬂ exión que exige. Siguiendo a Eleano-
ra Masini (2000), en una presentación global se concretarían en los que, a con-
tinuación, se relacionan.
a) Transdisciplinaridad: por cuanto en el futuro inciden aspectos muy va-
riados que obligan a un análisis desde muy diferentes áreas de conoci-
miento. En consecuencia, ningún estudio sobre el futuro puede progresar
sin la colaboración y la conexión de otras disciplinas siempre conectadas.
b) Complejidad: en tanto ha de considerar el conjunto de aspectos conec-
tados que inﬂ uyen o pueden inﬂ uir sobre el futuro.
c) Globalidad: en toda reﬂ exión prospectiva hay un objetivo claro: estable-
cer las relaciones entre lo interno y lo externo y los diferentes momentos:
pasado, presente y futuro.
d) Normatividad: implica un querer ser de la sociedad en tanto se propone
futuros deseables.
e) Cientiﬁ cidad: radica en el método en tanto su objeto esto es, el futuro,
no es objeto experimental. También en el rigor con que se formulen las
hipótesis y en la validación de sus resultados.
f ) Dinamicidad: incluye e implica una renovación constante frente a los
cambios.
g) Participación: está fundamentada en la participación y el debate.
204
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
En su obra La caja de herramientas Michel Godet insiste sobre la necesidad
de distinguir entre tres conceptos claves: planiﬁ cación, prospectiva y estrategia.
Asegura además que se trata de tres conceptos en muy estrecha interrelación
(Godet, 2000). Dos años más tarde Gavigan sitúa la prospectiva en el campo de
intersección de tres diferentes disciplinas: la planiﬁ cación estratégica, los estudios
de futuro y el análisis de políticas (Gavigan, 2001).
Más arriba he señalado que la prospectiva no es futurología y, en consecuen-
cia, no ayuda a predecir el futuro, pero lo que no he dicho es que sí nos ofrece
la posibilidad de construirlo. Así, en la medida en que ese futuro se prevea más
o menos incierto o probable la prospectiva será en mayor o menor medida re-
comendable y su utilidad crecerá o decrecerá en idéntica proporción a las incer-
tidumbres que el futuro provoque. En este sentido y partiendo del hecho indis-
cutible de que el futuro es siempre incierto, la prospectiva se ﬁ ja en que el
grado de incertidumbre respecto a ese futuro lo marcan la serie de factores que
puedan inﬂ uirle. A mayor número de factores mayor incertidumbre. La acelera-
ción del cambio y, en consecuencia, el incremento de la incertidumbre constitu-
yen la verdadera razón por la que la prospectiva resulta necesaria.
Por lo que hace a sus campos de aplicación desde la literatura especializada
se identiﬁ can tres principales tipos de prospectiva: tecnológica, territorial, y or-
ganizacional. Existen, así mismo, tantos tipos de prospectiva como áreas o espe-
cialidades sobre las que ésta puede tener una determinada aplicación. Un análi-
sis de la bibliografía especializada nos ha permitido construir la tabla III que
recoge los principales estudios por autor o autores, en relación con las principa-
les áreas sobre las que se aplica la prospectiva.
Desde un análisis necesariamente somero parece lógico concluir que la pros-
pectiva va avanzando en la ocupación de áreas cada vez más diversas. Lógico
es pensar también que tenga presencia en aquéllas en las que el futuro provoca
mayor número de incertidumbres. Es el caso de la archivística. Las líneas que
siguen están dedicadas a la exposición de la prospectiva archivística, esto es la
aplicación a la archivística de las técnicas que nos hacen posible la anticipación
sobre el futuro de los archivos y de la disciplina que los estudia.
3. La prospectiva archivística: deﬁ nición y fundamentos
3.1. Deﬁ nición y objetivos de la prospectiva archivística
Por prospectiva archivística entiendo la investigación que se plantea y se de-
sarrolla para dar respuesta a los interrogantes y la incertidumbre respecto al fu-
turo de los archivos y de la archivística, así como al estudio de los factores de
cambio que determinarán ese futuro. Dicho de otra manera, la prospectiva ar-
chivística no es otra cosa que la aplicación al estudio de los archivos de las téc-
nicas que nos hacen posible el conocimiento y la anticipación sobre su futuro
con el ﬁ n de diseñar estrategias para promover su calidad y desarrollo integral.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
205

M. PAZ MARTÍN-POZUELO
TABLA III
Áreas de aplicación actual de la prospectiva y principales autores
que la estudian
Área de conocimiento
Autor/es
Ackoff, Russell, L. (1979).
Bailly, Jean-Paul (1998).
ADMINISTRACIÓN
Drucker, Peter F. (2003).
Jacquard, Albert; Kahn, Axel (2001).
DEMOGRAFÍA
La revue de la Prospective Social (2002).
Bourg, Dominique; Scheler, Jean-Louis (2001).
García, Ernest (2004).
Jancovici, Jean-Marc (2002).
ECOLOGÍA
Gallissot, Joël (2004).
Michalski, Wolfgang; Miller, Riel; Stevens, Barrie y otros (1999).
Leff, Enrique (2004).
Clarke, Rory; Durand, Martine; Pilat, Dirk et Torres, Raymond (2001).
ECONOMÍA
Heilbroner, Robert (1996).
Michalski, Wolfgang; Miller, Riel; Stevens, Barrie, y otros (1999).
Cacace, Incola (2002).
EDUCACIÓN
Healy, Tom; Coté, Sylvain, y otros (2001).
HISTORIA
Wallerstein, Inmanuel (2002).
INTELIGENCIA
Sherman K. (1994).
TRABAJO
Vendramin, P.; Valenduc, J. ( 2002).
Fuente: Elaboración propia.
En su relación con la archivística, la prospectiva es una metodología cuyos
rasgos podemos concretar como sigue:
a) Se fundamenta en la observación sistemática, la vigilancia y la inteligen-
cia competitiva.
b) Se construye desde el debate y el consenso.
c) Facilita y sistematiza la reﬂ exión colectiva.
d) Para su aplicación y análisis requiere de la colaboración de diferentes
áreas de conocimiento lo que la dota de un carácter multidisciplinar.
e) Facilita la anticipación.
f ) Está referida a largo plazo.
Los objetivos de la prospectiva archivística pueden concretarse del modo que
sigue:
• Anticipar los cambios o rupturas de la archivística con respecto al futuro.
• Identiﬁ car las nuevas tendencias.
206
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
• Conocer las actitudes y el poder de la comunidad archivística para hacer
frente a esos cambios y esas nuevas tendencias.
• Conocer la capacidad de la comunidad archivística para dar respuestas a
los posibles problemas de futuro.
• Potenciar la comunicación con todos los sectores y colectivos implicados
en el proceso archivístico.
• Promover la comunicación entre todos los miembros de la comunidad ar-
chivística.
• Deﬁ nir puntos débiles y fuertes de la disciplina y su entramado tanto teó-
rico como práctico.
• Plantear retos inmediatos y futuros en el desarrollo de la archivística.
• Plantear el estudio de escenarios de futuro para el desarrollo social de la
archivística.
3.2. Fundamentos
Las ideas y conceptos sobre los que, entiendo, se debe fundamentar la inves-
tigación prospectiva archivística están siendo objeto de mi atención en una in-
vestigación dedicada al estudio de las relaciones de los archivos con la sociedad.
Se recogen aquí aquellas ideas que tienen una clara relación con la investigación
prospectiva.
A. La anticipación o la fuerza de las hipótesis
Considerada como «proyección» de un conocimiento futuro, la anticipación se
entiende aquí como un conjunto de ideas claves o ideas fuerza, esto es, de hi-
pótesis que constituyen la base a partir de las cuales se plantea la investigación
prospectiva.
Toda investigación prospectiva en archivística debe considerar una o varias
de las siguientes hipótesis o ideas fuerza:
• Idea fuerza 1. La existencia de archivos es uno de los principios básicos
de democracia, transparencia y desarrollo humano.
• Idea fuerza 2. Los avances tecnológicos permiten un uso mayor, más ge-
neralizado y mejor de los archivos.
• Idea fuerza 3. La comunicación de los archivos con la sociedad exige el
desarrollo de estrategias basadas en reﬂ exiones colectivas que implican a
todos los colectivos sin excepción.
• Idea fuerza 4. Las instituciones, organizaciones y la humanidad en su con-
junto necesitan un aumento de la accesibilidad a los archivos. Solo un des-
pliegue necesario de medios en estas unidades de información hará posible
la respuesta satisfactoria a esta necesidad.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
207

M. PAZ MARTÍN-POZUELO
• Idea fuerza 5. Urge crear un marco de desarrollo archivístico que incluya
e interrelacione las cuestiones relativas a la producción y la gestión de do-
cumentos, así como a la socialización de sus contenidos.
• Idea fuerza 6. Urge así mismo el desarrollo de políticas públicas de apoyo
decidido a los archivos y sus profesionales.
• Idea fuerza 7. El futuro trae incertidumbres en tanto las tecnologías se im-
ponen mientras los cambios sociales siguen creciendo. Solo un conocimien-
to profundo de este futuro nos permitirá actuar sobre él.
• Idea fuerza 8. Para encarar el futuro de los archivos son necesarios ejerci-
cios de observación y vigilancia sistemática y rigurosa.
• Idea fuerza 9. Son necesarios también programas de I+D e I+T para abor-
dar el desarrollo tecnológico en los archivos.
• Idea fuerza 10. La colaboración académica- profesional, esto es, el acerca-
miento entre las dos fuerzas a partir de las que se construye el pensamien-
to archivístico, la formación y la investigación por un lado y la práctica
profesional por el otro.
En su conjunto las hipótesis (ideas fuerza) deﬁ nidas revelan la necesidad de
un diálogo sistemático y organizado.
B. El diálogo en la construcción social del archivo
Más arriba he señalado que la archivística se entiende aquí como la ciencia
que estudia la documentación que generan organizaciones y sociedades. Su cons-
trucción futura pasa entonces por el estudio de la comprensión de las relaciones
de la archivística, los archivos y sus profesionales con la sociedad. Toda su in-
vestigación debe partir necesariamente del diálogo social, esto es el diálogo con
sus diferentes colectivos, de un modo especial con aquéllos para los que el ar-
chivo representa un elemento activo. También con el de aquellos actores directos
de la praxis archivística: responsables de políticas archivísticas, productores de
documentos, archiveros y usuarios. Todos ellos se han agrupado en cuatro dife-
rentes grupos, a saber:
a) Grupos de decisión, en los que se incluyen todos aquellos miembros de
la sociedad capacitados para adoptar decisiones que luego han de ser
llevadas a término, políticos principalmente. En el estudio del futuro ar-
chivístico tienen un interés especial todos aquellos individuos cuyas de-
cisiones impactan directamente sobre los archivos. No considero aquí
solamente los políticos con capacidad y competencias en materia archi-
vística, incluyo también todos aquellos individuos cuyas decisiones ﬁ nal-
mente implican a los archivos: alcaldes, secretarios de ayuntamientos,
concejales, etc.
El diálogo con este grupo tiene el objetivo principal de constatar el
grado de conocimiento sobre el archivo y sus profesionales, su funcio-
208
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
namiento, organización, con aquellos de los que depende su infraestruc-
tura y dotación principalmente. También su planiﬁ cación a corto, medio
y largo plazo.
b) Grupos de ejecución. Se entienden incluidos en este grupo todos aquellos
individuos cuya principal función es hacer cumplir las decisiones de otros.
En el ámbito archivístico estamos hablando fundamentalmente de los ar-
chiveros encargados de aplicar las directrices y las direcciones adoptadas
por los diferentes miembros de los grupos de decisión.
El diálogo con este grupo tiene el objetivo principal de conocer la
realidad de los archivos desde el testimonio directo de sus protagonistas,
esto es, de aquellos individuos que tienen la información más cualiﬁ cada
sobre los problemas, los inconvenientes, los retos, las oportunidades y
las amenazas de los archivos y sus relaciones con la sociedad. También
para constatar la distancia entre la teoría y la práctica.
c) Grupos de opinión, se incluyen aquí todos los miembros de la sociedad
que por su actividad y/o estima social tienen la capacidad de generar
opinión: intelectuales y comunicadores principalmente.
Con ellos el diálogo tiene una doble ﬁ nalidad. Por un lado conocer
desde sus testimonios la percepción que tienen del archivo como fuente
de información y como herramienta de poder. Por el otro, obtener infor-
mación directa sobre su percepción de la sociedad con el ﬁ n de concre-
tar las razones sobre el interés o desinterés que la misma tiene acerca
del archivo.
d) En un último grupo quedan incluidos todos los miembros de la sociedad
que consideramos usuarios de archivo, bien que este uso sea más o me-
nos habitual o bien que lo sea esporádico. En ambos casos se consideran
motivos de gestión, toma de decisiones, investigación, referencia, o de
mera curiosidad.
En ocasiones y debidamente organizados se ha de contemplar la po-
sibilidad de que éstos sean abiertos al público con el ﬁ n de multiplicar
las miradas cualitativas. También para generar, al tiempo que investiga-
mos, una curiosidad por el archivo, el archivero y la archivística.
C. Los juicios colectivos y el consenso cientíﬁ co
El debate acerca del valor cientíﬁ co de las denominadas técnicas de consen-
so sigue siendo un debate abierto (Pérez Andrés, 2000). Es cierto que el carácter
colectivo no conﬁ ere a los juicios un valor cientíﬁ co, sin embargo, tienen el va-
lor de representar de algún modo una preocupación colectiva. En el marco de
la investigación cientíﬁ ca tienen el valor de contribuir a la deﬁ nición de proble-
mas nuevos sobre los que nunca antes se tenía absolutamente ninguna noticia.
En consecuencia, resultan fundamentales en el ámbito de la investigación pros-
pectiva en tanto, como ya he dicho más arriba, su objeto no es otro que el co-
nocimiento y la anticipación sobre su futuro.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
209

M. PAZ MARTÍN-POZUELO
Las cuestiones básicas sobre las que la prospectiva archivística ha de buscar
el consenso se concretan en las siguientes:
• ¿Qué aspectos afectan más a los archivos?
• ¿Cuáles lo hacen ahora?
• ¿Cuáles lo hacen ahora de un modo especial?
• ¿Cuáles afectarán en un futuro?
• ¿Cuáles lo harán de una manera más importante?
• ¿Cuáles de los que afectan ahora dejarán de afectar en el futuro?
Cada una de estas preguntas ha de ser formulada de un modo conveniente
y diferente en los distintos campos de la archivística. Pasamos a desarrollarlo en
los epígrafes que siguen.
4. Tipología y campos de aplicación de la prospectiva
archivística
Las incertidumbres sobre el futuro de la archivística son muy diferentes. En
consecuencia, la prospectiva archivística puede aplicarse a diferentes campos por
lo que proponemos diferentes tipos.
TABLA IV
Tipología y campos de aplicación de la prospectiva archivística
Denominación
Finalidad
PROSPECTIVA CIENTÍFICA
Futuro cientíﬁ co de la archivística.
PROSPECTIVA TECNOLÓGICA
Futuro tecnológico de la archivística.
PROSPECTIVA SOCIAL
Futuro de la relación archivos y sociedad.
PROSPECTIVA PROFESIONAL
Futuro del profesional de la archivística.
Pasamos ahora a presentar cada uno de ellos con detalle de cuestiones que
suscitan y objetivos a partir de los que se construye su enfoque particular.
4.1. Prospectiva
cientíﬁ ca: Estudio del futuro cientíﬁ co
de la archivística
La prospectiva cientíﬁ ca tiene su objeto principal en el estudio del desarrollo
cientíﬁ co de la archivística: el futuro de la ciencia, sus relaciones con otras cien-
cias, grupos, líneas y proyectos de investigación, inversión y apoyo a la investi-
gación.
210
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
Cuestiones
• ¿Está la teoría archivística preparada para encarar el futuro?
• ¿Le servirán los conceptos y principios en los que hoy fundamenta su praxis?
• ¿Debe ampliar su campo de relaciones cientíﬁ cas?
• ¿Sus actuales relaciones serán suﬁ cientes en un futuro?
• ¿Con qué otras áreas de conocimiento su relación es necesaria, recomen-
dable y/o imprescindible?
• ¿Cuáles han de ser sus nuevos campos y líneas de investigación?
• ¿Qué capacidades cientíﬁ cas ha de tener el futuro profesional?
• ¿Cómo se formará el futuro investigador en archivística?
• ¿Qué proyectos de investigación debe emprender para encarar el futuro?
• ¿Cómo, dónde se difundirán los resultados?
• Las publicaciones actuales ¿son suﬁ cientes?, ¿tienen la calidad necesaria?, ¿la
suﬁ ciente difusión?
• ¿De qué recursos disfrutará? ¿Cómo, dónde, de quién ha de buscarlos?
• ¿Con qué apoyo político debe contar su I+D?
Objetivos
• Revisar los actuales conceptos y principios en los que fundamenta hoy su
campo teórico.
• Revisar los procesos, procedimientos en que fundamenta su metodología.
• Evaluar la investigación en el área de la archivística: ¿adecuados objetivos?
• Detectar nuevos campos de investigación.
• Proponer políticas de apoyo a su desarrollo cientíﬁ co.
4.2. Prospectiva social: el futuro de las relaciones de la archivística
con la sociedad
Para el estudio del desarrollo social del archivo, del futuro de la convivencia
y la inserción de los archivos en la sociedad, de la percepción pública, impacto
social, tratamiento informativo, impacto mediático de la archivística.
Cuestiones
• ¿De qué manera afectarán los cambios sociales a la organización del archivo?
• ¿Tendrán la misma estructura administrativa?
• ¿Tendrán la misma organización?
• ¿Seguirá existiendo la misma necesidad del archivo?
• ¿Regirán las mismas normas sociales?
• ¿Seguirán las mismas normas de acceso?
• ¿Idénticas normas de transparencia?
• ¿Surgirán nuevos tipos de usuarios?
• ¿Surgirán nuevos modelos de comunicación?
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
211

M. PAZ MARTÍN-POZUELO
Objetivos
La prospectiva social aplicada a la archivística tiene una clara ﬁ nalidad: la de
construir a partir de un diálogo plural una imagen integral y a largo plazo, de
los archivos y su convivencia con la sociedad. Para ello la prospectiva debe per-
mitirnos alcanzar los siguientes objetivos:
• Mayor visibilidad y comprensión de los retos futuros de los archivos.
• Mayor apropiación de los archivos como bien público.
• Apropiación de los archivos como elemento clave del desarrollo social in-
tegral.
• Desarrollo de la capacidad de anticipación de fenómenos cambiantes de
incidencia en el ámbito de los archivos.
• Fortalecimiento de herramientas de seguimiento de la evolución de los ar-
chivos.
• Fomento de relaciones:
a) docentes de archivística-archiveros,
b) archiveros-archiveros,
c) archiveros-profesionales de otras áreas aﬁ nes,
d) archiveros y docentes-políticos y otros representantes de la sociedad.
• Aportes a la construcción de una visión compartida de archivos, memoria
y derecho a la información.
• Inﬂ uenciar las políticas públicas de información en las políticas públicas
archivísticas.
• Analizar las implicaciones de la información archivística en sectores como
justicia, salud, educación, cultura, ciencia y tecnología, seguridad social,
urbanismo, etc.
• Obtener indicadores que nos permitan la medición y las representaciones
sociales y la comunicación en materia de archivos.
4.3. Prospectiva tecnológica: estudio del futuro tecnológico
de la archivística
Para el estudio del desarrollo tecnológico del archivo: futuros entornos de
creación de documentos, futuros soportes documentales, futuras soluciones a la
conservación, futuras herramientas tecnológicas de comunicación.
Cuestiones
• ¿Cuáles de las tecnologías emergentes presentes hoy en los archivos serán
una realidad el día de mañana?
• ¿Qué avances revolucionarios incorporarán los futuros sistemas?
• ¿Cómo decidir qué líneas de desarrollo requieren un apoyo institucional?
212
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
Objetivos
• Explorar los posibles futuros de los avances en tecnología en relación con
la gestión de documentos y archivos.
• Identiﬁ car factores emergentes que originen y produzcan avances en las
relaciones entre tecnologías y archivos.
• Crear una herramienta clave a la hora de deﬁ nir políticas y planes de I+T
en archivos.
• Deﬁ nir futuros espacios de desarrollo profesional.
• Deﬁ nir capacidades futuras de los profesionales.
4.4. Prospectiva profesional: el futuro profesional de archivos
Para el estudio del desarrollo profesional, esto es, el futuro del profesional
de la archivística y de los archivos, futuros entornos de desarrollo profesional y
futuros entornos de formación.
Cuestiones
• ¿Está el profesional de archivos preparado para afrontar el futuro?
• ¿Cuáles son sus actuales debilidades?
• ¿Cuáles sus fortalezas?
• ¿Nueva formación?
• ¿Cómo cualiﬁ carla?
• ¿Qué habilidades debe reforzar?
• ¿Qué nuevas habilidades debe adquirir?
Objetivos
• Factores clave que afectan a su desarrollo.
• Identiﬁ cación de tendencias de cambio.
• Diseño y creación de escenarios.
• Retos inmediatos.
• Retos futuros.
4.5. Otros campos de aplicación
Se pueden plantear tantos análisis prospectivos parciales como aspectos inci-
dan o puedan incidir sobre el futuro de la disciplina. Entre otros, los temas que
atañen al futuro de los archivos podemos contemplar:
• Dinámicas demográﬁ cas.
• Dinámicas sociales.
• Dinámicas administrativas.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
213

M. PAZ MARTÍN-POZUELO
• Dinámicas políticas.
• Dinámicas judiciales.
• Dinámicas sanitarias.
• Futuro de los profesionales.
• Futuro de la enseñanza.
• Futuro de la investigación.
• Futuro de la formación.
• Potencial de los archivos.
• Innovación en los archivos.
• Política archivística.
• Redes y colaboración entre archiveros.
5. El proceso de investigación en la prospectiva archivística.
Métodos y herramientas
5.1. La observación y la vigilancia como punto de partida
Siguiendo a Godet (2000) la prospectiva se plantea para responder a cuatro
interrogantes respecto del futuro:
• ¿Qué puede ocurrir?
• ¿Qué puedo hacer yo?
• ¿Qué voy a hacer?
• ¿Cómo voy a hacerlo?
De ninguna manera sería posible responder a las preguntas arriba expuestas
sin tener un conocimiento profundo sobre los hechos del entorno que afectan o
pueden afectar al objeto de análisis sobre el que planteamos la prospectiva. Este
conocimiento sólo es posible desde la observación y la vigilancia entendida ésta
última como el esfuerzo sistemático y estructurado de observación, capacitación,
análisis, comunicación precisa y recuperación de la información sobre los hechos
del entorno económico, tecnológico, social, relevantes para la misma por impli-
car una amenaza u oportunidad para la misma (Palop y Vicente, 1999).
Entre las razones por las que conviene practicar la vigilancia Hidalgo, León
y Pavón (2002) señalan las que siguen:
a) Anticipar. El ejercicio de vigilancia nos permite la constante actualización
del conocimiento por lo que nos da la oportunidad de conocer con an-
ticipación los posibles cambios que se están produciendo en el desarro-
llo cientíﬁ co por lo cual nos permite reforzar la investigación donde ésta
es más débil o incorporar nuevas líneas dónde es inexistente.
b) Reducir riesgos: Una consecuencia primera que se convierte en una razón
de peso para su práctica es la identiﬁ cación de campos de investigación
214
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
o de actuación ya resueltos por lo que nos permite planiﬁ car la distribu-
ción de esfuerzos de manera mucho más rentable y segura.
c) Innovar. Otra de las consecuencias y razones de peso en su práctica es
la posibilidad de decidir desde la información reunida el rumbo de cual-
quier política o actuación. En deﬁ nitiva, la observación y la vigilancia
representan un instrumento de apoyo para cualquier estrategia.
d) Cooperar. Ya he dicho más arriba que uno de los rasgos de la prospec-
tiva es la mutidisciplinaridad; pues bien, la vigilancia permite la iden-
tiﬁ cación de instituciones, líneas y grupos de investigación así como
expertos en las diferentes áreas de interés para el ejercicio de la pros-
pectiva.
Desde estas cuatro razones podemos aﬁ rmar que la observación y la vigilan-
cia son, en realidad, el punto obligado de partida de todo ejercicio de prospec-
tiva.
TABLA V
Ciclo del proceso de observación y vigilancia
1.
Identiﬁ car las necesidades de información
Buscar
ENTORNO
Descubrir
Detectar
Archivos y salud
2.
LA INFORMACIÓN
Observar
Archivos y justicia
Recolectar
Archivos y cultura
Captar
Archivos y economía
Archivos y defensa
Analizar
Archivos y seguridad
3.
Tratar
Archivos y trabajo
Almacenar
Archivos y medioambiente
Dar valor
4.
Convertir la información en inteligencia
5.
Comunicar la inteligencia
Fuente: Elaboración Propia desde Sánchez, J. M. y Palop (2002).
5.2. El proceso de la investigación prospectiva
El de la prospectiva, como cualquier proceso de investigación, abarca dife-
rentes momentos que se enmarcan entre dos momentos clave: la planiﬁ cación o
deﬁ nición de objetivos y la comunicación o difusión de los resultados. Entre
ambos se inscriben: la búsqueda de la información, su análisis, la implementación
del ejercicio prospectivo desde la anticipación y el consenso y la elaboración del
informe y su comunicación que dará lugar, en su caso, a la toma de decisiones,
principalmente en el caso de la prospectiva estratégica. En relación con las fases
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
215

M. PAZ MARTÍN-POZUELO
y objetivos en cada una de ellas, el cuadro que sigue recoge las técnicas que
propone M. Godet (2000) para la prospectiva estratégica.
TABLA VI
Proceso y técnicas de la prospectiva estratégica según Godet
Fase
Objetivo
Técnica
• El método de escenarios.
1
Iniciar y simular el conjunto del proceso.
• Los talleres de prospectiva estratégica.
• Los árboles de competencias.
2
Establecer el diagnóstico completo.
• Los útiles de análisis estratégico.
• El diagnostico estratégico.
Plantear las buenas preguntas e identiﬁ car
3
• El análisis estructural.
la variable clave.
4
Analizar las estrategias de actores.
• El método Mactor.
• El análisis morfológico.
• Método DELPHI.
Explorar el campo de los posibles y redu-
5
• El ábaco de Regnier.
cir la incertidumbre.
• Impactos cruzados probabilizados smic-
prob-expert.
Evaluar las elecciones y las opciones estra-
• Los árboles de pertinencia.
6
tégicas.
• Multipol.
Fuente: elaboración propia desde Godet, M. (2000).
Veamos ahora el planteamiento de las principales herramientas en la pros-
pectiva archivística.
5.3. Herramientas
metodológicas
A. Análisis de tendencias de futuro
Comprensión del modelo de desarrollo archivístico que lógicamente debe
atender a las tendencias de futuro (ﬁ gura 1).
B. PEST
Acrónimo para referirse a los aspectos Políticos, Económicos Sociales Tecno-
lógicos que afectan a una institución (Chaptman, 2004). Para el estudio PEST del
archivo resulta obligado identiﬁ car las tendencias y aspectos en la evolución de
la tecnología y la sociedad que han inﬂ uido, que están inﬂ uyendo y que inﬂ uirán
sobre el archivo:
216
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
FIGURA 1
Esbozo de un posible modelo de análisis del desarrollo archivístico
MODELO DE REFLEXIÓN
ARCHIVÍSTICA 2020
Fundamentos
Relaciones
Relaciones
Transformación
Globalización
Economía
del
de la
de los
del
archivística
archivística
modelo
archivística
archivos
archivo
1
2
3
4
5
6
• Tecnología: ¿tele archivo? ¿tele archivística? ¿tele archiveros?
• Organización de la sociedad: ¿la misma estructura administrativa? ¿la misma
organización? ¿la misma necesidad del archivo?
• Ética social: ¿las mismas normas sociales? ¿las mismas normas de acceso?
¿de transparencia?
• Globalización: ¿las mismas relaciones interna y externas del archivo?
• Demografía: ¿en la medida que crezca o decrezca la población crecerá o
decrecerá el volumen de actividad administrativa? y en esa misma medida
¿crecerá o decrecerá el volumen de los archivos, con independencia del
soporte?
C. Estudio de factores críticos: análisis DAFO, DELPHI
Para el estudio de los factores críticos / claves que van a marcar el futuro de
la disciplina (archivística y gestión de documentos), su objeto de estudio (archi-
vo, información archivística y memoria) los actores involucrados (productores,
profesionales y usuarios) la prospectiva archivística dispone de las técnicas de-
nominadas de consenso.
Proceso para el consenso
Sea cual sea la técnica y la herramienta elegida, el proceso que permite al-
canzar un consenso pasa necesariamente por las cinco siguientes fases, a saber:
FASE A: Exploración del tema en discusión. El equipo investigador deﬁ ne el
tema, reúne toda la información, deﬁ ne los problemas, cuestiones o ideas sujetas
a consenso. En base a esta información identiﬁ ca el grupo de expertos.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
217

M. PAZ MARTÍN-POZUELO
FASE B. Comunicación con los expertos. Comunicación con este grupo de
quien solicita su compromiso a permanecer a lo largo de toda la investigación.
Si es el caso facilita toda la información reunida en la fase A.
FASE C. Envío de la información previamente sistematizada y organizada a
los diferentes expertos que de manera individual valorará esa información. El
objetivo es concretar acuerdos y desacuerdos con respecto al tema y las cuestio-
nes objeto de consensos.
FASE D. Análisis de los desacuerdos: razones y evaluación de las diferencias
(esta fase puede implicar nuevos envíos y nuevas evaluaciones hasta llegar al
consenso).
FASE E. Elaboración del documento de consenso. Una vez ﬁ naliza la fase D.
Especialmente útiles resultan las técnicas DAFO y DELFI. Pasamos a conti-
nuación a ilustrar la primera como ejemplo de técnica de consenso. Se presenta
con ejemplos claros para la disciplina que proponemos: la prospectiva archivís-
tica. Algunos de los rasgos que tienen en común:
• Anonimato. Se evita el contacto entre los participantes.
• Reiteración. El «documento» propuesto estará circulando el tiempo necesa-
rio hasta alcanzar el consenso
• Realimentación. A los encuestados se les proporcionan los resultados de
las rondas previas.
• Agregación. Los resultados se deben presentar en términos numérico-esta-
dísticos.
Análisis DAFO
Las siglas DAFO aluden a Debilidades, Amenazas, Fortalezas y Oportunidades
de una institución, cultura, política, etc. (véase tabla VII). Su objetivo consiste en:
a) concretar los puntos fuertes y débiles de esa empresa, institución, cultu-
ra, política, etc. así como las amenazas y oportunidades externas desde
la evaluación externa por expertos, y
b) concretar amenazas y oportunidades para su desarrollo externo.
D. Elaboración de escenarios de futuro para el archivo
El método de escenarios es quizá uno de los métodos más y mejor estudiados
(Schwartz, 1993; Van der Heijden, 1996; Godet y Roubelat, 1996; Ringland, 1998).
Con Godet entendemos por escenario el conjunto formado por la descripción
de una situación futura y un camino de acontecimientos que permiten pasar de
una situación original a otra futura. En este sentido, hay que tomar en conside-
ración que el futuro es múltiple pero que además los futuros posibles o futuribles
son variados. Cada uno de estos futuribles representan un escenario posible que,
218
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
TABLA VII
Ejemplos de factores claves (DAFO) para la archivística
Amenazas
Oportunidades
• Aparición e incremento de otros • Nuevos y diversiﬁ cados espacios de
profesionales con interés por el ar-
actuación: la memoria.
chivo.
• Mayor comprensión social.
• Baja oferta formativa en archivística.
• Mayor impacto social.
• Baja oferta formativa especializada.
• Nuevos usuarios de archivos.
• Plantillas profesionales poco o mal
• Usuarios más cualiﬁ cados.
Análisis
deﬁ nidas.
• Mejores instalaciones.
del entorno
• Escaso reconocimiento del profe-
• Crecimiento de plantillas.
o factores
sional.
• Eliminación de barreras en la rela-
externos
• Escaso reconocimiento social.
ción con la sociedad.
• Políticas archivísticas insuﬁ cientes.
• Etc.
• Escaso apoyo de las instituciones.
• Cambio en las necesidades de los
usuarios.
• Tecnologías cambiantes.
• Etc.
Debilidades
Fortalezas
• Escasez de recursos materiales.
• Capacidad en actividades claves: la
• Escasez de recursos humanos.
recuperación de la memoria, la his-
• Alta exigencia de especialización.
toria narrada, la microhistoria.
• Falta de planiﬁ cación estratégica.
• Recursos ﬁ nancieros adecuados.
Diagnóstico
• Incapacidad de ﬁ nanciar los cam-
• Habilidades y recursos tecnológicos
o factores
bios necesarios en la estrategia.
superiores
internos
• Atraso en I+D.
• Software libre cada vez más espe-
• Atraso en I+T.
cializado.
• Instalaciones obsoletas.
• Importante programa I+D.
• Etc.
• Buena imagen entre los usuarios.
• Etc.
en absoluto, mide probabilidades y sí posibilidades. Los escenarios pueden re-
presentar una apuesta o referencia o por el contrario una alarma. Para la elabo-
ración de escenarios de futuro siguiendo a Godet contamos con diferentes he-
rramientas en relación con objetivos distintos (véase tabla VIII).
Proceso para la creación de escenarios de futuro
El proceso para la deﬁ nición de escenarios de futuro pasa por tres grandes
fases:
FASE A: El objetivo de la primera no es otro que deﬁ nir tendencias de futuro
respecto del área o problema objeto de estudio: la archivística como disciplina,
la orientación o retos de sus profesionales, sus relaciones con la sociedad, la
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
219

M. PAZ MARTÍN-POZUELO
TABLA VIII
Método de escenarios de futuro
Denominación
Breve descripción
Talleres de prospectiva
El problema expuesto, el sistema estudiado.
Análisis estructural
Búsqueda de factores y variables clave.
Análisis de estrategias de actores
Juegos y objetivos estratégicos.
Método MACTOR
Análisis morfológico
Balizar el campo de los posibles.
Método MORPHOL
Método de expertos
Cuestiones clave para el futuro.
Encuesta SMIC
Juego de hipótesis realizadas.
Prob-Expert
Fuente: Elaboración propia desde Godet (2002).
orientación de las políticas públicas para archivos, etc. Para ello tendremos antes
de nada que identiﬁ car de la manera más exhaustiva posible todos los aspectos
que estén ya afectando o vayan a afectar ese objeto de análisis. Esta información
será el resultado del ejercicio previo de vigilancia. En ocasiones y cuando se
trate de asuntos completamente nuevos para reunir la información necesaria
puede recurrirse a la colaboración de expertos. El resultado de esta fase debe
ser un listado de tendencias que luego serán discutidas.
FASE B. El objetivo de esta segunda fase será deﬁ nir las relaciones existentes
entre las distintas tendencias o variables. Para ello se deben sistematizar estas
variables de acuerdo con criterios previamente deﬁ nidos. En todo caso siempre
se incluirá el impacto en el futuro y el grado de incertidumbre de estas variables.
FASE C. En esta fase tiene ya lugar el diseño del o los escenarios posibles.
La cuestión que reviste en esta fase mayor diﬁ cultad es la de decidir el numero
de escenarios. En la literatura no existe un numero idóneo, en realidad la mejor
ruta parece la de orientar la selección en función de los temas implicados, con
la siguiente combinación por orientación de calidad del mismo.
FIGURA 2
Esquema de escenarios básicos en el desarrollo de la archivística
Escenario
Escenario
Escenario
tecnológico
profesional
social
Probable
Posible
Deseable
Probable
Posible
Deseable
Probable
Posible
Deseable
220
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
6. Resultados que la prospectiva archivística puede generar
El resultado del proceso de la prospectiva archivística será, por tanto, el con-
junto de escenarios, estrategias y recomendaciones adaptadas a los retos y desa-
fíos futuros de la archivística, de los archivos, de los archiveros así como un
conjunto de principios y estrategias de respuesta para la integración y la convi-
vencia de los archivos en la sociedad, en todos los espacios deﬁ nidos: la ciudad,
el ayuntamiento, la justicia, la seguridad, la sanidad, la universidad, etc.
Para cada uno de ellos, además, se concretan dos grupos de resultados es-
pecíﬁ cos:
a) Los documentos de consenso: la elaboración de normas o recomenda-
ciones de índole diagnóstica y/o terapéutica que expresen de forma con-
sensuada y oﬁ cial la opinión de los expertos en el análisis de diferentes
problemas y cuestiones. También servir de instrumento conceptual y me-
todológico para el manejo de estas situaciones.
b) Los indicadores: estadísticas o cualquier forma de indicación que nos
permitan estudiar dónde estamos y hacia dónde nos dirigimos con res-
pecto a determinados objetivos y metas. Que nos permitan también eva-
luar programas, proyectos, sistemas, etc.
7. Conclusiones
1. La archivística fuertemente inﬂ uenciada por los cambios sociales y tecno-
lógicos está viendo modiﬁ cada su naturaleza, en consecuencia le urge: la
revisión de su construcción teórica y la revisión de los mecanismos de
su metodología.
2. Ninguna de estas revisiones sería posible sin analizar con la suﬁ ciente
profundidad las cuestiones y las incertidumbres a las que se enfrenta la
disciplina en el futuro más y menos inmediato.
3. Ante esta situación la prospectiva es la investigación que por el momen-
to nos permite conocer los factores y puntos clave de ese futuro, así como
la herramienta metodológica que facilita y hace posible la reﬂ exión co-
lectiva sobre el archivo, la archivística y sus profesionales.
4. En su relación con la archivística la prospectiva es una metodología cuyos
rasgos podemos concretar del modo que sigue: se fundamenta en la ob-
servación sistemática, la vigilancia y la inteligencia competitiva; se cons-
truye desde el debate y el consenso; facilita y sistematiza la reﬂ exión
colectiva.
5. Para su aplicación y análisis requiere de la colaboración de diferentes
áreas de conocimiento, lo que la dota de un carácter multidisciplinar,
facilita la anticipación y está referida a largo plazo.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
221

M. PAZ MARTÍN-POZUELO
6. La investigación prospectiva nos permite a) la identiﬁ cación de variables
clave para el futuro de los archivos; b) el análisis de tendencias de futu-
ro en relación con las variables o factores clave; c) análisis prospectivos
parciales: dinámicas demográﬁ cas, futuro de los profesionales, de la en-
señanza, de la investigación, de la formación, potencial de los archivos,
innovación en los archivos, política archivística, redes y colaboración en-
tre archiveros.
8. Bibliografía
Ackoff, R. (1979): Rediseñando el futuro. México: Limusa.
Bailly, J. P. (1998): Prospective, débat, decision publique. Avis du Conseil économique et
social. Futuribles, 10, 27-51.
Bell, D. (1976): El advenimiento de la sociedad post-industrial. Madrid; Alianza Universi-
dad, 149
Bell, W. (1997): Foundations of futures studies. London; Transaction Publishers.
Berger, G. (1957): Sciences humaines et prevision. La revue de deux monde, 3, 417-426.
Borglund, E. (2005): Operational use of electronic records in police work. Information
Research an international journal, vol. 10. No. 4. Accesible en: http://informationr.
net/ir/10-4/paper236.html [consultado el 8 de abril de 2009].
Bourg, D., y Scheler, J. L. (2001): Oarer aux risqué de demain. Le principe de precaution.
Paris; Editions du Seuil.
Cacace, N. (2002): 2010, scenario delle professione. Roma: Edit, Riunti.
Cook, T. (2001): Archival science and postmodernism: new formulations for old concepts.
Archival Science, 1 (1), 3-24.
Clarke, R.; Durand M.; Pilat, D., y Torres, R. (2001): La nouvelle economie: mythe o rea-
lité. Le rapport du OCDE sur la croissance. París: OCDE.
Chaptman, A. (2004): Análisis DOFA y análisis PEST. Accesible en: http://www.degerencia.
com/articulos.php?artid=544 [consultado el 8 de abril de 2009].
Duranti, L. (2000): The impact of technological change on archival theory. International
Council on Archives, XIV Congreso, Sevilla, 39-55.
Drucker, P. F. (2003): El management del futuro. Buenos Aires; Editorial Sudamericana.
Flechtheim, O. K. (1966): History and futurology. Meisenheim am Glan: Hain.
García, E. (2004): Medio Ambiente y sociedad. La civilización industrial y los límites del
planeta. Madrid: Alianza Editorial.
Gallisot, J. (2004): Quelle planéte Terre pour les generations futures? París: Publibook.
Gavigan, J. P. (2001): Panorama de la prospectiva en Europa. Principios y visión general
por países. Economía industrial, 342, VI, 107-115.
Gilﬁ llan, S. C. (1907): The Sociology of Invention. Cambridge: MIT Pres.
Gilliland-Swetland, A. J. (2000): Enduring paradigm, new opportunities: the value of the
archival perspective in the digital environment. Washington, D.C.: Council on Library
and Information Resources.
222
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Prospectiva archivística: nuevas cuestiones, enfoques y métodos de investigación cientíﬁ ca
Godet, M. (2004): Manuel de prospective estratégique. T1: une discipline intellectuel. Paris:
DUNOD.
Godet, M. (2000): La caja de herramientas de la prospectiva estratégica. Zarauz, Guipuz-
coa; Prospeptiker, cuaderno nº 5.
Godet, M., y Roubelat, F. (1996): Creating the future: the use and misuse of scenarios,
Long range planning, vol. 29, nº 2, 164-171
Healy, T.; Coté, S., y otros (2001): Du bien être des nations. Le roir du capital humain et
social. Paris: OCDE.
Heilbroner, R. (1996): Visiones del futuro: el pasado lejano, el ayer, el hoy y el mañana.
Barcelona; Ediciones Paidós Ibérica.
Hidalgo, A.; León, G., y Pavón, A. (2002): La gestión de la innovación y las tecnologías
en las organizaciones. Madrid: Pirámide.
Jacquard, A. y Khan, A. (2001): L’avenir n’est pas écrit. Paris: Bayard.
Jancovici, J.M. (2002): L’avernir climatique ¿quell temps feron nous? París: Editions du
Seuil.
Janstch, E. (1970): Pronósticos del futuro. Madrid: Alianza Editorial.
Jouvenel, B. (1967): The Art of Conjecture. New York: Basic Books.
Leff, E. (2004): Ecología y Capital. Racionalidad ambiental, democracia participativa y
desarrollo sustentable. Ed. Siglo XXI en coedición con el Instituto de Investigaciones
Sociales de la UNAM: México.
Martín-Pozuelo, M. P. (2002): Los entornos y documentos electrónicos ¿Efecto Edison para
la formación archivística?. V Jornadas de Archivos Electrónicos. Priego de Córdoba,
51-64.
Masini, E. B. (2000): Penser le futur : les bases des études prospectives. París: Dunod éditeur.
Medina Vásquez, J., y Ortegón, E. (2006): Manual de prospectiva y decisión estratégica:
bases teóricas e instrumentos para América Latina y el Caribe. Santiago de Chile: IELS,
Manuales nº 51, 138.
Michalski, W., y Miller, R. (1999): L’economie mundiale du demain. Vers un essors dura-
ble. Paris: OCDE.
Palop, F., y Vicente, J. M. (1999): Vigilancia tecnológica e inteligencia competitiva. Su
potencial para la empresa española. Fundación COTEC, Estudio 15.
Pérez Andrés, C. (2000): ¿Deben estar las técnicas de consenso incluidas entre las técnicas
de investigación cualitativa? Revista Española de Salud Pública, 74, nº 4, 319-321.
Polak, F. (1971): The image of the future. Amsterdam: Elsevier Scientiﬁ c Publishing Com-
pany.
Ringland, G. (1998): Scenario Planning: Managing for the Future. Chichester: John Wiley
& Sons,
Serra, J. (1997): «Imaginar un mañana». La Vanguardia [en línea]. Ciencia y salud. Dispo-
nible en: http://www.cienc.ia.vanguardia.es/ciencia/portada/p371.html [consultado el
6 de mayo de 2009].
Sherman, K. (1994): Inteligencia estratégica para la política mundial norteamericana.
Buenos Aires: Editorial Pleamar.
Schwartz P., (1993): La planiﬁ cation stratégique par scénarios, Futuribles, nº 176, 31-50
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731
223

M. PAZ MARTÍN-POZUELO
Van Der Heijden, K. (1996): Scenarios: The Art of Strategic Conversation. Chichester &
New York: John Wiley & Sons.
Vendramin, P., y Valenduc, G. (2002): L’avenir du travail dans la societé de l’information.
Enjeux individuels et collectives. Paris: L’hartman.
Waardenburg, J. (1999): Classical Approaches to the Study of Religion: Aims, Methods, and
Theories of Research. New York (etc.) Walter de Gruyter.
Wallerstein, I. (2002): Un mundo incierto. Buenos Aires: libros del Zorzal.
224
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 201-224, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.731

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 225-245, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.733
Indicador bibliométrico basado en el índice h
Pablo Dorta-González*, María Isabel Dorta-González**
Resumen: El índice h se ha convertido en uno de los indicadores bibliométricos más
empleados para estimar el éxito del trabajo realizado por un investigador y predecir
el impacto de su producción en el futuro. Esto se debe principalmente a dos razones.
En primer lugar, a su simplicidad, dado que se trata de un único indicador que com-
bina producción e impacto, y puede ser determinado fácilmente por cualquier inves-
tigador. En segundo lugar, a que elimina los sesgos provocados por las colas de la
distribución de citas. Sin embargo, este indicador presenta limitaciones al discriminar
entre investigadores con diferentes hábitos de publicación, penalizando a aquellos más
selectivos, que no destacan por el número de publicaciones pero sí por el alto núme-
ro de citas recibidas, frente a los grandes productores. En este trabajo se proponen
soluciones que consideran las citas de aquellos artículos que pueden contribuir, con
una alta probabilidad, a incrementar el valor del índice h en el futuro.
Palabras clave: Índice h, análisis de citas, indicadores bibliométricos, evaluación cientí-
ﬁ ca.
Bibliometric indicator based on the h-index
Abstract: The h index has become one of the most widely used bibliometric indicators for
estimating the success of researchers and predicting the impact of their work in the
future. This is mainly due to its simplicity, since it is a single indicator that combines
production and impact, and can easily be determined by any researcher. It also
eliminates the bias caused by the long tail of citation distribution. However, this indicator
has limitations, in that it fails to discriminate between researchers with different
publishing habits and, as a result, it penalizes those with a more selective output
characterized by a relatively low number of frequently cited documents, as opposed to
authors with a high number of publications. This paper proposes a solution that would
take into consideration the citations of those publications with a high probability of
increasing the future h index values.
Keywords: h-index, citation analysis, bibliometric indicators, scholarly evaluation.
* Departamento de Métodos Cuantitativos en Economía y Gestión. Universidad de Las Palmas
de Gran Canaria, Gran Canaria, España. Correo-e: pdorta@dmc.ulpgc.es.
** Departamento de Estadística, Investigación Operativa y Computación. Universidad de La La-
guna. Tenerife, España. Correo-e: isadorta@ull.es.
Recibido. 22-6-09; 2.ª versión: 29-9-09; aceptado: 21-10-09.
225

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
1. Introducción
La investigación cientíﬁ ca tiene gran inﬂ uencia en el desarrollo económico y
social de los países. Sin embargo, los recursos que pueden destinarse a esta ac-
tividad son limitados. La demanda de incremento en su ﬁ nanciación ha origina-
do la necesidad de evaluar la actividad cientíﬁ ca y sus resultados, siendo uno de
los más directos las publicaciones cientíﬁ cas. El objetivo de los indicadores bi-
bliométricos es el análisis cuantitativo y cualitativo de dichas publicaciones, a
partir del número de artículos y el número de citas que estos reciben (impacto),
y entre sus principales aplicaciones se encuentra el área de Política Cientíﬁ ca.
Los indicadores clásicos, como el número de artículos, el número total de
citas y el promedio de citas por artículo, de forma individual, no reﬂ ejan satis-
factoriamente el éxito de la carrera profesional de un investigador. Además, no
son robustos, en el sentido que se ven muy afectados tanto por los artículos poco
citados como por aquellos anormalmente muy citados, no representativos de la
actividad normal del investigador ya que podrían deberse a éxitos puntuales o
grandes colaboraciones.
El índice h (Hirsch, 2005) es un interesante indicador que estima el número
de trabajos importantes publicados por un investigador, incrementando la exigen-
cia a la vez que aumenta su valor. Se trata de un indicador robusto que conside-
ra al mismo tiempo aspectos cuantitativos y cualitativos o de visibilidad. Existe
correlación entre el índice y el éxito de un investigador apreciado por sus pares
(Hirsch, 2005) y tiene, además, valor predictivo del éxito futuro (Hirsch, 2007).
No obstante, también presenta algunas limitaciones. Aunque este indicador
ha demostrado su utilidad para detectar a los investigadores más destacados en
un área, existen evidencias empíricas de que no discrimina entre los situados
en niveles intermedios, y penaliza a los selectivos frente a los grandes produc-
tores (Costas y Bordons, 2007a, b). Al comparar las carreras profesionales de dos
cientíﬁ cos de un mismo campo, surgen dudas entre aquellos casos con valores
similares de h en los que las curvas de citas se cortan. Esto es debido a que al-
gunos investigadores presentan más altos niveles de citas al comienzo de la cur-
va y más bajos al ﬁ nal. En estos casos, es preciso establecer criterios que permi-
tan discriminar que distribuciones de citas corresponden a carreras más
consolidadas y constantes.
Por tanto, el problema que tratamos de resolver es el siguiente: ¿Cómo dis-
criminar entre dos investigadores con valores similares de h y curvas de citas que
se cortan? En este trabajo se propone un indicador de entorno, basado en el
índice h, que considera la zona intermedia de la distribución de citas.
El apartado 2 está dedicado a describir los principales indicadores bibliomé-
tricos empleados en la evaluación de la carrera profesional de un investigador,
prestando especial atención a aquellos índices tipo h. En el apartado 3 se des-
criben los indicadores de entorno y en el 4 se muestra un ejemplo de su aplica-
ción práctica. Finalmente, el apartado 5 se dedica a conclusiones y consideracio-
nes ﬁ nales.
226
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
2. Indicadores bibliométricos para la evaluación
de investigadores
2.1. Indicadores de producción e impacto
Existe consenso en admitir que los artículos son el resultado más directo de
la investigación, especialmente cuando se consideran aquellas revistas en las que
existe un sistema de selección que garantiza la calidad y originalidad de los tra-
bajos. Aunque el juicio de expertos ha demostrado ser el método más apropiado
para valorar la calidad de las aportaciones al área de los artículos, el sistema
presenta algunas limitaciones, como el carácter subjetivo y su elevado coste. En
este contexto, los indicadores bibliométricos representan indicios objetivos de
calidad, que pueden complementar al juicio de expertos.
Los indicadores bibliométricos más empleados se basan en el recuento de las
publicaciones y las citas recibidas por los trabajos publicados, así como el im-
pacto de las revistas de publicación. El número de publicaciones (N ), es un
p
indicador cuantitativo que no valora la calidad del contenido. Es evidente que
no todas las publicaciones tienen la misma importancia, ni suponen la misma
contribución al avance cientíﬁ co. En la búsqueda de indicadores cualitativos, ca-
paces de valorar estos aspectos, se han propuesto el número total de citas (N )
c
que reciben los trabajos, el promedio de citas por artículo (n = N /N ), el factor
c
c
p
de impacto de la revista de publicación y la posición relativa de la revista en los
listados temáticos, ordenados por factores de impacto, del Journal Citation Re-
ports (JCR), atendiendo a la base de datos ISI-Web of Science de Thomson Reu-
ters. Sin embargo, se ha observado que algunas publicaciones que reúnen crite-
rios de calidad atendiendo a la opinión de expertos, apenas reciben citas. La
razón es que el número de ci tas depende de su calidad, pero también de otras
variables entre las que ﬁ gura el prestigio del autor y/o la institución, la actualidad
del tema, la lengua empleada y la revista de publicación, que condicionan la
mayor o menor difusión del trabajo. Por esta razón, los indicadores basados en
el número de citas lo que miden es el impacto, inﬂ uencia o visibilidad de la in-
vestigación, que es un indicador indirecto de la calidad.
El factor de impacto (a dos años) de una revista es el número medio de citas
de los trabajos publicados en los dos años naturales anteriores. Este indicador
fue propuesto por Garﬁ eld para evaluar exclusivamente las revistas de investiga-
ción. Quienes deﬁ enden su aplicación en la evaluación de los investigadores,
justiﬁ can este procedimiento en base a la creencia que aquellas revistas con ma-
yores factores de impacto exigen mejores manuscritos, lo cual es en parte cierto
al comparar trabajos del mismo campo cuando los factores de impacto de las
revistas son signiﬁ cativamente diferentes. Sin embargo, la aplicación a investiga-
dores que trabajan en distintos campos no es directa, dado que el factor de im-
pacto depende de parámetros bibliométricos que no tienen que ver con la calidad
como, por ejemplo, el número medio de referencias bibliográﬁ cas en las revistas
del área. Por otra parte, las mejores revistas publican muchos trabajos de escaso
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
227

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
éxito y, a la inversa, muchos trabajos de gran éxito se publican en revistas que
no están en los primeros puestos de los listados por factor de impacto. Es bien
conocida la regla 80/20, que indica que el 80 % de las citas de muchas revistas
son obtenidas por el 20 % de los trabajos. Además, no existe correlación entre el
factor de impacto de una revista y el número de citas de un trabajo concreto de
esa revista, por lo que no puede emplearse el factor de impacto para predecir
el éxito de los artículos. Como consecuencia, existe un rechazo generalizado a
evaluar la calidad de un trabajo por el factor de impacto de la revista (Nature,
2005), sobre todo cuando determinar las citas reales de los trabajos está al alcan-
ce de cualquier investigador.
En la valoración de las publicaciones cientíﬁ cas se puede tener en cuenta,
además, algunos aspectos como el número de páginas publicadas, en ocasiones
normalizadas por el promedio de caracteres, y el número de autores de cada tra-
bajo. Sin embargo, el número de páginas es signiﬁ cativo sólo cuando se conside-
ran artículos publicados en revistas de gran prestigio (blue ribbon o top journals),
en las que la extensión de los artículos reﬂ eja el esfuerzo realizado por los inves-
tigadores. Además, es conocido que existen hábitos de publicación distintos en
los diferentes campos de especialidad, y que algunas revistas establecen límites
estrictos al número de páginas de cada artículo, mientras que otras no lo hacen.
2.2. Indicadores
tipo
h
Como se ha comentado, el procedimiento para valorar la excelencia de un
investigador, sin recurrir a la evaluación por pares, consiste en el análisis de la
frecuencia de las citas de sus trabajos. La suma de todas las citas recibidas por
los trabajos publicados por un autor reﬂ eja, en muchos casos, el éxito de su ca-
rrera cientíﬁ ca. Sin embargo, en ocasiones, algunos éxitos puntuales acumulan
un alto porcentaje del total de citas de un investigador. Además, las grandes co-
laboraciones introducen sesgos muy importantes, al recoger muchas citas pero
derivadas del trabajo de un gran número de investigadores.
Para corregir estos sesgos, Hirsch propone un nuevo indicador. Un investiga-
dor tiene un índice h cuando h de sus publicaciones han recibido al menos h
citas cada una, y el resto tiene h o menos citas por trabajo (Hirsch, 2005). Este
indicador estima el número de trabajos importantes publicados por un investiga-
dor, incrementando la exigencia a la vez que aumenta su valor, y proporciona
una cota inferior h2 del número total de citas N . El valor de N es generalmente
c
c
mucho mayor que h2 (entre 3 y 5 veces según ha estimado el propio Hirsch) ya
que esta cantidad subestima las citas de los artículos más citados e ignora los
artículos con menos de h citas. Hirsch argumenta que N puede ser inﬂ ado por
c
un pequeño número de importantes éxitos que podrían deberse al efecto de la
coautoría. Sin embargo, el índice h es robusto, en el sentido que no se ve afec-
tado ni por aquellos artículos no citados (o poco citados) ni por uno o varios
artículos anormalmente muy citados.
228
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
El índice h ha sido extensamente estudiado (ver revisión de Bornmann y
Daniel, 2007) y tiene importantes propiedades matemáticas (Glänzel, 2006). Sin
embargo, también presenta importantes limitaciones, algunas de las cuales se
indican a continuación, junto con algunas variantes que han surgido en los últi-
mos años para intentar resolverlas.
• Depende del área y del número de colaboradores (es size-dependent). No
es adecuado, por tanto, para comparar investigadores de diferentes áreas
cientíﬁ cas, lo que se explica por los distintos hábitos de publicación y ci-
tación según el campo. El número de citas depende de dos parámetros
bibliométricos que son diferentes entre campos y que no tienen que ver
con la calidad, como son el promedio de referencias y autores por trabajo.
El primero de estos sesgos puede corregirse dado que el h máximo en cada
campo está fuertemente correlacionado con los factores de impacto de las
primeras revistas del área, lo que permite estimar un h de referencia en
cada especialidad (Imperial y Rodríguez-Navarro, 2007). Una alternativa es
el índice b (Bornmann y otros, 2007) que indica el número de artículos
incluidos en el 10 % de los más citados en su campo, determinados a par-
tir de los percentiles ISI-ESI, por ejemplo. El segundo sesgo puede reducir-
se con un indicador complementario h , que se obtiene al dividir por el
1
número medio de autores de esos artículos (Batista y otros, 2006), e indi-
caría el número de artículos que un investigador podría haber publicado
en solitario a lo largo de su carrera con al menos h citas.
1
• Correlaciona con el número de publicaciones. Muestra una alta correlación
positiva con el número total de citas y de documentos de los investigado-
res (Cronin y Meho, 2006; Saad, 2006; Van Raan, 2006), por lo que tiende
a favorecer a los que cuentan con carreras cientíﬁ cas más dilatadas y tiene
menos validez entre aquellos con un bajo número de publicaciones. Para
diferenciar entre investigadores activos e inactivos y poder comparar inves-
tigadores en distintas etapas de su carrera, se ha propuesto la tasa de creci-
miento h' (t) (Rousseau y Ye, 2008). A diferencia de N (t), que es una función
c
cuadrática, Hirsch (2007) ha estimado empíricamente que h(t) = a · t es
una función lineal del tiempo. De esta manera, es posible tomar como ele-
mento de comparación la tasa de crecimiento a = h/t, siendo t los años
transcurridos desde la publicación del primer artículo. Una alternativa es
calcular el índice h para un determinado período de tiempo, en lugar de
toda la vida profesional de un investigador.
• No considera todas las citas de los artículos más citados (highly cited papers).
Estos trabajos contribuyen al índice h de un determinado autor, pero el
número de veces que son citados no inﬂ uye sobre su valor. Esto es debido
a que al estimar el éxito de un investigador por el índice h se desprecian
las colas de la distribución de citas. Estas colas corresponden a aquellas
publicaciones que se alejan del impacto promedio, ya sea porque han sido
muy citadas (cola superior), o porque apenas lo han sido (cola inferior). El
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
229

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
índice g (Egghe, 2006) considera todas las citas de los g artículos más cita-
dos, y viene a representar un promedio de citas entre estos g artículos.
Ordenados los artículos de forma decreciente del número de citas que re-
ciben, g es el mayor valor de forma que los primeros g artículos tienen, en
su conjunto, al menos g2 citas. Sin embargo, como indica Hirsch, una cola
superior pesada puede corresponder a trabajos con muchos autores en
grandes líneas de investigación que generan muchas citas. Una cola inferior
pesada indica un gran número de publicaciones de escaso impacto, lo que
podría indicar sobreproducción.
• Perjudica a los investigadores selectivos, aquellos con producción moderada
pero de gran impacto, frente a los grandes productores, aquellos con una
gran producción pero de impacto moderado (Costas y Bordons, 2007a,b).
Además, no es consistente (Waltman y Van Eck, 2009), debido a que el
efecto de la incorporación de un nuevo trabajo con un número determina-
do de citas puede ser diferente entre investigadores, incrementando el va-
lor de h en unos casos y dejándolo igual en otros. En este trabajo se pro-
ponen los indicadores de entorno, un complemento del índice h que trata
de aumentar la consistencia del indicador sin favorecer a los grandes pro-
ductores frente a los selectivos.
3. Indicadores de entorno
3.1. Formulación
matemática
Dadas las publicaciones de un autor en orden decreciente del número de
citas, sea N el número total de publicaciones de un autor y c el número de citas
p
i
recibidas por la publicación i (c ≥ c ≥ ... ≥ C ). Sea N j = Σj c las citas agrega-
1
2
Np
c
i = 1 i
das de las j publicaciones más citadas, N = ΣNp c las citas totales y n = N /N
c
i = 1 i
c
c
p
el promedio de citas por artículo.
La representación del número de citas frente a la posición en la lista (i, c )
i
da lugar a la distribución de citas, mientras que la línea que une estos puntos
es la curva de citas. El índice es el mayor número entero que cumple c ≥ h, es
h
decir,
h = máx i ∈ Z : c ≥ i
i
Geométricamente, es la parte entera del punto de intersección de la curva de
citas con la bisectriz del primer cuadrante. Esto signiﬁ ca que el autor tiene h
trabajos con al menos h citas cada uno.
El índice h proporciona una cota inferior H = h2 del número total de citas,
no incluyendo el volumen de citas en las colas de la distribución de citas: cola
superior «U» de artículos más citados y cola inferior «L» de artículos menos citados.
Obsérvese que se tienen las siguientes relaciones:
230
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h

N = H + U + L,
c

U = N h – H,
c

L = N – N h
c
c
El peso relativo de las colas de la distribución de citas viene dado por N /H.
c
De acuerdo a las estimaciones de Hirsch, podemos decir que si N /H < 3 la dis-
c
tribución tiene colas poco pesadas, mientras que si N /H > 5 la distribución tiene
c
colas muy pesadas. El índice h beneﬁ cia a aquellos investigadores que presentan
colas menos pesadas. Esto es debido a que a medida que aumenta el peso rela-
tivo de la cola, la proporción de citas consideradas en el cálculo de este índice
es menor. Perjudica de manera considerable a aquellos investigadores con una
relación de colas U/L elevada. Cuando U/L > 1, el peso de la cola superior es
mayor que el de la cola inferior, lo que podría indicar que se trata de un inves-
tigador selectivo. Cuando sucede lo contrario, esto es U/L < 1, la relación entre
las colas podría indicar que nos encontramos ante un investigador gran pro ductor.
El índice g es el mayor número entero que cumple g2 ≤ Ng, es decir,
c
N i
g = máx i ∈ Z
c ≥ i = máx i ∈ Z/Ni ≥ i2
i
c
Este indicador considera todas las citas de los g artículos más citados y re-
presenta un promedio de citas entre estos g artículos. En este caso, se incluye la
cola superior de citas U, por lo que g ≥ h y garantiza una cota inferior de citas
G = g2 ≥ H.
La mediana «m» de la distribución de citas corresponde a aquella publicación
que deja a cada lado aproximadamente la mitad de las citas, es decir,
N
m = mín i ∈ Z/Ni ≥ c
c
2
La tabla I resume la notación empleada y describe algunos indicadores bi-
bliométricos en función del porcentaje de citas representadas. La tabla II y la
ﬁ gura 1 muestran, para dos ejemplos, diferentes medidas que describen la forma
de la curva de citas. Además, estos ejemplos ponen de maniﬁ esto que el índice h
correlaciona menos con el juicio de los expertos en Ciencias Sociales que en
otras Ciencias Experimentales.
En general, los índices h en Ciencias Sociales son muy inferiores a los de
otras Ciencias. Así, mientras en Biología y Biomedicina el h máximo es del orden
de 150, en Física es del orden de 100 (Hirsch, 2005) y en Economía de 50. Como
se ha indicado en el apartado 2, el h máximo en cada campo está fuertemente
correlacionado con los factores de impacto de las primeras revistas del área, lo
que permite estimar un h de referencia en cada especialidad h = 16 + 11 · f,
R
donde f es el factor de impacto promedio de las primeras revistas del área (Im-
perial y Rodríguez-Navarro, 2007). La categoría «Economics» del JCR 2007 incluye
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
231

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
TABLA I
Notación y descripción d e algunos indicadores bibliométricos
Indicador
Descripción
Citas representadas
% de citas
N
Nº de publicaciones
—
—
p
Índice publicación en orden
i = 1, ..., N
—
—
p
decreciente del nº de citas
c
Citas publicación i
—
—
i
j
N j = Σ c
Citas agregadas hasta j
—
—
c
i
i = 1
H + U
N h
Citas de los h más citados
H + U
100
c
Nc
N = N Np
Total citas
H + U + L
100
c
c
N
n = c
Promedio citas por publicación
—
—
c
Np
h2
H
Cuadrado de citas de Hirsch
h2
100
Nc
N h – H
U
Cola superior más citados
N h – H
c
100
c
Nc
N h
L
Cola inferior menos citados
N – N h = N – H – U
1 – c 100
c
c
c
Nc
g2
G
Cuadrado de citas de Egghe
g2
100
Nc
H
U + L
Total colas
N – H
1 –
100
c
Nc
H
h
Índice h
H
100
Nc
G
g
Índice g
G
100
Nc
1
m
Mediana
N
50
2 c
U
Relación de colas
—
—
L
Nc
Peso relativo de las colas
—
—
H
191 revistas, que presentan grandes diferencias entre factores de impacto. Aunque
el mayor es 4,190, tan sólo doce superan el 2, por lo que se ha optado por tomar
la media de los factores de impacto de las doce primeras revistas de la categoría,
cuyo resultado es 2,958, para el cálculo del h de referencia internacional. Para
el cálculo del h de referencia nacional se ha tomado la única revista española
232
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
TABLA II
Indicadores bibliométricos de J. E. Stiglitz y E. S. Phelps según Web
of Science (octubre, 2008)
J. E. Stiglitz
E. S. Phelps
Indicador
Valor
% citas
Valor
% citas
N
164
—
58
—
p
N
12.016
100
2.125
100
c
n
73,27
—
36,64
—
c
h
50
—
20
—
g
108
—
46
—
m
9
50
5
50
N h
10.132
84,3
1.982
93,3
c
H
2.500
20,8
400
18,8
U
7.632
63,5
1.582
74,4
L
1.884
15,7
143
6,7
G
11.664
97,1
2.116
99,6
U + L
9.516
79,2
1.725
81,2
U
4,05
—
11,06
—
L
Nc
4,81
—
5,31
—
H
FIGURA 1
Distribución de citas de J. E. Stiglitz y E. S. Phelps según Web
of Science (octubre, 2008)
1.200
Stiglitz
1.000
Phelps
Bisectriz
800
h
g
N
N
H
U
L
N h
m
p
c
c
a

c i
600
Stiglitz
50
108
9
164
12.016
2.500
7.632
1.884
10.132
Cit
Phelps
20
46
5
58
2.125
400
1.582
143
1.982
400
200
0
1
21
41
61
81
101
121
141
161
Artículo i
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
233

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
en esta categoría (Investigaciones Económicas) cuyo factor de impacto es 0,268.
Estos datos indican que el índice de referencia internacional en Economía es del
orden de 50 (h = 16 + 11 · 2,958 49), mientras que en España es del orden
R
de 20 (h = 16 + 11 · 0,268 19).
RE
Aunque algunos economistas de prestigio, atendiendo al juicio de expertos,
tienen índices entorno al de referencia (por ejemplo, Joseph E. Stiglitz, premio
Nobel en 2001 y h = 50), los índices de otros economistas de prestigio son muy
inferiores (por ejemplo, Edmund S. Phelps, Nobel en 2006 y h = 20). Estos ejem-
plos, que se describen en la tabla II y la ﬁ gura 1, ilustran que el índice h en
algunas disciplinas sociales correlaciona menos con el juicio de expertos, siendo
necesario complementarlo con otros indicadores.
3.2. El problema de discriminar entre índices similares
Al comparar las carreras profesionales de dos cientíﬁ cos de un mismo campo,
surgen dudas en aquellos casos en los que las curvas de citas se cortan. Las ﬁ -
guras 2 y 3 muestran dos ejemplos en los que esto sucede. En ambos casos, el
FIGURA 2
Dos curvas de citas que se cortan, con idéntico índice y número total
de citas, pero diferente promedio de citas por artículo
D : Investigador selectivo
1
H + U + L = H + U + L
(menos publicaciones pero
1
1
2
2
de mayor impacto promedio)
U
U
1
2
>>
(n >> n )
L
L
c1
c2
1
2
Ejemplo numérico:
N = 20, N = 30, h = h = 10,
U
p1
p2
1
2
1
H = 100, U = L = 125, L = U = 75,
1
2
1
2
125/75 = 1,67 (300/20 = 15)
75/125 = 0,68 (300/30 = 10)
a

c i
Cit
U2
h
H
D : Investigador gran productor
2
(más publicaciones pero
de menor impacto promedio)
L
L
1
2
m
m
h
1
2
Artículo i
234
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
FIGURA 3
Dos curvas de citas que se cortan, donde la de menor índice «h» presenta
mayor promedio de citas por artículo
D1
a

c i
Cit
h2
h1
D2
m
m
1
2
Artículo i
primer investigador presenta niveles más altos de citas al comienzo de la curva
y más bajos al ﬁ nal, pero ¿qué gráﬁ ca sugiere una carrera más consolidada y
constante? En la ﬁ gura 2 se aprecian dos perﬁ les muy diferentes entre investiga-
dores, uno selectivo frente a otro más masivo en la publicación, sin embargo,
ambos presentan idéntico índice h. Como muestra la ﬁ gura 3, el índice h de un
investigador puede incluso ser menor al del otro, aunque eso no tiene porqué
indicar necesariamente que el primero presente una carrera menos sólida. Estas
gráﬁ cas reﬂ ejan el problema de discriminar entre dos distribuciones con similares
índices h (no signiﬁ cativamente diferentes) pero con diferencias importantes en
la relación entre las colas de la distribución U/L.Como se puede observar, a ma-
yor ratio de colas, mejor promedio de citas por artículo.
La mediana divide la distribución de citas en dos partes con similar número
de citas, y cuando la distribución es simétrica respecto a la bisectriz, se tiene
m < h y U = L. El caso m << h (donde << indica que es mucho menor) corres-
ponde a una distribución donde U >> L, mientras que m >> h corresponde a U
<< L. El índice h no discrimina entre perﬁ les diferentes dado que no tiene en
cuenta las colas de la distribución, ni siquiera para valores de m muy alejados
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
235

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
de h. Podría darse el caso de dos distribuciones con el mismo h, una con U >> L
y otra con U << L. Parece razonable, en estos casos, medir de alguna manera
parte de U y L para complementar el índice h con las zonas próximas al cuadra-
do H de citas de Hirsch. De esta forma, se incrementa la capacidad de discrimi-
nación en aquellos casos en los que existan dudas razonables entre investigado-
res. Esta idea da lugar a los indicadores de entorno.
3.3. Indicadores de entorno H , j = 0, 1, ..., h – 1
j
Sea A(B) la zona superior (inferior) contigua a H, esto es, aquella parte de
la cola superior U (inferior L) de la distribución de citas más próxima al cuadra-
do de citas de Hirsch. La zona inferior B corresponde a aquellos artículos que
con mayor probabilidad pueden contribuir a incrementar el valor de h en el fu-
turo, dado que están más próximos al núcleo que deﬁ ne su valor. La zona su-
perior A incluye aquellas citas que formarán parte del cuadrado H en el momen-
to en que el índice h aumente de valor. Por ello, parece razonable relajar la
restricción para incluir también dichas zonas y aumentar, de esta forma, el poder
de discriminación del indicador.
Los indicadores de entorno son una generalización del cuadrado H de citas
de Hirsch, que considera estas zonas contiguas (A y B) en cierto entorno de h
de la forma h ± j, 0, 1, ..., h – 1, y están deﬁ nidos de la siguiente manera:
h + j
H = H
= (h – j) c
+ Σ c , j = 0, 1, ..., h – 1
j
h ± j
h – j
i
i = h – j + 1
Obsérvese que H = H, por lo que este indicador generaliza el cuadrado de
0
citas de Hirsch. El último indicador es H
= N 2h – 1, que incluye toda la cola
h – 1
c
superior de citas U. Aunque podría deﬁ nirse el indicador también para valores
≥ h, hay que tener en cuenta que, en tal caso, sólo estaríamos añadiendo parte
de la cola inferior L.
La ﬁ gura 4 muestra los indicadores de entorno para dos distribuciones de
citas. Como puede observarse, en el caso de la distribución i, i = 1,2, el indica-
dor de entorno agrega el área A + B al cuadrado H.
i
i
Dado que el indicador de entorno representa un agregado de citas, su repre-
sentación en función del radio del entorno es una función creciente. Esto puede
observarse en la ﬁ gura 5, donde se muestra el comportamiento de este indicador
para J. E. Stiglitz y E. S. Phelps hasta j = 19, que corresponde al último entorno
para el autor con menor índice h.
Aquellos autores cuyas distribuciones de citas presentan colas pesadas son
perjudicados por el índice h. Sin embargo, para estos autores el indicador de
entorno crece más rápidamente que para los investigadores con colas menos
pesadas, aumentando el poder de discriminación. Los investigadores selectivos
también son perjudicados por el índice h. Sin embargo, el indicador de entorno
corrige este problema. A modo de ejemplo, supongamos un investigador con
236
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
FIGURA 4
Indicadores de entorno para dos curvas de citas con idéntico índice
H = H + A + B
j
H = H + A + B
j1
1
1
H = H + A + B
j2
2
2
H > H (A – A > B – B )
j1
j2
1
2
2
1
D1
a
to
torí
ec
u
ef
coa
a

c i
A1
Cit
A2
h
B2
H
B
D2
1
efecto
sobreproducción
h – j
h
h + j
Artículo i
FIGURA 5
Indicadores de entorno para J. E. Stiglitz y E. S. Phelps según Web
of Science (octubre, 2008)
5.000
Stiglitz
4.000
Phelps
s
3.000
l
e
a
tot
as
2.000
Cit
1.000
0
H0
H2
H4
H6
H8
H10
H12
H14
H16
H18
Radio del entorno
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
237

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
10 pu blicaciones, la menos citada de las cuales tiene 20 citas. En este caso h = 10
y representa tan sólo a 100 de las citas. Sin embargo, H = 200 por lo que se ha
1
doblado el volumen de citas representadas sin más que considerar un entorno
de radio 1.
Una fórmula recurrente, más eﬁ ciente que la anterior a la hora de programar
el cálculo de los indicadores de entorno, es:

H = h2,
0

H = H
+ (c
– c
)(h – j) + c
, j = 1, ..., h – 1
j
j – 1
h – j
h – j + 1
h + j
En este trabajo se ha optado por considerar entornos de centro h y radio j,
aunque de forma similar se podrían deﬁ nir indicadores de intervalo, y considerar
las citas de las zonas próximas atendiendo a cierto intervalo de la forma [h – a,
h + b], resultando el conjunto de indicadores:
h + b
H
= (h – a) c
+ Σ c , 0
≤ a ≤ h – 1, 0 ≤ b ≤ N – h
h – a, h + b
h – a
i
p
i = h – a + 1
Cuando a = b = 0, se obtiene H; para a = h – 1, b = 0, se obtiene Nh; para
c
a = h – 1, b = N – h, se obtiene N ; y, ﬁ nalmente, cuando a = b = j se tiene el
p
c
indicador de entorno H .j
En aquellos casos en los que h es grande, se podría tomar, por ejemplo,
h 3h
a = b = [h/2], siendo [x] la parte entera de x, resultando el intervalo
,
en
2
2
el caso particular en que h es un número par. Sin embargo, cuando h es peque-
h
ño podría ser más razonable considerar, por ejemplo, a =
, b = h, resultando
2
h
el intervalo
, 2h en el caso particular en que h es un número par.
2
4. Ejemplo
Se ha estudiado el comportamiento de los indicadores de entorno en el con-
junto de autores españoles en activo más productivos en Ciencias Sociales. Para
ello, se considera la distribución de citas de una muestra aleatoria de n = 16
autores de la población TOP-100, formada por los 100 investigadores españoles
con mayor número de artículos en la base de datos ISI-SSCI a diciembre de 2008,
qu e cuentan con alguna publicación durante el año 2008. En la población TOP-100
todos los autores tienen al menos 28 artículos. La muestra tomada contiene 901
artículos de los 4064 que conforman la población en su conjunto, aproximada-
mente un 22 %.
El objetivo es obtener los indicadores de entorno H , j = 0, 1, ..., h – 1, y
j
estimar empíricamente el valor de j que más correlaciona con el H futuro. Para
238
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
ello, se ha tomado el número de artículos y citas a diciembre de 2003 y 2008.
Además, con la intención de ver el efecto que pudiera tener el índice h sobre
los indicadores de entorno, se han considerado dos grupos atendiendo a los
datos de 2003, el primero formado por aquellos autores de la muestra con h ≤ 7
(grupo 1) y el segundo con el resto de autores, es decir, aquellos con h ≥ 8 (gru-
po 2).
La tabla III muestra, para cada autor, el rango de publicaciones, con el año
del primer artículo en la base de datos SSCI, y el total de artículos y citas en
2003 y 2008. Esta información se muestra también en la ﬁ gura 6, cuya ﬁ gura a)
permite visualizar aquellos autores con mayor impacto (Alonso y Lobo). Las ﬁ -
guras b) y c) de este gráﬁ co muestran los diagramas de dispersión producción-
impacto, de tal manera que aquellos autores por encima de la recta de regresión
muestran un comportamiento más selectivo que aquellos situados por debajo,
que serían menos selectivos. Como puede observarse, aunque existen diferencias
signiﬁ cativas en la relación producción-impacto de ambos gráﬁ cos (2003 y 2008),
en ambos casos los autores más selectivos de la muestra son Alonso, Lobo y
Tobena (9, 12 y 15, respectivamente) y el menos selectivo es Gil-Alana (3). Este
autor ha publicado en 9 años un total de 65 trabajos que han recibido 142 citas,
lo que hace un promedio de 2,18 citas por artículo. Todo lo contrario sucede
con Lobo, por ejemplo, ya que en 31 años ha publicado 62 trabajos que han
recibido 1.505 citas, una media de 24,27 citas por artículo.
La tabla III muestra también el índice h en 2003, h
, y en 2008, h
, y los
2003
2008
indicadores de entorno para 2003, H , j = 0, 1, 2, 3. Aunque se ha tomado una
j
muestra de los investigadores más productivos, en seis de los casos h ≤ 3, por
lo que para j = 3 sólo se dispone de 10 datos. Finalmente, este cuadro muestra
también la correlación lineal y log-lineal entre los indicadores de entorno y H

2008
para los dos grupos estudiados, así como para el total de autores. Como puede
observarse, las correlaciones son altas en la mayoría de los casos, y tienden a

aumentar a medida que crece el entorno. Comparando las correlaciones por gru-
pos de autores, puede observarse como para el conjunto de autores con menor
índice h (grupo 1) el modelo log-lineal se ajusta mejor a los datos, siendo las
correlaciones mayores en todos los casos analizados. Sin embargo, para el con-
junto de autores con mayor h (grupo 2) el modelo lineal tiene mejor ajuste en
todos los casos.
A modo de ejemplo, veamos dos casos donde se pone de maniﬁ esto la ca-
pacidad de discriminación de los indicadores de entorno frente al índice h. Ma-
tute y Vieta tienen h
= 9 pero, sin embargo, todos los indicadores de entorno
2009
calculados son mayores para el segundo autor. Atendiendo a estos indicadores,
sería de esperar un h
mayor para Vieta, lo cual es cierto (23 frente a 13). En
2008
el caso de Calvo y Salamero sucede algo parecido. Ambos autores tienen h
= 10
2003
y todos los indicadores de entorno son también mayores para el segundo autor.
Esto indicaría mayor h
para Salamero, lo cual es también cierto (19 frente a
2008
16). En los dos ejemplos anteriores, no sería posible discriminar entre los inves-
tigadores basándonos exclusivamente en el índice h. Sin embargo, los indicado-
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
239

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
2008
81
49
36
49
49
25
H
225
121
676
361
256
529
169
361
324
529
no 2003
3H
—
—
—
101
104
—
—
—
460
124
151
383
129
154
315
139
) 3
es en SSCI
es de entor
2H
—
23
24
80
93
21
27
—
430
104
136
357
111
149
295
125
(
H
—
Ln
0,646
0,737
ador
) 2
1
Indicador
H
16
19
22
54
81
12
21
10
86
97
(
H
estig
323
119
302
127
261
109
0,851
0,646
0,866
v
Ln
0H
) 1
=
4
9
9
9
9
4
16
49
64
81
81
289
100
256
100
196
(
H
0,758
0,605
0,860
2003
Ln
H
a de 16 in
) 0
9
7
6
5
1
7
7
5
9
3
3
1
1
26
1
16
23
1
19
18
2
(
H
uestr
h
2008
Ln
0,534
0,597
0,848
Índice
2
3
3
4
7
3
3
2
8
9
9
3
17
10
16
10
14
H
—
2003
0,688
0,744
a una m
93
199
155
142
733
396
128
114
855
874
562
884
2H
2008
2.708
1.505
1.109
1.200
11.657
0,827
0,689
0,844
Citas
ABLA III
23
35
30
27
31
18
1
T
105
233
925
178
353
649
250
297
471
263
H
2003
3.888
0,709
0,638
0,850
0
es de entorno par
38
48
65
85
31
29
29
29
78
57
62
32
58
34
H
2008
118
108
901
0,431
0,665
0,852
Artículos
17
28
28
18
25
13
16
17
48
31
36
44
21
32
27
39
1
2
2003
440
Grupo
1 + 2
2008
elaciones
H
año, 2008]er
[1998, 2008]
[1995, 2008]
[2000, 2008]
[1992, 2008]
[1990, 2008]
[1996, 2008]
[1983, 2008]
[1998, 2008]
[1990, 2008]
[1995, 2008]
[1985, 2008]
[1978, 2008]
[1994, 2008]
[1983, 2008]
[1978, 2008]
[1992, 2008]
Rango art. SSCI
[1.
Corr
índices «h» e indicador
otal
T
citas,
. J.
.
.
Autor
tículos,
obena, A.
ieta, E.
Ar
Baca-García, E.
Ferrando, P
Gil-Alana, L. A.
Haro, J. M.
Moral, P
Moreno, D.
Ortiz, T
Sosvilla-Rivero, S.
Alonso, J.
Borrell, C.
Calvo, M. G.
Lobo, A.
Matute, H.
Salamero, M.
T
V
1.
2.
3.
4.
5.
6.
7.
8.
9.

10.
11.
12.
13.
14.
15.
16.
Grupo
1
2
240
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
FIGURA 6
Impacto y diagramas de dispersión producción-impacto para una muestra
de 16 investigadores en SSCI
3.000
Nc 2003
2.500
Nc 2008
2.000
1.500
1.000
500
0
l
e
rcía
ndo
ro
ra
tiz
bo
reno
lvo
Or
vero
rrel
tut
ero
eta
rra
onso
Lo
bena
Vi
l-Alana
Ha
Mo
Ca
Mo
Al
Bo
Ma
lam
To
ca-Ga
Fe
Gi
Sa
Ba
svil a-Ri
So
a)
1.000
9
Nc 2003
800
12
600
cN
15
400
14
13
5
11
16
200
10
4
1
2
7
6
3
8
0
0
5
10
15
20
25
30
35
40
45
50
Np
b)
3.000
Nc 2008
9
2.500
2.000
cN 1.500
12
16
14
1.000
15
11
10
4
13
500
5
6
1
2
3
8
7
0
0
20
40
60
80
100
120
Np
c)
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
241

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
FIGURA 7
Diagramas de dispersión para una muestra de 16 investigadores en SSCI
h2008 30
25
20
15
10
5
n = 16; r = 0,882; p < 0,001
0
0
2
4
6
8
10
12
14
16
18
h2003
a)
H
500
j
H
H
H
H
0
1
2
3
n = 16; r < 0,851; p < 0,001
400
300
100
0 0
100
200
300
400
500
600
700
H2008
b)
Ln(H ) 7
j
6
5
4
3
Ln(H ); r = 0,848
0
Ln(H ); r = 0,860
2
1
Ln(H ); r = 0,866
2
1
n = 16; p < 0,001
Ln(H ); r = 0,737
3
0 0
100
200
300
400
500
600
700
800
H2008
c)
242
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
res de entorno reﬂ ejan las diferencias existentes en la distribución de citas de los
autores, estimando mejor el valor de h
.
2008
Finalmente, en la ﬁ gura 7 se observa cómo existe correlación lineal alta entre
h
y h
(r = 0,882). El coeﬁ ciente de determinación es r2 = 0,779, es decir,
2003
2008
h
es explicado en un 78 % por h
. La correlación es signiﬁ cativa por encima
2008
2003
del 99 % de seguridad. También puede observarse que existe correlación no lineal
(exponencial) entre H y H
. En el modelo log-lineal todas las correlaciones son
j
2008
altas, signiﬁ cativas por encima del 99 % de seguridad, y aumentan hasta H . Esto
2
indica que el mejor estimador para este ejemplo es H . Hay que tener en cuen-
2
ta que para H la correlación está calculada en relación a diez datos exclusiva-
3
mente, dado que el indicador no está deﬁ nido para el resto de los casos.
5. Conclusiones
El índice h es un indicador bibliométrico que trata de medir el éxito de la
carrera profesional de un investigador sólo con una parte del volumen total de
publicaciones y citas. El hecho de no considerar toda la producción e impacto
corrige ciertas situaciones anómalas derivadas de grandes colaboraciones o éxitos
puntuales, que pueden no ser signiﬁ cativas de la carrera profesional en su con-
junto. Sin embargo, como se ha puesto de maniﬁ esto en este trabajo, en ciertas
ocasiones, dos distribuciones de citas muy diferentes pueden dar lugar a un mis-
mo índice h. En estos casos, no es posible distinguir entre ambos investigadores,
por ejemplo, entre un investigador con pocos trabajos muy citados y otro con
muchos trabajos de escaso impacto. Además, los bajos niveles de producción y
citas en áreas como las Ciencias Sociales, se traducen en índices signiﬁ cativamen-
te inferiores a los de otras áreas, por lo que la cota inferior del volumen de citas
garantizadas por el indicador es menor y su capacidad para discriminar se ve
reducida. Esta es una de las razones por las que el índice correlaciona menos
con el juicio de los expertos sociales.
En este trabajo se ha propuesto un complemento al índice h, los indicadores
de entorno, en relación a distinguir de entre un grupo de investigadores con
valores similares de h, aquellos con una carrera más consolidada y constante.
Estos indicadores de entorno consideran, por un lado, las citas de aquellos ar-
tículos que con mayor probabilidad pueden contribuir a incrementar el valor de h
en el futuro, dado que están más próximos al núcleo de artículos considerados
por el índice h, y por otro, aquellas citas que formarán parte de h2 en el mo-
mento en que h aumente de valor.
Como se ha puesto de maniﬁ esto en el ejemplo, este indicador tiene mayor
poder de discriminación al considerar un volumen mayor de citas, y corrige un
problema descrito en la literatura que indica que el índice h beneﬁ cia a los gran-
des productores frente a aquellos más selectivos. Este sesgo se ve reducido con
el indicador de entorno al incluir un volumen de citas adicional mayor en el caso
de los autores selectivos.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
243

PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ
La principal diﬁ cultad en la aplicación práctica del indicador de entorno, en
la evaluación del personal investigador, radica en la necesidad de estimar ade-
cuadamente el radio del entorno que mejor describe la forma de la distribución
de citas de la población objeto de estudio. Dicho radio debe estimarse empíri-
camente. En el ejemplo mostrado, donde hay un grupo con h relativamente bajo,
este radio es de dos artículos alrededor del índice h. Sin embargo, entendemos
que es necesaria una aplicación empírica más exhaustiva que proporcione los
valores de referencia del entorno en función del h de los investigadores.
Finalmente, nos gustaría puntualizar que el indicador de entorno no preten-
de ser sustituto sino complemento del índice h, especialmente en aquellos pro-
cesos de evaluación del personal investigador donde puedan existir dudas ra-
zonables.
6. Bibliografía
Batista, P. D.; Campiteli, M. G.; Kinouchi, O., y Martinez, A. S. (2006): Is it possible to
compare researchers with different scientiﬁ c interests?, Scientometrics, v. 68, nº 1,
179-189.
Bornmann, L., y Daniel, H. D. (2007): What do we know about the h Index?, Journal of
the American Society for Information Science and Technology, v. 58, nº 9, 1381-1385.
Bornmann, L.; Mutz, R., y Daniel, H. D. (2007): The b index as a measure of scientiﬁ c
excellence. A promising supplement to the h index?, Cybermetrics, v. 11, nº1, paper 6.
Costas, R., y Bordons, M. (2007a): Una visión crítica del índice h: algunas consideraciones
derivadas de su aplicación práctica, El profesional de la información, v. 16, nº 5,
427-432.
Costas, R., y Bordons, M. (2007b): The h-index: advantages, limitations and its relation
with other bibliometric indicators at the micro-level, Journal of Informetrics, v. 1, nº 3,
193-203.
Cronin, B., y Meho, L. I. (2006): Using the h-index to rank inﬂ uential information scien-
tists, Journal of the American Society for Information Science and Technology, v. 57,
nº 9, 1275-1278.
Egghe, L. (2006): Theory and practise of the g-index, Scientometrics, v. 69, nº 1, 131-152.
Glänzel, W. (2006): «On the h-index. A mathematical approach to a new measure of pu-
blication activity and citation impact», Scientometrics, v. 67, nº 2, 315-321.
Hirsch, J. E. (2005): An index to quantify an individual’s scientiﬁ c research output, Pro-
ceedings of the National Academy of Sciences, v. 102, nº 46, 16569-16572.
Hirsch, J. E. (2007): Does the h index have predictive power?, Proceedings of the National
Academy of Sciences, v. 104, nº 49, 19193-19198.
Imperial, J., y Rodríguez-Navarro, A. (2007): Usefulness of Hirsch’s h-index to evaluate
scientiﬁ c research in Spain, Scientometrics, v. 71, nº 2, 271-282.
Nature editorial (2005): Ratings games, Nature, v. 436, nº 7053, 889-890.
Rousseau, R., y Ye, F. Y. (2008): A proposal for a dynamic h-type index, Journal of the
American Society for Information Science and Technology, v. 59, nº 11, 1853-1855.
244
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733

Indicador bibliométrico basado en el índice h
Saad, G. (2006): Exploring the h-index at the author and journal levels using bibliometric
data of productive consumer scholars and business-related journals respectively, Scien-
tometrics, v. 69, nº 1, 117-120.
Van Raan, A. F. J. (2006): Comparisons of the Hirsch-index with standard bibliometric
indicators and with peer judgment for 147 chemistry research groups, Scientometrics,
v. 67, nº 3, 491-502.
Waltman, L., y Van Eck, N. J. (2009): A taxonomy of bibliometric performance indicators
based on the property of consistency, http://repub.eur.nl/publications/index/229666761/
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733
245

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 246-278, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.740
Presencia y visibilidad web de las universidades
públicas españolas
Enrique Orduña-Malea*, Jorge Serrano-Cobos**, José-Antonio
Ontalba-Ruipérez*, Nuria Lloret-Romero*
Resumen: Se estudia la evolución del tamaño y visibilidad de los dominios web de las
universidades públicas españolas desde enero hasta junio de 2009 en función de di-
versos buscadores web (Google, Yahoo!, Live/Bing y Exalead). Asimismo, se proponen
el factor de representatividad relativa media en tamaño (Rs) y el factor de represen-
tatividad relativa media en visibilidad (Rv) como indicadores para conocer la impor-
tancia de un dominio, en número de documentos y de enlaces externos respectiva-
mente, durante un intervalo temporal, con el propósito de ser aplicados en el diseño
y construcción de rankings de universidades basados en técnicas cibermétricas.

Los resultados conﬁ rman que las diferencias de tamaño entre los dominios académicos
web son muy grandes según el buscador utilizado, por lo que el uso de un único
buscador no permite conocer de forma ﬁ able el tamaño real de un dominio web.
Además, el empleo de valores combinados a partir de la media obtenida en cada
buscador no ofrece resultados ﬁ ables, dada la varianza de datos obtenida entre bus-
cadores así como los diferentes índices obtenidos de Rs. Las diferencias en visibilidad
son menores aunque igualmente signiﬁ cativas.

Se comprueba que los indicadores Rs y Rv proporcionan información útil y coherente
acerca del grado de evolución de las universidades en la Web durante un intervalo
temporal determinado. Se obtiene asimismo una correlación positiva entre estos dos
indicadores tanto en Yahoo! como en Exalead, que conﬁ rma la relación entre el ta-
maño documental de un dominio académico web y el número de enlaces que recibe
a lo largo del tiempo.
Palabras clave: Universidades públicas españolas, dominios académicos web, tamaño web,
visibilidad web, España, ranking de universidades.
Web presence and visibility of Spanish public universities
Abstract: The evolution of size and visibility of the Spanish public universities websites
according to various search engines (Google, Yahoo!, Live/Bing y Exalead) was studied
from January to June 2009. Additionally, the article proposes two indicators for
understanding the importance of a web domain: the Relative representativeness size
factor (Rs) and the Relative representativeness visibility factor (Rv). These indicators,
which consider the number of both documents and links, respectively, during a speciﬁ c
* Universidad Politécnica de Valencia, Escuela Técnica Superior de Ingeniería Informática. Va-
lencia, España. Correo-e: enorma@upv.es, joonrui@upv.es, nlloret@upvnet.upv.es.
** MASmedios.com, Valencia, España. Correo-e: jorge@masmedios.com.
Recibido: 16-7-09; 2.ª versión 24-9-09; aceptado: 29-9-09.
246

Presencia y visibilidad web de las universidades públicas españolas
interval of time are intended to be applied in the design and construction of university
rankings based on cybermetric techniques.

The results conﬁ rm that the size differences among academic web domains vary
signiﬁ cantly depending on the search engine used; therefore the use of a single web
browser cannot supply reliable information about the actual size of the web domain.
Moreover, the use of combined values from the mean obtained from each search engine
does not offer reliable results, given the variance of data obtained from the different
search engines, as well as the index differences of Rs. The differences concerning visibility
were smaller, but signiﬁ cant nonetheless.

Rs and Rv indicators were found to provide useful and consistent information about
the level of development of universities on the Web during a given time interval. There
was also a positive correlation between these two indicators on both Yahoo! and Exalead,
conﬁ rming the relationship between the number of documents of an academic web
domain and the number of links it receives over time.
Keywords: Spanish public universities, academic web domains, web size, web visibility,
Spain, University ranking.
1. Introducción
La inquietud y necesidad de realizar comparaciones entre instituciones uni-
versitarias, pese a ser un tema de actualidad e impacto mediático, no son algo
propio del siglo XXI. Algunos autores señalan el inicio de estas actividades en
Estados Unidos a través de ciertos informes estadísticos anuales que el United
States Bureau of Education comienza a publicar hacia 1870 (Stuart, 1995). No es
hasta 1983, con la primera publicación del U.S News & World Report (USNWR) 1,
cuando nacen los rankings en la forma en que los entendemos hoy día.
Pese a que los procedimientos, indicadores e incluso los vehículos documen-
tales para publicar rankings (Web, publicación comercial impresa, informes, ar-
tículos cientíﬁ cos, etc.) han variado con el paso de los años, éstos nunca han
estado exentos de polémica, debido fundamentalmente a debilidades en los pro-
cedimientos técnicos y metodológicos, comparaciones entre universidades con
misiones y objetivos diferentes y desconocimiento de la verdadera utilidad de los
resultados e impacto real en los usuarios (Hazelkorn, 2007).
La idea detrás de todas las iniciativas de ranking siempre ha sido la de cap-
turar la calidad universitaria a partir de una serie de indicadores que, combi-
nados y ponderados de alguna determinada forma, permitiesen clasiﬁ car las
universidades en un determinado orden, en función de la idea de calidad ex-
presada a partir de los indicadores usados. De esta forma, existen rankings que
prestan más atención a determinados tipos de indicadores que a otros; por
ejemplo, USNWR da importancia a las aptitudes previas de los alumnos mientras
que el ranking de la Universidad de Leiden 2 se centra en la investigación aca-
démica, a través de indicadores de naturaleza exclusivamente bibliométrica. De
todas las tipologías de indicadores existentes, Usher y Savino (2006) proponen
la más completa en la actualidad3.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
247

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Con la creciente globalización de los mercados, el progresivo aumento de la
movilidad internacional de estudiantes y la cada vez más común idea de la edu-
cación como un bien económico (Altbach, 2006), el concepto de ranking como
herramienta de apoyo a la toma de decisiones crece de forma imparable.
Así, a principios del siglo XXI se entra en una nueva fase gracias a tres im-
portantes hitos: la primera publicación de un ranking de cobertura mundial4
(2003), el nacimiento del IREG 5 (2004) así como la constitución de los principios
de Berlín (2006). A partir de entonces, el nacimiento de nuevos rankings mun-
diales y nacionales se sucede de forma continua.
Entre éstos, destaca el lanzamiento en 2004 del Ranking Web of World Uni-
versities (RWWU)6, gracias al trabajo de Isidro F. Aguillo y otros (2008). Este pro-
yecto constituye la primera iniciativa seria centrada en realizar un ranking de
universidades a partir de la producción documental web.
Con posterioridad se han publicado otros rankings universitarios, mundiales
o nacionales, basados también en indicadores cibermétricos, entre los que des-
taca el Web Popularity Ranking 7, el Ranking Universitario de transparencia Web8,
el Ranking Colleges using Google and OSS 9, iniciativa personal de Mike Tung, y
la propuesta del G-Factor 10 por parte de Peter Hirst.
Pese a ciertas críticas acerca de si los métodos cibermétricos son adecuados
para medir o calibrar la producción documental de una universidad, subyace una
idea de interés documental: la posibilidad de analizar y comparar una serie de
instituciones a partir de la producción documental web que éstas generan y con-
sumen (Thelwall, 2001; Aguillo y otros, 2006).
Por tanto, más allá de medir la «calidad», que depende del enfoque bajo el
que se estudie, se trata de conocer la presencia (tamaño) y visibilidad (impacto)
de una universidad a través de su dominio web, como indicadores de lo bien o
mal que ésta se comunica con su comunidad (debido esto en muchos casos
a malas prácti cas web11). No obstante, los datos que aporta el RWWU tienen la
particularidad de:
a) Mostrar los diferentes parámetros utilizados ya combinados y normaliza-
dos, hecho que impide:
• cuantiﬁ car las diferencias según los distintos buscadores usados, y
• estudiar la validez o no del uso de indicadores combinados a partir del
resultado de varios buscadores.
Este punto es de vital importancia, pues el uso de buscadores comer-
ciales ha provocado diversas críticas hacia los métodos cibermétricos
debido a problemas de escasa cobertura (Lawrence y Giles, 1999), falta
de estabilidad o precisión principalmente (Bar-Ilan, 1999; 2002; 2003) y
algunos otros sesgos (Aguillo y Granadino, 2006). Una exagerada dife-
rencia entre los resultados de diferentes buscadores podría invalidar la
construcción de un indicador combinado.
248
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
b) Ofrecer una foto ﬁ ja (2 ediciones, en enero y julio) de los dominios aca-
démicos web:
• Se intuye por tanto la necesidad, dentro del dinamismo de la Web, de
observar cómo es la evolución de los datos para obtener información
más exacta acerca de posibles tendencias.
• Además, es de interés la propuesta de algún tipo de indicador que mida
el grado de dicha evolución, tanto en tamaño como impacto, de los
dominios académicos web.
El problema relacionado con el dinamismo de la Web (Brewington, 2000)
entronca directamente con los estudios longitudinales y/o evolutivos de la Web,
cuya importancia ya ha sido manifestada por diversos autores (Rousseau, 1999).
Este campo se basa en el estudio de la perdurabilidad y estabilidad de las pági-
nas web a lo largo del tiempo así como de las variables que las controlan.
En ese sentido, las páginas web pueden mantenerse estables, modiﬁ carse,
desaparecer y reaparecer (intermitencia), modiﬁ cadas o no. Por esta razón, los
indicadores cibermétricos utilizados en un estudio longitudinal (cuyo objeto es
el análisis de los recursos de un dominio web académico con el ﬁ n de elaborar
un ranking de universidades) deben basar sus mediciones precisamente en la
cuantiﬁ cación de los cambios producidos en los recursos albergados dentro de
este dominio web durante el intervalo de estudio.
El problema estriba pues en conocer qué cambios se deben medir y qué fac-
tores afectan o favorecen dichos cambios, de forma que ayuden a explicarlos.
Además, las modiﬁ caciones pueden producirse a diferentes niveles:
a) Cambios internos de contenido en un recurso que perdura en el tiempo:
se cuantiﬁ can a través del peso del recurso en bytes.
b) Cambios internos en la estructura de enlaces de un recurso que perdura
en el tiempo: se cuantiﬁ can a través de los enlaces que recibe o genera
un documento.
c) Cambios debidos a la publicación o desaparición completa de recursos:
se cuantiﬁ can mediante el conteo del número de recursos, de diferente
formato, alojados dentro de un dominio académico web, y detectados a
través de una consulta a un buscador web.
Todos estos cambios se consideran indicadores imperfectos (Koehler, 2002),
pues indican un cambio cuantitativo, pero no se captura en ningún caso la cali-
dad o la naturaleza subjetiva del cambio.
La medición del peso del recurso permite detectar modiﬁ caciones sin que
tenga que desaparecer el documento, aunque existe la posibilidad de que se
realicen cambios en el signiﬁ cado del documento, pero no en su tamaño. Ade-
más, este indicador resulta difícil de obtener y gestionar para amplios conjuntos
de recursos web.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
249

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Respecto al conteo total, tanto de enlaces como de recursos, éstos tienen la
ventaja de ser relativamente sencillos de obtener, aunque se pueden producir
simplemente por cambios en las prestaciones de los buscadores y no por cambios
reales.
No obstante, dada su sencillez, la mayoría de rankings web opta por la me-
dición del número total de recursos publicados (size) y de enlaces entrantes
(visibility) como las magnitudes más importantes a cuantiﬁ car en un dominio
académico web, con el propósito de confeccionar rankings académicos.
Respecto a las variables que pueden inﬂ uir en la mayor o menor estabilidad
de las páginas web a lo largo del tiempo (variables de perdurabilidad), destacan
las siguientes:
a) Dominio web
Los trabajos de Koehler (1999; 2002; 2004), Cho y García-Molina
(2003) y Fetterly y otros (2003) han encontrado evidencias de una mayor
persistencia de los dominios .edu, respecto del .com. Dado el gran nú-
mero de universidades con dominio .edu (sobre todo en Norteamérica),
esto podría indicar una mayor persistencia de los dominios académicos
estadounidenses.
b) Contenido
La vida media de los recursos web en diferentes disciplinas diﬁ eren
(Koehler (2004). Bar-Ilan y Peritz (2004) detectan asimismo que las pági-
nas web generales son menos estables que los documentos alojados en
bibliotecas digitales.
Estos mismos autores se preguntan igualmente si existen temáticas
más estables que otras, o si es la forma de los documentos (artículos,
conferencias, noticias, etc.) lo que inﬂ uencia las ratios de modiﬁ cación y
desaparición de páginas web. De esto se podría deducir que aquellas
universidades con repositorios o depósitos de documentos cientíﬁ cos, e
incluso enfocados a ciertas áreas temáticas, podrían tener estadísticamen-
te una mayor probabilidad de persistir en el tiempo.
Koehler (2002), basándose en las tasas de cambios detectadas, sugie-
re por su parte la existencia de dos tipos de contenidos educativos en
las webs académicas: publicación académica (a largo plazo) y publicación
docente o de clase (a corto plazo).
c) Páginas
dinámicas
Este punto es debatido por Payne y Thelwall (2007) en su análisis
de los dominios académicos del Reino Unido, Australia y Nueva Ze landa.
En ese estudio reconocen que la aparente estabilización en el número de
páginas estáticas en un dominio puede no deberse a un estancamiento
250
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
en su expansión, y que esto mismo podría tener un efecto en universi-
dades con sedes web más antiguas y con tiempo de publicar más páginas
estáticas en sus dominios y por tanto de construir una mayor presencia
web. Pese a esto, las prestaciones de los motores de búsqueda comer-
ciales impiden cualquier estudio de este tipo en la actua lidad.
Otras variables inﬂ uyentes son las siguientes:
d) Tipo: las páginas de navegación tienden a desaparecer menos que las de
contenido.
e) Edad: las páginas tienden a modiﬁ carse menos conforme pasa el tiempo.
f ) Tamaño: las páginas más grandes cambian más frecuente y profunda-
mente que las más pequeñas (Fetterly y otros, 2003).
El conocimiento de la inﬂ uencia de estas variables puede ayudar en gran
medida a interpretar los resultados obtenidos en cualquier análisis cibermétrico
y, por tanto, de un ranking web de universidades.
Pese a que los análisis cibermétricos de instituciones académicas son ya abun-
dantes, todavía existen pocos trabajos llevados a cabo desde una perspectiva
longitudinal (Ortega y otros, 2006; Payne y Thelwall, 2007) y que además cubran
el espectro de las universidades españolas, donde se destacan los trabajos de
Thelwall y Aguillo (2003), Ortega y Aguillo (2007) y Orduña-Malea y otros (2009),
este último relativo a la presencia de las universidades españolas en Google Scholar.
En ese sentido, el objetivo principal de este trabajo es el de aportar y propo-
ner soluciones a los problemas anteriormente comentados mediante el análisis
de la evolución del tamaño y visibilidad de los dominios académicos web de las
universidades públicas españolas, con el propósito de mejorar el uso de indica-
dores cibermétricos en el diseño y realización de rankings de universidades.
Los objetivos concretos que se plantean son los siguientes:
• Medir el tamaño de los dominios académicos web de las universidades
públicas españolas para conocer y contextualizar su presencia en la Web
en función de diversos buscadores.
• Estudiar la idoneidad de la utilización de indicadores combinados a partir
de la cuantiﬁ cación los datos de distintos buscadores.
• Proponer el factor de representatividad relativa media en tamaño (Rs), para
conocer la importancia de un dominio web en número de documentos
durante un intervalo temporal.
• Proponer el factor de representatividad relativa media en visibilidad (Rv),
para conocer la importancia de un dominio web en número de enlaces
externos durante un intervalo temporal.
• Analizar la visibilidad de los dominios académicos web en función de su
tamaño, a través del factor de impacto web (WebIF) y de la correlación
entre Rs y Rv.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
251

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
2. Metodología
Se analizan los dominios académicos web de las universidades públicas es-
pañolas12, 13, desde enero hasta junio de 2009, ambos meses incluidos (tabla I).
Los datos se obtienen a través de la consulta a la API de cada uno de los
dominios (tabla II) y mediante técnicas de screen scraping (obtención de los
datos de la interfaz manual de los buscadores). Para la toma de datos mensual
se realizan varias catas por mes y se obtiene la media de dichas muestras. Esta
operación se repite para cada indicador, buscador y dominio analizado. Todos
los datos obtenidos se exportan durante la primera semana de julio de 2009 a
una hoja de cálculo para ser tratados.
TABLA I
Universidades públicas españolas
Universidades
Código
URL
Universidad Autónoma de Barcelona
UAB
http://www.uab.es/
Universidad Autónoma de Madrid
UAM
http://www.uam.es/
Universidad Carlos III de Madrid
UC3M
http://www.uc3m.es
Universidad Complutense de Madrid
UCM
http://www.ucm.es/
Universidad de Alcalá
UAH
http://www.uah.es/
Universidad de Alicante
UA
http://www.ua.es/
Universidad de Almería
UAL
http://www.ual.es/
Universidad de Barcelona
UB
http://www.ub.edu
Universidad de Burgos
UBU
http://www.ubu.es
Universidad de Cádiz
UCA
http://www.uca.es/
Universidad de Cantabria
UC
http://www.unican.es
Universidad de Castilla-La Mancha
UCLM
http://www.uclm.es/
Universidad de Córdoba
UCO
http://www.uco.es/
Universidad de Extremadura
UNEX
http://www.unex.es/
Universidad de Girona
UDG
http://www.udg.edu/
Universidad de Granada
UGR
http://www.ugr.es
Universidad de Huelva
UHU
http://www.uhu.es/
Universidad de Jaén
UJA
http://www.ujaen.es/
Universidad de La Coruña
UDC
http://www.udc.es
Universidad de La Laguna
ULL
http://www.ull.es
Universidad de La Rioja
UR
http://www.unirioja.es/
Universidad de las Islas Baleares
UIB
http://www.uib.es
Universidad de Las Palmas de Gran Canaria
ULPGC
http://www.ulpgc.es/
252
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
TABLA I (continuación)
Universidades
Código
URL
Universidad de León
UL
http://www.unileon.es/
Universidad de Lleida
UDL
http://www.udl.es/
Universidad de Málaga
UMA
http://www.uma.es/
Universidad de Murcia
UM
http://www.um.es/
Universidad de Oviedo
UO
http://www.uniovi.es/
Universidad de Salamanca
USAL
http://www.usal.es
Universidad de Santiago de Compostela
USC
http://www.usc.es/
Universidad de Sevilla
US
http://www.us.es/
Universidad de Valencia
UV
http://www.uv.es
Universidad de Valladolid
UVA
http://www.uva.es/
Universidad de Vigo
UVI
http://www.uvigo.es/
Universidad de Zaragoza
UZ
http://www.unizar.es/
Universidad del País Vasco
EHU
http://www.ehu.es
Universidad Jaume I
UJI
http://www.uji.es/
Universidad Miguel Hernández de Elche
UMH
http://www.umh.es/
Universidad Nacional de Educación a Distancia
UNED
http://www.uned.es
Universidad Pablo de Olavide
UPO
http://www.upo.es/
Universidad Politécnica de Cartagena
UPCT
http://www.upct.es/
Universidad Politécnica de Cataluña
UPC
http://www.upc.es/
Universidad Politécnica de Madrid
UPM
http://www2.upm.es
Universidad Politécnica de Valencia
UPV
http://www.upv.es
Universidad Pública de Navarra
UPNA
http://www.unavarra.es/
Universidad Rey Juan Carlos
URJC
http://www.urjc.es/
Fuente: CRUE.
TABLA II
Ecuaciones de búsqueda usadas
(ejemplo: Universidad Autónoma de Barcelona)
Indicador
Buscador
Tamaño
Impacto (Visibility)
(Size)
Google
site:uab.es
No usado
Yahoo!
site:uab.es
linkdomain:uab.es -site:uab.es
Live/Bing
site:uab.es
No usado
Exalead
site:uab.es
link:uab.es -site:uab.es
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
253

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Los resultados obtenidos no deben ser entendidos como aproximaciones a la
calidad de las universidades, sino como una muestra de lo que los buscadores
están mostrando de los dominios académicos, síntoma de la comunicación vía
web que las universidades públicas tienen con sus usuarios, y de su representa-
tividad e impacto en diferentes motores de búsqueda.
Se procede a la captura de datos de dos tipos de indicadores: tamaño (size)
e impacto (visibility).
a) Tamaño web (size)
Se utilizan los buscadores Google, Yahoo!, Live14 y Exalead, por ser los más
implantados y además ofrecer comandos apropiados para el cálculo de este in-
dicador.
Puesto que la visualización conjunta de los datos brutos de todas las univer-
sidades no es adecuada, dado que los órdenes de magnitud tanto entre ellas
como entre los distintos buscadores son muy diferentes, se decide normalizar los
valores de 0 a 100 (práctica habitual, con ligeras diferencias, en otros rankings),
mediante un proceso de transformación de cociente (Rocki, 2005):
x

v =
sn
· 100
[1]
sn
N
Σ xsn
i = 1
v = valor normalizado obtenido en tamaño (s) para una universidad (n).
sn
x = valor bruto obtenido en tamaño (s) para una universidad (n).
sn
N = Conjunto de universidades estudiadas.
De este modo, la suma del tamaño obtenido de todas las universidades du-
rante un mes se considera igual a 100, y el valor de cada universidad se calcula
de forma proporcional.
Tras normalizar resultados, ya no se obtienen evoluciones cuantitativas totales,
sino un porcentaje de tamaño proporcional al total obtenido por todas las uni-
versidades en un motor de búsqueda determinado cada mes (concepto denomi-
nado «representatividad relativa» en este trabajo).
Posteriormente, se calcula la media del v calculado cada mes y se obtiene
sn
un valor, también entre 0 y 100, cuya denominación se propone como «factor de
representatividad relativa media en tamaño (Rs)». Este factor puede calcularse
para cualquier conjunto de sedes seleccionadas y cualquier período de tiempo.
M
Σ vsn

R = i = 1
[2]
s
M
donde M es el número de meses analizados.
254
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
Finalmente, se procede a cuantiﬁ car las diferencias entre los buscadores a
partir de la varianza de los datos. Para ello, se calcula la varianza aritmética en-
tre los valores en bruto del tamaño web de cada mes en un determinado domi-
nio web, para cada buscador.
b) Impacto
(visibility)
En este caso se utilizan los buscadores Yahoo! y Exalead. Quedan excluidos
Google y Live por no ofrecer en la actualidad los comandos necesarios para el
cálculo de este parámetro.
Se propone el factor de representatividad relativa media en visibilidad (Rv),
calculado a partir de la media normalizada de los valores de visibilidad de un
determinado dominio académico web (v ) durante los 6 meses de estudio, de
sn
forma similar al Rs.
x

v =
vn
· 100
[3]
vn
N
Σ xvn
i = 1
M
Σ vvn

R = i = 1
[4]
v
M
En cuanto a la varianza en visibilidad entre buscadores, se calcula a partir de
los datos en bruto mensuales de enlaces externos a cada portal.
Puesto que los dominios web mayores tienen estadísticamente más probabi-
lidades de obtener un mayor número de enlaces externos, se procede a calcular
el WebIF externo, de forma que se obtenga el número de enlaces externos por
documentos indizados por el buscador.
El WebIF, introducido por Ingwersen (1998), se obtiene como la suma lógica
del número de enlaces externos que apuntan a un determinado sitio web, divi-
dido por el número de páginas de ese sitio en un momento determinado.
Pese a la existencia de ciertas críticas acerca del uso del este último indicador
(Noruzi, 2006b), es la única forma actual de conocer la visibilidad por documen-
to, siendo utilizado en diversos estudios enfocados a sedes académicas (Smith y
Thelwall, 2004; Noruzi, 2006a).
Finalmente se muestra la curva de regresión y se calcula la correlación (Pear-
son y Spearman) entre Rs y Rv, tanto para Exalead como para Yahoo!, con el
objeto de conocer la relación entre los dos indicadores propuestos, así como para
veriﬁ car la inﬂ uencia del tamaño de los dominios web en las medidas de visibi-
lidad a lo largo del tiempo.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
255

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
3. Resultados
3.1. Tamaño del portal
3.1.1.
Google
La ﬁ gura 1 muestra la evolución del tamaño normalizado v correspondiente
sn
a los 10 dominios académicos con mayor Rs.
La UR es la universidad con mayor Rs en Google, debido fundamentalmente
al pico registrado en marzo, que limita ligeramente la representatividad del resto
de universidades. La amplitud del pico y los valores vsn obtenidos en el resto de
meses hace pensar en un comportamiento anómalo del buscador. La realización
de varias catas por mes elimina la posibilidad de algún error en la toma de datos.
FIGURA 1
Evolución del tamaño normalizado v en «Google»
sn
50,00
45,00
40,00
35,00
)
30,00
v sn
25,00
Size normalizado (
20,00
15,00
10,00
5,00
0,00
Enero
Febrero
Marzo
Abril
Mayo
Junio
UR
UCM
USC
EHU
UPV
UV
US
UPC
UJI
UIB
256
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
Aparte de la UR, las universidades que presentan mejores resultados son la
UCM (con un alto crecimiento en febrero que logra mantenerse a lo largo de los
meses) y la USC, siendo estas 3 universidades las únicas en superar el valor de
10 en Rs. La EHU, por su parte, queda en cuarto lugar con un importante creci-
miento desde abril, que la sitúa en valores cercanos a los de la UR.
Finalmente, se destaca la presencia de 3 universidades públicas de la Comuni-
dad valenciana (UPV, UJI, UV) entre las 10 universidades con mayor Rs, siendo la
comunidad autónoma con más universidades en este rango de valores. Se detecta
igualmente que los datos en bruto (no normalizados) de la UPV se repiten en ene-
ro-febrero y en marzo-mayo. Esto también ocurre en la UJI en marzo-abril. Aun-
que puede ser debido al proceso de cálculo de la media entre las diferentes catas
del mes, resulta igualmente un comportamiento extraño por parte del buscador.
Asimismo, destaca la aparición de 2 universidades politécnicas (UPV y UPC)
entre las diez primeras, así como la inclusión de la UIB en este grupo, por de-
lante de otras instituciones académicas con mayor producción cientíﬁ ca.
3.1.2.
Yahoo!
Según Yahoo! (ﬁ gura 2), la UR posee el mayor dominio web de todas las
universidades españolas y, además, mantiene dicha posición durante todos los
meses estudiados. La US es la segunda universidad en tamaño. Ambas universi-
FIGURA 2
Evolución del tamaño normalizado v en «Yahoo!»
sn
14,00
12,00
)
10,00
v sn
8,00
6,00
Size normalizado (
4,00
2,00
0,00
Enero
Febrero
Marzo
Abril
Mayo
Junio
UR
US
UIB
UCM
UVI
UA
UVA
UPM
UPV
EHU
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
257

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
dades muestran una evolución muy similar de enero a abril; a partir de ese mo-
mento, sus evoluciones siguen trayectorias divergentes (crecimiento en la UR y
fuerte caída en la US). Por otra parte, se detecta nuevamente una presencia no-
table de la UIB, con un fuerte crecimiento de marzo a mayo en sus valores v .
sn
Se muestra asimismo cómo 6 de las 10 primeras universidades aparecen tam-
bién en el top ten mostrado para Google (ﬁ gura 1), aunque en distinto orden. Las
4 universidades restantes son la UVI, UA, UVI y UPM, que logran en Google los
puestos 11, 15, 14 y 16 respectivamente.
El valor más inesperado corresponde a la UV (tabla III), infrarrepresentada
en Yahoo!, en la última posición. Los valores bajos se repiten además durante
todos los meses, por lo que no se debe a un error puntual en la toma de datos,
sino a la mala cobertura del buscador o a malas prácticas en el dominio web,
aunque esto último también debería penalizar en el resto de buscadores, hecho
que no ocurre.
Este hecho es detectado asimismo por Ortega y Aguillo (2007), quienes no
encuentran información de la UV en Yahoo! Search. Se desconoce la causa de
este problema pero supone una merma importante de la presencia de esta uni-
versidad en la web.
3.1.3.
Live
Los datos referentes a Live (ﬁ gura 3) muestran un comportamiento en la evo-
lución del tamaño de los dominios web muy distinto al obtenido previamente
FIGURA 3
Evolución del tamaño normalizado v en «Live»
sn
16,00
14,00
12,00
)
v sn
10,00
8,00
6,00
Size normalizado (
4,00
2,00
0,00
Enero
Febrero
Marzo
Abril
Mayo
Junio
UCM
UGR
US
UV
UPM
UMA
UM
UC3M
UMH
UZ
258
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
para Google y Yahoo!, no sólo en las universidades con más v y/o Rs, sino en
sn
los patrones de evolución, mostrando comportamientos menos lineales, con ma-
yores picos y valles abruptos.
La UCM y la UGR son las universidades que acumulan más v a lo largo de
sn
los meses (y por tanto mayor Rs), debido fundamentalmente a grandes crecimien-
tos puntuales (en abril para la UCM —detectado también en Yahoo!— y en mayo
para la UGR), con las consiguientes caídas en los meses posteriores.
Destaca igualmente el amplio crecimiento en representatividad de la US y UM
en junio, que puede deberse a las grandes caídas de la UCM y la UGR en dicho
mes. Por otra parte, se detecta un bajo rendimiento de la UR en este buscador,
ocupando la posición 36 en el ranking Rs, frente al primer puesto logrado en el
resto de buscadores (tabla III).
Asimismo, es signiﬁ cativa la procedencia geográﬁ ca de las universidades en
este buscador, donde se cuenta con 3 universidades de la Comunidad de Madrid
(UCM, UAM y UPM), otras 3 andaluzas (US, UGR y UM) y 2 valencianas (UV y
UMH), así como la ausencia de universidades catalanas.
3.1.4.
Exalead
La UR es de nuevo la universidad con el dominio web de mayor tamaño según
Exalead (ﬁ gura 4), situándose la UV en segunda posición pero bastante alejada.
FIGURA 4
Evolución del tamaño normalizado v en «Exalead»
sn
30,00
25,00
)
20,00
v sn
15,00
Size normalizado (
10,00
5,00
0,00
Enero
Febrero
Marzo
Abril
Mayo
Junio
UR
UV
UA
UPM
UJI
UZ
UCM
UPC
UNEX
UAB
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
259

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Los bajos resultados obtenidos en datos brutos por Exalead muestran una
menor cobertura de este motor de búsqueda en los dominios académicos espa-
ñoles. Asimismo, las tendencias de las universidades son muy estables, mostran-
do una signiﬁ cativa ausencia de grandes picos y valles en la evolución del tama-
ño web así como una ligera caída generalizada en todas las universidades. Sólo
la UR (en junio), UA y UZ (en abril) y UCM y UNEX (en mayo), presentan va-
lores más altos que los del mes anterior (para las 10 primeras universidades).
De nuevo, la procedencia geográﬁ ca de las 10 universidades con mayor Rs
es digna de mención; en este caso se localizan 3 universidades de la Comunidad
valenciana (UV, UA y UJI), 2 de la Comunidad de Madrid (UPM y UCM) y 2 ca-
talanas (UPC y UAB).
3.1.5. Diferencias por buscador
a) Rs por buscador
En la tabla III se muestran los valores de Rs para todos los dominios web
analizados en función de cada uno de los buscadores, y su correspondiente po-
sición en dicho ranking.
TABLA III
Representatividad relativa media en tamaño
Google
Yahoo!
Live
Exalead
Universidades
Rs
Ranking
Rs
Ranking
Rs
Ranking
Rs
Ranking
EHU
5,00
4
3,53
10
2,52
11
1,66
18
UA
2,21
15
4,12
6
1,98
23
4,36
3
UAB
2,45
12
2,65
13
2,45
12
2,52
10
UAH
0,58
30
0,78
34
1,50
33
0,60
38
UAL
0,23
41
0,61
37
1,08
43
0,61
37
UAL
0,24
40
0,22
45
1,08
42
0,07
46
UAM
0,69
28
1,82
22
2,20
16
2,25
13
UB
1,06
23
1,17
28
2,00
22
1,65
19
UC
0,37
35
0,79
33
1,47
35
0,97
29
UC3M
1,20
21
2,32
17
2,72
8
0,74
33
UCA
0,66
29
1,24
27
1,31
38
0,70
34
UCLM
0,75
27
1,32
26
1,76
30
1,16
28
UCM
15,56
2
4,37
4
7,02
1
2,98
7
UCO
0,48
32
1,11
29
2,11
19
0,63
35
260
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
TABLA III (continuación)
Google
Yahoo!
Live
Exalead
Universidades
Rs
Ranking
Rs
Ranking
Rs
Ranking
Rs
Ranking
UDC
0,90
25
1,68
23
1,78
29
1,65
20
UDG
0,14
46
0,59
38
1,08
44
0,81
32
UDL
0,30
37
0,66
36
0,99
46
0,60
39
UGR
0,91
24
2,57
14
6,35
2
2,19
14
UHU
0,21
42
0,49
40
1,97
24
0,46
40
UIB
2,69
10
4,93
3
1,83
28
1,29
24
UJA
0,19
43
0,54
39
1,12
41
0,30
43
UJI
2,70
9
2,17
19
1,85
27
3,40
5
UL
0,18
44
0,45
41
1,50
34
0,44
42
ULL
0,32
36
0,83
31
1,67
32
0,88
30
ULPGC
1,85
17
1,67
24
1,33
37
0,85
31
UM
1,32
20
2,10
20
2,84
7
1,38
23
UMA
0,49
31
0,97
30
3,06
6
1,25
27
UMH
0,44
34
0,70
35
2,53
9
1,87
16
UNED
1,06
22
1,51
25
2,24
15
2,45
11
UNEX
0,44
33
2,00
21
2,08
21
2,61
9
UO
0,80
26
2,80
12
1,92
25
1,63
21
UPC
2,78
8
2,56
15
2,37
13
2,69
8
UPCT
0,14
45
0,24
43
1,01
45
0,20
44
UPM
1,97
16
3,72
8
3,10
5
3,78
4
UPNA
0,30
38
0,35
42
1,29
39
0,61
36
UPO
2,33
13
0,23
44
1,18
40
0,18
45
UPV
3,90
5
3,68
9
2,16
18
1,87
15
UR
15,63
1
12,23
1
1,40
36
26,58
1
URJC
0,27
39
0,79
32
2,27
14
0,46
41
US
2,89
7
7,68
2
4,34
3
2,39
12
USAL
1,45
19
2,55
16
2,18
17
1,69
17
USC
11,96
3
2,81
11
1,67
31
1,27
25
UV
3,23
6
0,00
46
3,22
4
7,55
2
UVA
2,33
14
4,03
7
1,85
26
1,47
22
UVI
2,64
11
4,18
5
2,10
20
1,27
26
UZ
1,75
18
2,24
18
2,52
10
3,01
6
Fuente: propia.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
261

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Pese a existir una gran diferencia entre los datos obtenidos para cada busca-
dor, se observa una preponderancia de la UR (primera en Google, Yahoo! y Exa-
lead) y de la UCM (primera en Live y segunda en Google). Los malos resultados
de la UR en Live y de la UCM en Exalead parecen corresponder con la cobertu-
ra de estos buscadores.
No obstante, cada buscador ofrece algún resultado inesperado; Google ofrece
valores excesivamente bajos para la UPM y altos para la USC y UPO; Yahoo!
presenta valores muy altos para la UIB y bajos para la UV.
Live presenta valores relativamente altos para la UC3M, UGR, UHU, UM, UMA,
UMH y URJC y bajos para la UA, UJI, UR. Finalmente, Exalead ofrece valores
altos para la UJI, UNEX, UV y UZ y bajos para la UC3M.
b) Varianza en tamaño entre buscadores
Las diferencias mensuales entre los datos brutos pueden signiﬁ car tendencias
alcistas o decrecientes, pero cuando la varianza de datos es demasiado grande, los
resultados pueden verse afectados por cambios en la cobertura de los buscadores,
debidos a problemas técnicos o políticos, ajenos a las universidades. En ese sen-
tido, Google presenta una variabilidad de datos muy grande, que hace plantear
dudas acerca de la validez del comando, sobre todo en los casos de la UR y UCM.
Además, la diferencia en los resultados brutos entre los buscadores es muy
elevada, lo que afecta a la varianza (a mayor cobertura, la varianza entre los
datos tiene más probabilidades de ser mas elevada). La tabla IV muestra la va-
rianza del tamaño de los dominios para los 6 meses estudiados.
TABLA IV
Varianza de datos en tamaño
Varianza (S)
Universidades
Google
Yahoo!
Live
Exalead
EHU
523.114,52
80.717,81
21.995,91
784,98
UA
150.938,91
16.942,06
20.139,80
937,40
UAB
284.705,94
15.106,15
14.162,71
660,84
UAH
14.158,82
1.400,36
8.584,56
234,22
UAL
8.873,26
4.400,62
5.489,69
93,46
UAM
6.806,86
1.931,92
23.662,89
952,15
UB
49.844,48
73.812,46
20.827,58
11.648,40
UBU
8.182,59
2.324,53
11.860,53
31,24
UC
7.231,05
5.023,47
7.859,53
45,70
UC3M
87.591,38
22.023,88
20.721,97
1.171,85
UCA
21.247,88
19.367,17
7.653,27
445,94
UCLM
13.301,00
12.220,67
12.654,83
290,45
262
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
TABLA IV (continuación)
Varianza (S)
Universidades
Google
Yahoo!
Live
Exalead
UCM
1.923.983,86
79.680,17
86.225,55
306,62
UCO
7.781,75
5.084,31
13.263,32
141,89
UDC
81.284,99
6.766,85
15.052,91
281,46
UDG
4.162,03
2.728,13
6.768,16
527,66
UDL
9.357,53
3.691,45
3.693,54
439,92
UGR
17.432,41
12.909,20
120.367,36
105,23
UHU
1.552,06
4.243,38
17.028,74
44,07
UIB
228.131,11
191.462,50
17.956,65
930,68
UJA
7.760,75
15.005,88
7.450,65
43,26
UJI
49.002,55
21.316,14
16.938,09
4.700,55
UL
4.531,89
3.472,02
16.178,96
86,00
ULL
5.347,48
3.041,85
17.189,01
179,08
ULPGC
148.794,79
9.076,37
8.234,36
401,70
UM
194.654,75
31.047,80
22.983,09
604,33
UMA
7.624,89
2.134,85
62.999,99
400,11
UMH
72.665,92
6.055,45
32.208,69
200,47
UNED
13.609,64
63.347,04
28.618,22
454,13
UNEX
5.557,78
34.964,82
19.142,75
318,92
UO
169.333,01
38.995,29
18.632,11
1.684,21
UPC
153.202,93
22.304,48
26.221,66
4.957,78
UPCT
7.604,09
1.314,34
2.132,62
22,15
UPM
40.226,10
5.967,42
24.509,36
902,26
UPNA
7.262,10
958,55
4.348,18
92,05
UPO
203.148,07
2.571,54
10.759,92
88,89
UPV
328.294,08
43.173,94
21.803,47
714,81
UR
6.763.679,14
75.487,97
5.246,48
3.444,71
URJC
5.415,92
3.132,38
32.140,44
237,49
US
474.475,03
286.389,83
85.456,92
1.919,72
USAL
43.071,32
9.372,18
16.993,80
1.809,57
USC
400.017,36
19.699,94
11.361,11
239,98
UV
259.900,25
10,91
27.716,95
632,67
UVA
168.641,30
92.965,92
7.653,90
268,00
UVI
253.766,73
68.784,42
24.181,43
142,96
UZ
189.585,51
8.269,66
23.508,27
783,52
Promedio
291.888,17
31.102,13
22.403,91
987,03
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
263

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Se observa cómo los datos de Google son los que presentan, en términos
generales, un mayor valor para todas las universidades mientras que Exalead
presenta los valores más bajos (lo que corresponde con sus coberturas). Yahoo!
y Live alternan sus valores en función de la universidad, aunque el primero pre-
senta en promedio una mayor varianza que el segundo.
No obstante, no sólo es importante la varianza de datos (pues se ve inﬂ uida
por el tamaño de los dominios y cobertura de los buscadores), sino las diferen-
tes tendencias en la evolución de los resultados mostradas en las ﬁ guras 1 a 4.
3.2. Visibilidad
3.2.1.
Yahoo!
El cálculo del número de enlaces externos entrantes muestra que la UR es la
universidad que mayor visibilidad alcanza, con niveles muy superiores al resto
(tabla V). La UCM y la UA se sitúan destacadas en segundo y tercer puesto res-
pectivamente.
El ranking obtenido concuerda grosso modo con el correspondiente en tama-
ño para este buscador, aunque con algunas diferencias, como la inclusión de la
UV (a pesar de no detectar páginas, este buscador sí detecta enlaces a dichas
páginas), la UAB y la UGR. Este hecho muestra un principio de relación entre el
tamaño y la visibilidad web.
TABLA V
Visibilidad (Yahoo!)
Universidad
Enero
Febrero
Marzo
Abril
Mayo
Junio
Media
UR
1.055.445
1.232.151
1.258.476
1.324.016
1.333.421
1.456.372
1.276.646,83
UCM
654.327
637.646
776.709
848.495
723.443
876.343
752.827,17
UA
646.139
666.416
691.960
727.483
728.590
750.700
701.881,33
UPV
447.448
471.042
570.842
571.304
582.892
606.002
541.588,33
UV
540.077
526.067
541.746
541.148
540.284
543.878
538.866,67
UVI
505.306
518.865
509.585
517.653
397.883
629.057
513.058,17
US
482.836
497.970
505.027
520.839
522.654
540.805
511.688,50
UPM
463.697
462.309
481.463
513.040
508.016
535.608
494.022,17
UAB
477.595
468.612
480.158
502.775
475.722
501.918
484.463,33
UGR
406.251
412.283
425.163
418.005
421.850
441.222
420.795,67
El cálculo del WebIF para Yahoo! se muestra en la ﬁ gura 5, donde se obtienen
los resultados para las 10 primeras universidades a excepción de la UV, que ha
sido eliminada debido a los problemas detectados en tamaño, que propician un
crecimiento artiﬁ cial en su WebIF.
264
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
FIGURA 5
WebIF en Yahoo!
3,00
2,50
2,00
ahoo!) 1,50
eblF (Y
W
1,00
0,50
0,00
Enero
Febrero
Marzo
Abril
Mayo
Junio
UL
UB
UBU
UMA
UDC
UJI
UDG
UAB
UPO
ULL
Descontando la UV, 23 universidades han logrado un WebIF superior a 1 y
el resto (22), inferior a la unidad. Este hecho pone de maniﬁ esto que práctica-
mente el 50 % de los dominios web españoles ni siquiera llega a un ratio de un
enlace por página en Yahoo!, lo que muestra la gran cantidad de páginas que
no reciben enlaces y, por tanto, no tienen impacto en la Web, al menos en este
importante buscador. La UL y la UB son las universidades con un mayor WebIF
según Yahoo! en el período estudiado, seguidas de la UBU, hecho que sorpren-
de por no corresponder a universidades que destaquen en tamaño y/o visibilidad
en dicho buscador.
El resto de universidades se mantiene en un margen de valores entre el 1 y
1,5, con una tendencia ligeramente alcista en los últimos meses, sobre todo en
la UJI y ULL. Asimismo, el crecimiento en impacto web de la UL es muy intenso
a partir del mes de marzo.
3.2.2.
Exalead
Los valores de visibilidad en Exalead se detallan en la tabla VI. Se obtienen
cifras de enlaces mucho más reducidas que en Yahoo!, lo cual es comprensible
debido a las diferencias que presentan ambos en cobertura de la Web.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
265

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
TABLA VI
Visibilidad (Exalead)
Universidad
Enero
Febrero
Marzo
Abril
Mayo
Junio
Media
UGR
167.330
180.255
183.702
186.591
186.538
272.448
196.144,00
UCM
58.375
57.399
55.287
54.894
55.948
59.508
56.901,83
UV
51.392
50.765
47.672
47.571
47.293
46.476
48.528,17
UR
15.871
13.304
9.211
11.170
12.870
260.768
53.865,67
UPV
48.041
44.332
40.491
37.379
36.615
29.746
39.434,00
UPC
39.383
38.541
37.458
37.143
37.097
37.504
37.854,33
UAB
36.440
36.372
34.647
34.130
33.246
39.124
35.659,83
UPM
31.807
31.374
31.664
32.646
32.499
40.378
33.394,67
UA
30.697
30.860
30.210
30.285
29.325
44.851
32.704,67
US
30.726
30.448
29.262
29.156
29.037
34.217
30.474,33
La relación de la tabla VI con la tabla V (visibilidad en Yahoo!) es relativa-
mente alta, pues 9 de las 10 universidades con más visibilidad en Yahoo! están
igualmente entre las 10 con más enlaces externos en Exalead, aunque en posi-
ciones distintas. Estos datos consolidan un cluster de universidades más visibles
en los buscadores.
La relación con los datos de la ﬁ gura 4 (tamaño en Exalead) también es re-
lativamente alta (7 de 10 universidades aparecen en ambos rankings), aunque la
UGR presenta una clara excepción.
En este caso, la UGR es la universidad con mayor número de enlaces, segui-
da de la UCM y de la UV. De nuevo destaca la alta presencia de universidades
andaluzas (US, UGR), valencianas (UV, UPV y UA), madrileñas (UCM y UPM) y
también catalanas (UPC y UAB). Por otra parte, el número de enlaces de la UR
no guarda correspondencia con la presencia en este buscador (UR es la univer-
sidad con mayor Rs en Exalead).
En lo que respecta al impacto web, la ﬁ gura 6 detalla la evolución de este
indicador a lo largo de los meses estudiados.
En este caso, y a diferencia de Yahoo!, la universidad con mayor visibilidad
también logra los valores máximos de WebIF. Así, la UGR ejerce un claro predo-
minio en este parámetro, pese a detectar algún valor de pico exagerado, como
el localizado en junio debido al incremento de enlaces obtenidos ese mes.
A pesar de ello, el WebIF permanece muy estable en todas las universidades
(generalmente en torno a un valor de 2), excepto algunos cambios muy puntua-
les, como el crecimiento en la UB en febrero o las caídas de la UB, UPV y UPO
en junio.
266
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
Otras universidades como la UBU, UL y UPO, logran tanto en Yahoo! como
en Exalead unos factores de impacto relativamente altos, debido a los bajos va-
lores logrados en tamaño web en relación al número de enlaces obtenidos.
FIGURA 6
WebIF en Exalead
14,00
12,00
10,00
8,00
6,00
eblF (Exalead)
W
4,00
2,00
0,00
Enero
Febrero
Marzo
Abril
Mayo
Junio
UGR
UBU
UL
UPV
UIB
UB
UC3M
UCM
UDL
UPO
3.2.3. Diferencias en visibilidad por buscador
a) Rv por buscador
En la tabla VII se muestra el Rv para los dominios académicos web, así como
el ranking global de cada universidad en cada buscador.
Los resultados muestran una buena correspondencia entre los rankings ocu-
pados por las universidades en ambos buscadores, aunque existen algunas ex-
cepciones, como la UGR, UMA, USAL, UVA, UVI, UB, UDG y UV.
De esta forma, las diferencias mostradas permiten conocer el bajo rendimien-
to de una universidad en un determinado buscador, mientras que las similitudes
en las posiciones ocupadas por las universidades permite la confección de clus-
ters o agrupaciones más reﬁ nadas. En ese sentido, las universidades que consi-
guen ﬁ gurar dentro del top ten en ambos buscadores son la UCM, UGR, UR, US,
UPM, UPV, UAB y UA.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
267

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
TABLA VII
Representatividad relativa media en visibilidad (Rv)
Yahoo!
Exalead
Universidades
Rv
Ranking
Rv
Ranking
UAM
2,21
20
2,20
16
UC3M
1,58
28
1,44
24
UCM
5,57
2
5,45
2
UAH
0,81
38
0,80
36
UAL
0,61
39
0,42
40
UBU
0,32
44
0,25
45
UCA
1,00
33
0,64
37
UC
0,96
35
0,93
33
UCLM
1,62
27
1,16
30
UCO
1,40
29
0,90
34
UNEX
1,71
26
0,88
35
UGR
3,12
10
18,53
1
UHU
0,55
41
0,42
41
UJA
0,51
42
0,33
43
ULL
1,11
31
1,25
29
UR
9,45
1
4,26
4
ULPGC
1,76
24
1,08
31
UL
1,04
32
1,27
28
UMA
1,38
30
1,78
20
UM
2,23
19
1,99
18
UO
1,91
23
2,15
17
USAL
3,12
11
1,77
21
US
3,80
7
2,91
10
UVA
4,00
4
1,72
22
UZ
2,66
13
2,82
12
EHU
2,60
14
2,29
15
UMH
0,98
34
0,63
38
UNED
1,74
25
1,71
23
UPO
0,32
45
0,29
44
UPCT
0,25
46
0,14
46
UPM
3,66
8
3,18
8
UPV
4,01
5
3,82
5
268
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
TABLA VII (continuación)
Yahoo!
Exalead
Universidades
Rv
Ranking
Rv
Ranking
UPNA
0,39
43
0,33
42
URJC
0,86
36
0,60
39
UDC
2,37
17
1,43
25
USC
2,52
15
1,81
19
UVI
3,80
6
1,31
26
UAB
3,60
9
3,41
7
UA
5,20
3
3,09
9
UB
2,03
22
2,82
11
UDG
0,81
37
1,28
27
UIB
2,40
16
2,57
14
UDL
0,59
40
0,98
32
UV
2,25
18
4,67
3
UJI
2,11
21
2,65
13
UPC
3,09
12
3,64
6
b) Varianza en visibilidad entre buscadores
En la tabla VIII se detallan los valores de varianza en los datos de visibilidad
ofrecidos por Yahoo! y Exalead. Los valores son más elevados en Yahoo!, lo cual
se corresponde con su mayor volumen de datos, al igual que ocurría con el ta-
maño web (tabla IV).
TABLA VIII
Varianza de datos en visibilidad
Varianza (V)
Universidades
Yahoo!
Exalead
UAM
11.348,53
1.490,55
UC3M
11.430,33
398,33
UCM
90.195,39
1.671,25
UAH
5.880,01
490,30
UAL
12.409,88
475,64
UBU
3.489,21
289,24
UCA
9.374,29
646,42
UC
6.644,65
314,47
UCLM
16.373,37
409,72
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
269

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
TABLA VIII (continuación)
Varianza (V)
Universidades
Yahoo!
Exalead
UCO
7.190,14
182,22
UNEX
7.921,61
373,61
UGR
11.024,37
34.745,13
UHU
2.525,75
562,44
UJA
1.752,75
292,69
ULL
16.630,16
669,13
UR
121.798,05
92.551,81
ULPGC
7.358,56
1.073,73
UL
17.526,56
188,96
UMA
9.511,36
1.027,05
UM
12.319,80
1.360,40
UO
4.351,09
1.279,76
USAL
29.168,70
1.859,71
US
18.782,90
1.795,61
UVA
5.858,24
1.400,40
UZ
7.942,69
1.033,76
EHU
18.926,66
2.082,78
UMH
8.989,97
211,03
UNED
3.354,90
382,08
UPO
2.557,82
77,80
UPCT
3.131,56
90,39
UPM
26.987,53
3.155,12
UPV
59.767,74
5.848,29
UPNA
1.898,98
265,08
URJC
8.890,66
144,02
UDC
25.329,53
707,09
USC
19.229,02
1.339,53
UVI
66.893,00
518,04
UAB
13.123,57
1.928,26
UA
37.003,36
5.453,86
UB
40.978,27
6.302,75
UDG
647,10
1.132,96
UIB
4.759,52
1.180,13
UDL
1.095,81
569,84
UV
5.579,68
1.852,53
UJI
5.086,52
5.706,87
UPC
8.040,98
833,44
Promedio
17.632,19
4.051,40
270
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
Estos resultados conﬁ rman la alta variabilidad de datos de la UR (tanto en
Yahoo! como en Exalead), de la UCM (fundamentalmente en Yahoo!) y de la
UGR (en Exalead).
No obstante, hay que tomar con precaución los datos de varianza, pues va-
lores mínimos muestran una estabilidad en los datos del buscador, pero también
una carencia de crecimiento en la Web por parte de dichas universidades.
3.3. Regresión y correlación entre Rs y Rv
En la ﬁ gura 7 se muestra la regresión potencial obtenida para Rs y Rv (y por
tanto, entre tamaño y visibilidad), en Yahoo! y Exalead. Se aprecia como a mayor
FIGURA 7
Regresión potencial entre Rs y Rv en Yahoo! y Exalead
100
10
!
)
o
o
h
Ya
(
Rv
1
y = 1,4383x0,4241
0
0
1
10
100
Rs (Yahoo!)
100
10
)
d
a
l
e
Exa
(
Rv
1
y = 1,206x0,7391
0
0
1
10
100
Rs (Exalead)
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
271

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Rs aumenta el valor de Rv en prácticamente todos los dominios web académicos
españoles, a lo largo del tiempo. Los ejes vertical (Rv) y horizontal (Rs) se mues-
tran en escala logarítmica con el objetivo de evitar que los valores extremos
determinen el ajuste de la regresión.
Por otra parte, el coeﬁ ciente de correlación de Pearson entre Rs y Rv es de
0,90 para Yahoo! y de 0,24 para Exalead. No obstante, en este último caso, los
datos están contaminados por la UR y UGR; eliminando estos dominios del cálculo,
el coeﬁ ciente de correlación de Pearson es de 0,77.
Puesto que la distribución de frecuencias de tamaño y visibilidad por dominio
no sigue una distribución normal, sino potencial, se procede a utilizar el coeﬁ -
ciente de correlación de Spearman, más adecuado en este tipo de distribución.
De esta forma, Yahoo! logra un valor muy alto (r = 0,9973), al igual que Exalead
(r = 0,9507). Si eliminamos los valores de la UR y UGR, como se ha hecho an-
teriormente, Exalead logra aumentar su coeﬁ ciente (r = 0,9976).
La ﬁ gura 7 permite además observar de forma clara los comportamientos de
cada dominio web, detectando rendimientos que quedan fuera de lo normal.
En ese sentido, la correlación en Yahoo! muestra de forma gráﬁ ca los proble-
mas en la detección de tamaño en la UV (coordenadas [0,00; 2,25]), los altos
valores de la UR [12,23; 9,45], tanto en visibilidad como en tamaño, el alto ren-
dimiento de la UA [4,12; 5,20] y UCM [4,37; 5,57], y la poca visibilidad de la UIB
[4,93; 2,40] y la US [7,68; 3,80].
Asimismo, los datos relativos a Exalead muestran la poca visibilidad de la UR en
función del tamaño detectado [26,58; 4,26], así como el caso contrario para la UGR
[2,19; 18,53]. Otras universidades que destacan son la UCM [2,98; 5,45] y la UV
[7,55; 4,67], quienes alcanzan una gran visibilidad en relación a su tamaño web.
4. Discusión
La correlación detectada entre Rs y Rv implica una clara relación entre la vi-
sibilidad y tamaño de los dominios. Esto es igualmente detectado por Thelwall
y Aguillo (2003), quienes demuestran que las grandes sedes tienden a atraer más
enlaces.
En base a esto, los autores aﬁ rman que «si el modelo de interconexión esta
relacionado con la productividad investigadora, como en el Reino Unido, enton-
ces la desviación de una tendencia lineal puede representar instituciones relati-
vamente productivas o improductivas».
Es decir, una universidad con una visibilidad mayor a la que le correspondie-
ra por tamaño, se relacionaría con una producción cientíﬁ ca mayor que la media,
pero esta interconexión con la actividad cientíﬁ ca no es un fenómeno universal.
De hecho, Thelwall y Aguillo discuten dos situaciones posibles:
• Que exista la interconexión y por tanto la productividad cientíﬁ ca de la
institución sea mayor o menor según su tamaño y visibilidad.
272
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
• Que grandes colecciones puntuales de páginas puedan estar inﬂ ando arti-
ﬁ cialmente el tamaño de las sedes, pero no se correspondan con cambios
en la productividad cientíﬁ ca.
Precisamente, este último punto corresponde con los resultados obtenidos en
este trabajo para la UR (a través de la indización del servicio Dialnet15) y de la
UCM (debido a Compludoc16). Este mismo fenómeno se ha detectado igualmen-
te en la presencia de estas universidades en Google Scholar (Orduña-Malea y
otros, 2009). La falta de comandos en Google para estudiar la visibilidad impide
un estudio directo entre ésta y la presencia en Google Scholar
La alta correlación encontrada entre el tamaño y la visibilidad de los dominios
web afecta igualmente al cálculo del WebIF. Así, las universidades con mayor ta-
maño también logran proporcionalmente visibilidades más altas, por lo que este
indicador (obtenido a partir de la división entre visibilidad y tamaño), se mantie-
ne constante, favoreciendo a universidades con mucha visibilidad y poco tamaño.
Estos resultados concuerdan con los obtenidos por Noruzi (2006a y 2006b)
así como por otros autores, acerca de la poca información que este indicador
aporta, pese a que constituye la única posibilidad de conocer, al menos de forma
aproximada, los enlaces por documento.
Finalmente, resulta necesario comentar que tan sólo se ha utilizado un domi-
nio por universidad, tal como muestra en la tabla I. Algunas universidades, como
las catalanas, usan diversos dominios académicos (por ejemplo, .es y .cat). Este
aspecto, ya debatido y criticado en la bibliografía (Aguillo, 2008), puede repre-
sentar una limitación técnica a la hora de tomar en cuenta los resultados obte-
nidos, por lo que deberá ser tenido en cuenta. No obstante, la decisión de tomar
en consideración o no dichos dominios alternativos queda lejos de estar solucio-
nada, pues generalmente éstos presentan en su mayoría documentación repetida
o duplicada, hecho que está provocando que en las últimas ediciones del RWWU
sólo se tenga en cuenta el dominio principal de cada universidad. Sería necesa-
rio el desarrollo de una aplicación capaz de automatizar la detección de conte-
nido duplicado entre documentos alojados en dominios alternativos para perfec-
cionar la metodología y solucionar así este problema.
5. Conclusiones
Las diferencias en tamaño entre las sedes académicas web son muy grandes
según el buscador utilizado, por lo que el uso de un único buscador no permi-
te conocer de forma ﬁ able el tamaño real de un dominio web. Además, el empleo
de valores combinados a partir de la media obtenida en cada buscador no ofre-
ce resultados ﬁ ables, dada la varianza de datos obtenida entre buscadores así
como los diferentes índices obtenidos de Rs.
Por otra parte, en términos cuantitativos, Google es el motor que ofrece una
mayor cantidad de resultados, seguido de Yahoo!, Live y Exalead. Este orden
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
273

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
coincide en la varianza de los datos obtenidos, lo cual es lógico, aunque se ad-
vierten ciertos comportamientos anómalos en ciertas universidades.
Se observa una disminución en tamaño de prácticamente todos los dominios
en Exalead, lo que podría signiﬁ car que las universidades españolas están per-
diendo representatividad en este buscador y/o que la cobertura de éste disminu-
ye paulatinamente. En cualquier caso, dados sus resultados, se plantea la idonei-
dad o no del uso de este buscador en estudios nacionales.
No obstante, los cambios en la evolución del tamaño de los dominios web
pueden ser debidos tanto a la cobertura y funcionamiento de los buscadores
como a acciones especíﬁ cas llevadas a cabo por las universidades. La discrimi-
nación de estos fenómenos no se puede realizar mediante un simple análisis de
los buscadores, por lo que las razones que pueden explicar subidas o bajadas
son difíciles de contextualizar.
Además, la falta de gestión de la documentación web docente y su mayor
obsolescencia podrían ser las causas de ciertos cambios en las evoluciones de
tamaño detectadas en los dominios web. La carencia de comandos adecuados en
los motores de búsqueda para discriminar información cientíﬁ ca, docente y ad-
ministrativa dentro de los dominios web impide conocer la inﬂ uencia de estos
distintos tipos de documentación, tanto en el tamaño y visibilidad de los domi-
nios, como en su perdurabilidad. La existencia de sistemas como Google Scholar
ayuda en relación a la documentación cientíﬁ ca, pero no así con el resto.
Respecto a la visibilidad de los buscadores, se observan datos más constantes
y estables en cada buscador, con varianzas menores que las detectadas en tama-
ño, aunque igualmente signiﬁ cativas, tanto en magnitud como en el orden de los
dominios, por lo que también es desaconsejable el uso de un único buscador
para conocer el verdadero impacto de las universidades.
La indización por parte de los buscadores de servicios como Dialnet en la
UR y Compludoc en la UCM provoca la obtención de resultados artiﬁ ciales tanto
en tamaño como en visibilidad, pues la documentación alojada en estos servicios
no es producida por dicha universidad, es decir, no es creada por autores per-
tenecientes a dichas instituciones y por tanto no se correlacionan con la produc-
ción cientíﬁ ca de dichas universidades, como sí lo hacen los repositorios institu-
cionales.
Este hecho afecta en la representatividad del resto de dominios, como de-
muestran los datos obtenidos. Sin embargo, no todos los buscadores indizan igual
estos servicios, por lo que las políticas acerca del tratamiento de éstos por parte
de los buscadores deberían normalizarse.
El WebIF, por su parte, ha proporcionado resultados diferentes en Yahoo! y
Exalead. En el primero, se han constatado diferencias respecto a los resultados
de visibilidad, mientras que en el segundo, las posiciones de las primeras uni-
versidades coinciden más. Pese a todo, la utilización de este indicador ha favo-
recido a universidades sin mucho tamaño pero con una visibilidad media, dada
la alta correlación entre tamaño y visibilidad, lo que conﬁ rma la poca idoneidad
de su uso.
274
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
Pese a que en los estudios evolutivos de la Web se han detectado dependen-
cias en la estabilidad de las páginas web de variables como dominio, edad, con-
tenidos, etc., este trabajo sólo pretende medir la evolución del tamaño y visibi-
lidad de los dominios académicos web de las universidades públicas españolas
y proponer una serie de indicadores (Rs y Rv) que pueden mejorar la construc-
ción e interpretación de rankings web de universidades.
Aun así, se estima conveniente la realización de futuros estudios acerca de la
inﬂ uencia de las variables de perdurabilidad en el contexto académico español,
como por ejemplo un análisis de la persistencia del dominio .es (top level domain
empleado mayoritariamente), la inﬂ uencia de repositorios institucionales, antigüe-
dad de los dominios web, cantidad de documentación no cientíﬁ ca, etc., temas
todos ellos fuera del propósito de este trabajo pero que pueden ayudar a com-
prender y contextualizar los resultados obtenidos.
Finalmente, dado que el objeto de este estudio son los dominios web de
instituciones académicas públicas, y por tanto ﬁ nanciadas con dinero público,
se abre la duda acerca de si la información exacta de su tamaño real (Internet
pública) debiera ser ofrecida por la propia universidad. Por ello, se estima con-
veniente la creación de una línea de trabajo dirigida al diseño y desarrollo de
algún tipo de metadato, generado por la propia universidad, que pudiera ser
leído por los distintos buscadores y que ofreciese esta información de forma
actualizada.
6. Notas
1. El
U.S News & World Report se comienza a publicar en 1983, pero no es has-
ta 1987 cuando se convierte en anual. http://www.usnews.com/sections/ran-
kings/index.html.
2. Leiden Ranking. http://www.cwts.nl/ranking/LeidenRankingWebSite.html [con-
sulta 20-10-2009].
3. Las categorías de indicadores propuestas son las siguientes: Beginning cha-
racteristics; Learning inputs (resources and staff); Learning outputs; Final
outcomes; Reputation; Research.
4. Se trata del Academic Ranking of World Universities (ARWU), desarrollado en
la Shanghai Jiao Tong University. http://www.arwu.org/ [consulta 20-10-2009].
5. International Observatory on Academic Rankings and Excellence (IREG).
http://www.ireg-observatory.org/ [consulta 20-10-2009].
6. Ranking Web of World Universities. http://www.webometrics.info/ [consulta
20-10-2009].
7. Web Popularity Ranking. http://www.4icu.org/top200/ [consulta 20-10-2009].
8. Ranking Universitario de transparencia Web. http://www.universidad.edu.co
[consulta 20-10-2009].
9. Ranking Colleges using Google and OSS. http://vcmike.blogspot.com/2006/01/
ranking-colleges-using-google-and-oss.html [consulta 20-10-2009].
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
275

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
10. http://www.universitymetrics.com/g-factor [consulta 20-10-2009].
11. http://www.webometrics.info/best_practices.html [consulta 20-10-2009].
12. Conferencia de Rectores de las Universidades Españolas (CRUE). http://www.
crue.org/ [consulta 20-10-2009].
13. Se obtienen datos de las 49 universidades públicas españolas, a excepción
de la Universidad Pompeu Fabra, Universidad Rovira i Virgili y Universidad
Internacional de Andalucía, de las que no se obtienen datos debido a
problemas técnicos, por lo que no se consideran en ningún momento.
14. A principios de junio se pone en marcha, por parte de Microsoft, el busca-
dor Bing, con el que sustituye a Live. Por ello, la recuperación de datos de
enero a mayo se realiza en Live, mientras que los datos de junio se recogen
con Bing.
15. Dialnet. http://dialnet.unirioja.es/ [consulta 20-10-2009].
16. Compludoc. http://europa.sim.ucm.es/compludoc/ [consulta 20-10-2009].
7. Bibliografía
Aguillo, I. F., y Granadino, B. (2006): Indicadores web para medir la presencia de las
universidades en la red. Revista de universidad y sociedad del conocimiento, vol. 3 (1),
68-75.
Aguillo, I. F.; Granadino, B.; Ortega, J. L, y Prieto, J. A. (2006): Scientiﬁ c research activity
and Communications measured with cybermetrics indicators. Journal of the American
Society for information science and technology, vol. 57 (10), 1296-1302.
Aguillo, I. F.; Ortega, J. L., y Fernández, M. (2008): Webometric Ranking of World Univer-
sities: introduction, methodology, and future developments. Higher education in
Europe, vol. 33 (2/3), 233-244.
Altbach, P.G. (2006): GATS Redux: The WTO and Higher Education Returns to Center
Stage. En Altbach, Philip G. (ed.), International Higher education: reﬂ exions on Po-
licy and Practice. Center for International Higher Education, Boston, EE.UU.
Bar-Ilan, J. (1999), Search engine results over time – A case study on search engine sta-
bility, Cybermetrics, 2/3. Available: http://www.cindoc.csic.es/cybermetrics/articles/
v2i1p1.html.
Bar-Ilan, J. (2002): Methods for measuring search engine performance over time, Journal
of the American Society for Information Science and Technology, 53 (4): 308-319.
Bar-Ilan, J. (2003): The use of web search engines in information science research. Annual
review of information science and technology, vol. 38, 231-288.
Bar-Ilan, J., y Peritz, B. C. (2004): Evolution, continuity, and disappearance of documents
on a speciﬁ c topic on the Web: A longitudinal study of informetrics. Jasist, vol. 55(11),
980-990.
Berlin Principles on Ranking of Higher Education Institutions (2006): Institute for Higher
Education Institut (IHEP). http://www.ihep.org/assets/ﬁ les/publications/a-f/BerlinPrinci-
plesRanking.pdf [consulta 20-10-2009].
276
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Presencia y visibilidad web de las universidades públicas españolas
Brewington, B. E., y Cybenko, G. (2000): How dynamic is the Web? Computer Networks,
vol. 33 (1-6), 257-276.
Cho, Y., y García-Molina, H. (2000): The evolution of the web and implications for an
incremental crawler. Proceedings of the 26th International Conference on Very Large
Data Bases, 200-209.
Fetterly, D.; Manasse, M..; Najork, M., y Wiener, J. (2003): A large scale study of the evo-
lution of web pages, Proceedings of the Twelfth International Conference on World
Wide Web, 669-678.
Hazelkorn, E. (2007): The impact of league tables and ranking systems on Higher Edu-
cation decision making. Higher education management and policy, vol. 19 (2).
Ingwersen, P. (1998): The calculation of web impact factors. Journal of Documentation,
vol. 54(2), 236-243.
Koehler, W. (1999): An analysis of web page and web site constancy and permanence,
Journal of the American Society for Information Science, vol. 50 (2), 162-180.
Koehler, W. (2002): Web page change and persistence -4- year longitudinal web study,
Journal of the American Society for Information Science and Technology, vol. 53 (2),
162-171.
Koehler, W. (2004): A longitudinal study of Web pages continued a consideration of do-
cument persistence, Information Research, vol. 9 (2). http://informationr.net/ir/9-2/
paper174.html [consulta 20-10-2009].
Lawrence, S., y Giles L. (1999): Accesibility of information on the Web. Nature, vol. 400,
107-109.
Noruzi, A. (2006a): The Web Impact Factor: a critical review. The Electronic Library, vol.
24 (4), 490-500.
Noruzi, A. (2006b): Web presence and impact factors for Middle-Eastern countries. Onli-
ne, vol. 30 (2), 22-28.
Orduña-Malea, E.; Serrano-Cobos, J., y Lloret-Romero, N. (2009): Las universidades públi-
cas españolas en Google Scholar: presencia y evolución de su publicación académica
web. El profesional de la información, vol. 18 (5), 493-500.
Ortega, J. L., y Aguillo, Isidro-F. (2007): La web académica española en el contexto del
Espacio Europeo de Educación Superior: estudio exploratorio. El profesional de la
información, vol. 16 (5), 417-425.
Ortega, J. L.; Aguillo, I. F., y Prieto, J. A. (2006): Longitudinal study of contents and ele-
ments in the scientiﬁ c Web environment. Journal of Information Science, vol. 32 (4),
344-351.
Payne, N., y Thelwall, M. (2007): A longitudinal study of academic webs: growth and
stabilization. Scientometrics, vol. 71 (3), 523-539.
Rocki, M. (2005): Statistical and mathematical aspects of rankings: lessons from Poland.
Higher education in Europe, v. 30 (2), 173-181.
Rousseau, R. (1999), Time evolution of the number of hits in keyword searches on the
Internet, Post Conference Seminar – Cybermetrics’99 at the Seventh International Con-
ference on Scientometrics and Informetrics, July 9 1999, Colima, Mexico. Available:
http://www.cindoc.csic.es/cybermetrics/cybermetrics99.html [consulta 20-10-2009].
Smith, A., y Thelwall, M. (2004): Web impact factor for Australasian universities. Sciento-
metrics, vol. 54 (3), 363-380.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740
277

ENRIQUE ORDUÑA-MALEA, JORGE SERRANO-COBOS, JOSÉ-ANTONIO ONTALBA-RUIPÉREZ, NURIA LLORET-ROMERO
Stuart, D. (1995): Reputational rankings: background and development. New directions for
institutional research, vol. 88.
Thelwall, M. (2001): Extracting macroscopic information from web links, Journal of the
American Society for Information Science and Technology, vol. 52 (13), 1157-1168.
Thelwall, M., y Aguillo, I. F. (2003): La salud de las web universitarias españolas. Revista
española de documentación cientíﬁ ca, vol. 26 (3), 291-305.
Usher, A., y Savino, M. (2006): A World of Difference: A Global Survey of University League
Tables. Toronto, Ont; Educational Policy Institute, 63.
278
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 246-278, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.740

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 279-286, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.728
NOTAS Y EXPERIENCIAS / NOTES AND EXPERIENCES
Evaluación del impacto cientíﬁ co de las tesis
doctorales en Ciencias Pedagógicas mediante
indicadores cienciométricos
Emilio Ortiz Torres*, María Virginia González Guitián*,
Inés Infante Pérez*, Yoan Viamontes Garrido*
Resumen: Dentro de las ciencias sociales, las Ciencias Pedagógicas son las que aportan
mayor cantidad de tesis doctorales anualmente en Cuba, las cuales abordan problemas
cientíﬁ cos de alta pertinencia para la sociedad. Sin embargo, hasta ahora no han sido
evaluadas de manera sistemática sus contribuciones cientíﬁ cas una vez presentadas y
aprobadas oﬁ cialmente mediante herramientas previamente establecidas, por lo que
es pertinente la determinación de indicadores cienciométricos que puedan contribuir
a la determinación de su impacto cientíﬁ co. En investigaciones anteriores realizadas
por los autores de este trabajo, como parte de un proyecto investigativo, se ha cons-
tatado que dicha evaluación es insuﬁ ciente y desigual, pero sin llegar a determinar
indicadores especíﬁ cos. El objetivo de este artículo es evaluar el impacto cientíﬁ co de
las tesis doctorales en Ciencias Pedagógicas.
Palabras clave: impacto cientíﬁ co, evaluación de impacto, indicadores cienciométricos.
The evaluation of scientiﬁ c impact of doctoral theses in Pedagogical
Sciences through scientometric indicators
Abstract: The doctoral theses in Pedagogical Sciences have a great contribution within
social sciences in Cuba, their contents deal with very pertinent scientiﬁ c problems for
the Cuban society. However their scientiﬁ c contributions have not been systematically
evaluated by different speciﬁ c techniques up to now, for this reason the determination
of scientometric indicators is pertinent for the evaluation of their scientiﬁ c impact. The
objective of this article is the evaluation of scientiﬁ c impact of doctoral theses in
Pedagogical Sciences.
Keywords: scientiﬁ c impact, impact evaluation, scientometric indicators.
* Centro de Estudios sobre Ciencias de la Educación Superior (CECES). Universidad de Holguín
Oscar Lucero Moya, Cuba. Correo-e: eortiz@ict.uho.edu.cu, marivi@ict.uho.edu.cu, ines@ict.uho.edu.
cu, joan@ict.uho.edu.cu.
Recibido: 30-5-2009; 2.ª versión: 21-10-2009; 3.ª versión: 11-1-2010; aceptado: 28-2-2010.
279

EMILIO ORTIZ TORRES, MARÍA VIRGINIA GONZÁLEZ GUITIÁN, INÉS INFANTE PÉREZ, YOAN VIAMONTES GARRIDO
1. Introducción
La evaluación del impacto de la ciencia y la tecnología constituye una nece-
sidad estratégica para constatar el desarrollo de un país, de su política cientíﬁ ca
y de su gestión en función de la sociedad y de los seres humanos que conviven
en ella. Sobre su pertinencia e importancia se pronuncian varios autores que
investigan y publican sobre este aspecto (Bocco, 2002; Moñux y otros, 2005; Vi-
llaveces y otros, 2005).
Por la propia misión de las universidades es imprescindible que su producción
cientíﬁ ca sea objeto de reﬂ exión y evaluación debido a los imperativos del de-
sarrollo social, y sobre ello diferentes autores se han referido (Agudelo y otros,
2003; Cortes, 2007; García, 2006).
Dentro de las investigaciones cientíﬁ cas las tesis doctorales tienen un lugar
muy destacado en las universidades porque, además de constituir un requisito
para obtener un grado cientíﬁ co, aportan resultados relevantes. En Cuba el doc-
torado y la investigación están altamente integrados como programas y como
proyectos, ya que las tesis doctorales constituyen salidas importantes que fa-
vorecen el mayor y más rápido impacto de los resultados de investigación. La
tendencia es que los proyectos de investigación desborden ampliamente el doc-
torado y sean necesarios varios doctorados que aporten los resultados compro-
metidos (Llanio y otros, 2007).
El patrón de calidad de las tesis doctorales, asumido por la Comisión Nacio-
nal de Grados Cientíﬁ cos de la República de Cuba, se reﬁ ere al impacto social
de sus resultados, dentro del cual están los aportes cientíﬁ cos a la especialidad
en cuestión, las publicaciones de sus resultados parciales o ﬁ nales, el liderazgo
cientíﬁ co de sus egresados, así como la obtención de premios y reconocimientos.
Sin embargo, no ha constituido hasta el presente una práctica la evaluación re-
currente de su impacto como medio para constatar dicha calidad, aunque como
parte de las exigencias para la culminación e las tesis doctorales en Cuba se es-
tablecen legalmente determinados requisitos de publicación, ya sea en revistas
cientíﬁ cas como en eventos (Moñux y otros, 2005).
Dentro de las especialidades que integran las ciencias sociales, es en las cien-
cias pedagógicas donde más doctores se forman anualmente, pero hasta ahora
no han sido evaluadas sus contribuciones cientíﬁ cas una vez presentadas y apro-
badas oﬁ cialmente mediante herramientas cientíﬁ cas previamente establecidas,
por lo que es pertinente la determinación de indicadores cienciométricos que
puedan contribuir a la evaluación de su impacto cientíﬁ co.
En constataciones realizadas previamente se ha determinado que dicha eva-
luación es insuﬁ ciente y desigual (Ortiz y otros, 2007, 2008). Por tanto, el pro-
pósito de este artículo es evaluar el impacto cientíﬁ co de las tesis doctorales en
ciencias pedagógicas, sobre la base de los siguientes indicadores cienciométricos
previamente seleccionados:
280
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728

Evaluación del impacto cientíﬁ co de las tesis doctorales en Ciencias Pedagógicas...
1. Índice de citación: frecuencia con que es citada la tesis en otras tesis o
en otras investigaciones, monografías, libros o en artículos cientíﬁ cos pu-
blicados posteriormente a su defensa.
2. Índice de visibilidad: presencia de los resultados parciales o ﬁ nales de
la tesis doctorales publicados en diferentes revistas cientíﬁ cas y sitios
académicos de Internet y su fácil acceso.
3. Impacto económico-social: premios, reconocimientos, distinciones, ga-
lardones o recompensas otorgadas a los resultados parciales o ﬁ nales de
las tesis por parte de diferentes entidades, organismos u organizaciones
como constancia de su aporte cientíﬁ co y/o social.
4. Publicación en revistas arbitradas: artículos cientíﬁ cos derivados de
las tesis, ya sea de sus resultados parciales o totales que han sido publi-
cados en revistas que poseen un consejo editorial, el cual controla la
calidad de artículos.
5. Publicación en bases de datos de prestigio internacional: sitio espe-
cíﬁ co en que están publicados los resultados parciales o ﬁ nales de la
tesis, como por ejemplo en EBSCO, LATINDEX, la Biblioteca Virtual de
las Organización de Estados Iberoamericanos (OEI), entre otros.
6. Publicación de libros y monografías como continuidad de la tesis
doctoral: ya sea en base magnética o en papel, pero con la exigencia
de que posean ISBN.
7. Participación en eventos nacionales e internacionales: presentación
de resultados parciales o ﬁ nales de la tesis en Cuba o en el extranjero y
certiﬁ cación oﬁ cial de su presentación.
8. Resultados introducidos en la práctica social: la constancia de que el
aporte práctico de la tesis ha sido aplicado mediante la existencia de
avales por parte de introductores que lo certiﬁ quen.
2. Metodología
empleada
En la provincia de Holguín se ha venido produciendo un incremento soste-
nido de las investigaciones pedagógicas desde la década de los años ochenta
hasta la fecha, debido a la realización de proyectos de investigación muy perti-
nentes, cuyos salidas principales han sido la realización de tesis doctorales, con
el aporte de conocimientos cientíﬁ cos valiosos, así como el incremento de doc-
tores en dichas ciencias.
Para la aplicación de estos indicadores se utilizó la información obtenida de
varios centros de educación superior de esta provincia, así como de la delegación
territorial del Ministerio de Ciencia, Tecnología y Medio Ambiente.
Se utilizaron varios métodos y técnicas investigadoras, tales como la revisión
del contenido de las tesis, los premios otorgados al nivel provincial, la búsqueda
en Internet de la divulgación de los resultados cientíﬁ cos derivados de ellas, así
como entrevistas individuales a sus autores, tutores, jefes de proyectos y directivos.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728
281

EMILIO ORTIZ TORRES, MARÍA VIRGINIA GONZÁLEZ GUITIÁN, INÉS INFANTE PÉREZ, YOAN VIAMONTES GARRIDO
3. Resultados
Se lograron censar todas las tesis doctorales en ciencias pedagógicas realiza-
das en el territorio holguinero desde 1988 hasta el 2008, que fueron 107. De la
población total se muestrearon aleatoriamente 74 (69%) para valorar en su con-
tenido la divulgación de los resultados parciales durante su realización en revis-
tas y en eventos cientíﬁ cos nacionales e internacionales y los premios recibidos
al nivel provincial.
La tabla I reﬂ eja la frecuencia en que dichas tesis fueron realizadas en el
perío do de 1988 hasta el 2008, lo que evidencia un crecimiento sostenido sobre
todo a partir del año 2001, para un total de 107 tesis presentadas y aprobadas
oﬁ cialmente.
TABLA I
Comparación entre las tesis doctorales en ciencias pedagógicas
realizadas y premiadas en el período de 1988-2008
Períodos
Tesis defendidas
Tesis premiadas
1988-1995
3
3
1996-2000
5
2
2001-2005
43
6
2006-2008
56
2
Las causas se encuentran en las políticas cientíﬁ cas ﬁ niseculares para el de-
sarrollo signiﬁ cativo de las investigaciones cientíﬁ cas en los centros de educación
superior, con la determinación de prioridades de investigación y su consecuente
aprobación oﬁ cial y ﬁ nanciamiento a través de proyectos de investigación terri-
toriales, ramales y nacionales que incluían tesis doctorales asociadas, los cuales
comienzan a aportar resultados concretos a principios del siglo XXI.
La Academia de Ciencias de Cuba (ACC), desde el año 1990, instituyó oﬁ cial-
mente el premio que se otorga al nivel nacional y/o provincial a aquellas inves-
tigaciones que aportan resultados cientíﬁ cos novedosos y que hayan logrado
introducirlos en la práctica social mediante los avales oﬁ ciales emitidos por las
entidades introductoras, el cual es denominado Premio de la Academia de Cien-
cias de Cuba (Premio ACC).
La tabla I compara la frecuencia de realización de las tesis doctorales en cien-
cias pedagógicas con aquéllas a las que les fue otorgado el Premio ACC al nivel
provincial desde 1988 hasta 2008. Los datos contrastan debido a la pobre pre-
miación lograda a pesar del incremento sostenido en el número de tesis a partir
del período 2001-2005.
Para determinar las causas de esta desproporción se aplicaron entrevistas in-
dividuales a los autores y tutores, jefes de proyectos y directivos en las que se
282
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728

Evaluación del impacto cientíﬁ co de las tesis doctorales en Ciencias Pedagógicas...
les pedía que valoraran por qué no habían sido premiadas. Las respuestas evi-
denciaron los siguientes criterios:
• Para los tutores y autores no constituyó una preocupación la gestión de un
premio, ni durante la realización de las tesis, ni posteriormente.
• Los jefes de proyectos y directivos tampoco planiﬁ caron ni gestionaron los
posibles premios asociados a las tesis.
De lo que se inﬁ ere la inexistencia de una planiﬁ cación estratégica para la
gestión y obtención de dichos premios, así como tampoco la introducción opor-
tuna de los resultados cientíﬁ cos en la práctica social.
La tabla II resume el número de artículos cientíﬁ cos publicados con los re-
sultados parciales de las tesis en revistas arbitradas, reconocidas oﬁ cialmente, de
gran visibilidad y que forman parte de bases de datos de prestigio internacional.
Los datos muestran que el 78 % no publicó en ninguna de ellas, el 19 % uno o
dos y el 3 %, tres o cuatro.
TABLA II
Publicación de los resultados parciales en revistas arbitradas
y de visibilidad
Publicaciones revistas arbitradas
%
Ninguna
58
78
1-2
14
19
3-4
2
3
Para indagar en las causas de estos pobres resultados se aplicaron entrevis-
tas individuales a los autores y tutores de las tesis y se constató que en la ma-
yoría de los casos sus intereses estuvieron en la presentación de ponencias en
eventos cientíﬁ cos en la medida que iban obteniendo dichos resultados cientí-
ﬁ cos parcia les y no en la publicación de artículos cientíﬁ cos en este tipo de
revistas, por el nivel de exigencia que plantean los árbitros para su aceptación.
Los que sí lograron publicar fueron debido a decisiones individuales por la im-
portancia personal que le concedieron al proceso de realización de sus tesis
doctorales.
La tabla III expone la divulgación de resultados parciales como ponencias en
eventos cientíﬁ cos nacionales con determinado nivel de selectividad para lograr
la participación por la calidad de ellas. El 61 % de las tesis no dio lugar a ningu-
na, el 21 % una o dos y el 18 % tres o cuatro ponencias.
Las entrevistas individuales a tutores y autores reﬂ ejaron grandes diferencias
de criterios en cuanto a la prioridad atribuida a la presentación de sus resultados
parciales en este tipo de eventos, pues la mayoría no consideró pertinente la
confrontación pública ante la comunidad cientíﬁ ca de dichos resultados; solo una
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728
283

EMILIO ORTIZ TORRES, MARÍA VIRGINIA GONZÁLEZ GUITIÁN, INÉS INFANTE PÉREZ, YOAN VIAMONTES GARRIDO
TABLA III
Presentación de ponencias en eventos cientíﬁ cos nacionales
Ponencias eventos cientíﬁ cos nacionales
%
Ninguna
45
61
1-2
15
21
3-4
13
18
minoría lo valoró como necesario para el propio proceso de realización de las
tesis.
La tabla IV muestra la participación en eventos internacionales, cuya asisten-
cia es aun más selectiva y exigente. La gran mayoría (57 %) no asistió nunca, el
20 % en uno o dos, el 16 % en tres o cuatro y el 7 % en cinco o más.
TABLA IV
Presentación de ponencias en eventos cientíﬁ cos internacionales
Ponencias eventos cientíﬁ cos internacionales
%
Ninguna
42
57
1-2
15
20
3-4
12
16
5 o más
5
7
Las entrevistas individuales a autores y tutores reiteran la misma consideración
de los gráﬁ cos anteriores sobre la poca importancia que le conﬁ eren ambos para
divulgar sus aportes en dichos eventos.
Estos datos conﬁ rman la insuﬁ ciente gestión del impacto cientíﬁ co durante la
realización de las tesis doctorales en ciencias pedagógicas y posteriormente, de-
bido a su no consideración como prioritarios por parte de tutores y autores, a
pesar de la pertinencia y novedad de los conocimientos aportados.
4. Conclusiones
El análisis de los resultados obtenidos evidencia las diﬁ cultades existentes en
la gestión de la calidad durante el proceso de su realización de las tesis y su
divulgación por responsabilidad de directivos, tutores y autores.
Los datos de las entrevistas individuales aplicadas a ellos revelaron que, aun-
que la pertinencia de los temas de tesis es muy alta, no ha constituido para ellos
una prioridad la certiﬁ cación de la cientiﬁ cidad de los resultados por parte de la
284
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728

Evaluación del impacto cientíﬁ co de las tesis doctorales en Ciencias Pedagógicas...
comunidad cientíﬁ ca nacional e internacional, ni tampoco se ha erigido en una
exigencia oﬁ cial de inexcusable cumplimiento.
Por lo que se ha adquirido conciencia del problema por parte de todos los
implicados y, junto con la Comisión Nacional de Grados Cientíﬁ cos de la Repú-
blica de Cuba, se han tomando en el territorio holguinero y en el país varias
medidas para garantizar un producto ﬁ nal en correspondencia con el patrón de
calidad de las tesis doctorales en Cuba, lo que ha provocado que la situación
comience a revertirse a partir del año 2009.
La evaluación del impacto cientíﬁ co de las tesis doctorales en ciencias peda-
gógicas siempre constituirá una necesidad perentoria debido a su gran pertinen-
cia y a las demandas actuales para que contribuyan de manera real y efectiva al
perfeccionamiento en la formación de las nuevas generaciones en las condiciones
sociales actuales.
Al comparar estos resultados con trabajos previos realizados por otros autores
se constata que, si bien en el campo de las ciencias naturales y exactas no cons-
tituye una novedad la aplicación de indicadores cienciométricos en la evaluación
del impacto cientíﬁ co, en las ciencias sociales no constituye hasta ahora una tra-
dición hacerlo, por lo que este trabajo intenta aportar en este sentido y continuar
en esta senda promisoria.
Los indicadores propuestos, si bien son conocidos y utilizados en el plano
internacional, no han sido nunca utilizados de manera sistemática para evaluar
tesis en esta especialidad. Su eﬁ cacia radica en la información ﬁ dedigna que
ofrece para las evaluaciones correspondientes de impacto cientíﬁ co a todas las
tesis doctorales en estas ciencias.
Estos indicadores son factibles de aplicar de manera inmediata sin erogar
grandes recursos materiales o ﬁ nancieros, solamente a partir de la revisión indi-
vidual de cada tesis, de la entrevista individual a tutores y aspirantes, de la bús-
queda en Internet, en revistas y bases de datos. La utilización de estos indicado-
res de manera oportuna y sistemática debe formar parte del proceso permanente
de gestión de la calidad de las ciencias pedagógicas.
5. Referencias
bibliográﬁ cas
Agudelo, D.; Breton López, J.; Ortiz Recio, G.; Poveda Vera, J.; Teva, I.; Valor Segura, I.,
y Vico, C. (2003): Análisis de la productividad cientíﬁ ca de la Psicología Española a
través de las tesis doctorales. Psicothema, 15 (4), 595-609.
Bocco, G. (2002): Evaluación del impacto cientíﬁ co. GEOS, Unión Geofísica Mexicana,
A. C. La Jornada, 27 de marzo (supl.).
Cortes, D. (2007): Medir la producción cientíﬁ ca de los investigadores universitarios: la
biblio metría y sus límites. Revista de la Educación Superior, vol. XXXIV (142): 43-65,
Madrid.
García, J. L. (2006): Investigaciones y doctorados en la universidad cubana. Reﬂ exiones
en el nuevo siglo. En Colectivo de Autores. Gestión de ciencia y tecnología en las
universidades. La experiencia cubana. La Habana: Editorial Félix Varela.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728
285

EMILIO ORTIZ TORRES, MARÍA VIRGINIA GONZÁLEZ GUITIÁN, INÉS INFANTE PÉREZ, YOAN VIAMONTES GARRIDO
Llanio Martínez, G.; Peniche Cobas, C., y Rodríguez Pendás, M. (2007): Los caminos hacia
el doctorado en Cuba, p. 30. La Habana: Ministerio de Educación Superior.
Moñux Chércoles, D.; Miranda Escolar, B.; Mendizábal Aleixandre, G., y Gómez González,
F. J. (2005): Condicionantes políticos y problemas metodológicos en la evaluación de
impacto social de las políticas de I+D e innovación. Revista CTS, v. 2 (3), 173-200.
Ortiz Torres, E.; Infante Pérez, I.; González Guitián, M. V., y Viamontes Garrido, Y. (2007):
Impacto de las tesis doctorales en ciencias pedagógicas en el territorio holguinero.
Revista Electrónica Pedagogía Universitaria, v. XII (5). La Habana: Ministerio de Edu-
cación Superior.
Ortiz Torres, E.; Infante Pérez, I.; González Guitián, M. V., y Viamontes Garrido, Y. (2008):
Impacto de las tesis doctorales en ciencias sociales en el territorio holguinero. Memo-
rias de la Convención Internacional Universidad 2008, La Habana.
Batista Rodríguez, A. (2005): Impacto social de la ciencia y la tecnología en Cuba: una
experiencia de medición a nivel macro. Revista CTS, v. 2 (4): 147-171, Madrid.
Villaveces, J. L.; Antonio Orozco, L.; Lucía Olaya, D.; Chavarro D., y Suárez, E. (2005):
¿Cómo medir el impacto de las políticas de ciencia y tecnología? Revista CTS, v. 2 (4):
125-146, Madrid.
286
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 279-286, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.728

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 287-297, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.741
La participación española en los programas
europeos: análisis estructural del área de salud
del 6.º Programa Marco
José Luis Ortega*, Isidro F. Aguillo**
Resumen: El objetivo de este trabajo es describir la participación española en el área
temática de salud del 6.º Programa Marco. Para ello se pretende realizar un análisis
estructural de la red de colaboraciones entre las diversas entidades que participan en
tales proyectos además de una descripción al nivel regional, sectorial e individual del
grado de participación y retorno obtenido. Los resultados muestran que la participación
española se apoya en el sector administración, de ámbito estatal, concretamente en el
CSIC, el CNIO, los hospitales y las universidades. Se concluye que España presenta
una posición periférica en el área temática de salud, cuya participación se sustenta
básicamente en el CSIC.
Palabras clave: Cienciometría, análisis de redes sociales, Programas Marco, colaboración
cientíﬁ ca.
Spanish participation in EU research programmes: structural analysis
of the health-related thematic area of the 6th Framework Programme
Abstract: The aim of this work is to describe the participation of Spanish institutions in the
6th Framework Programme’s thematic area on health. It presents a structural analysis
of the collaboration network among the different organizations that participate in these
projects, as well as a description of the degree of participation and of the results obtained,
on a regional, sectorial, and individual basis. The results show that Spanish participation
lies primarily with the governmental sector, especially on a national level, with the
principal involvement concentrated in CSIC, CNIO, hospitals, and universities. The
article concludes that Spain is on the periphery of the health-related thematic area, with
participation largely undertaken by CSIC.
Keywords: Scientometrics, social network analysis, Framework Programmes, scientiﬁ c
collaboration.
* Vicepresidencia de Investigación Cientíﬁ ca y Técnica, CSIC, Madrid. Spain. Correo-e-: jortega@
orgc.csic.es.
** Laboratorio de Cibermetría, CCHS-CSIC, Madrid, España. Correo-e: isidro.aguillo@cchs.csic.es.
Recibido: 28-7-09; aceptado: 10-12.09.
287

JOSÉ LUIS ORTEGA, ISIDRO F. AGUILLO
1. Introducción
El avance experimentado en los últimos años en materia de computación
ha permitido el estudio en profundidad de las relaciones estructurales en siste-
mas complejos como la Web (Barabasi y Albert, 1999), la difusión de enferme-
dades (Pastor-Satorras y Vespignani, 2001) y las cadenas tróﬁ cas (Polis y Strong,
1996). La actividad cientíﬁ ca también está caracterizada como un sistema com-
plejo en el que diversos agentes (empresas, administración, universidades, etc.)
interactúan en un entorno sujeto a múltiples variables. El uso de análisis estruc-
turales en este ámbito ha permitido estudiar los fenómenos de colaboración
cientíﬁ ca en las publicaciones cientíﬁ cas (Newan, 2001; Barabasi y otros, 2002;
Wagner and Leydesdorff, 2005), redes de citación entre artículos (Small, 1999)
y revistas (Leydesdorff, 2004) o las relaciones entre patentes (Valverde y otros,
2007).
El sistema de I+D europeo se apoya en los Programas Marco (PM) para po-
tenciar la investigación cientíﬁ ca en el marco de la Unión, además de ser un
vehículo para la cohesión del Espacio Europeo de Investigación. Estos programas
asumen la colaboración como una característica fundamental en la actividad cien-
tíﬁ ca europea en la que los proyectos deben desarrollarse por diversas organiza-
ciones pertenecientes a diferentes países y sectores. Este entorno interrelaciona-
do implica una gran oportunidad para entender como se establecen estas
relaciones, qué actores participan en la red y cual es su rol, y como opera esta
red en la mejora del sistema de I+D de la Unión Europea.
Trabajos anteriores han analizado las redes de colaboración en el marco de
los programas europeos de investigación. Breschi y Cusmano (2004) estudiaron
las alianzas estratégicas (joint ventures) del 3.º y 4.º Programa Marco, observando
un fenómeno de atracción preferencial entre ambas convocatorias. Barber y otros
(2006) estudiaron las propiedades estructurales desde el 2.º hasta el 5.º Programa
Marco, observando propiedades de libre escala, distribuciones potenciales (power
laws) y alto grado de agrupamiento. Roediger-Schulga y Dachs (2006) encontra-
ron diferencias signiﬁ cativas en dos áreas temáticas del 6º Programa Marco. Estos
detectaron que mientras en el área de telecomunicaciones participaban más so-
cios industriales y el presupuesto era elevado, en el de agricultura estaban más
presentes la investigación pública y contaba con menos presupuesto. Roediger-
Schulga y Barber (2007), utilizando los mismos datos, visualizaron el 5.º Progra-
ma Marco, mostrando que el núcleo central de la red estaba ocupado por gran-
des organizaciones cientíﬁ cas. Finalmente, cabe destacar los trabajos de Gusmao
(2000; 2001) donde se analiza la participación de los países de la Unión, desta-
cando sus características particulares.
En España existen diversos trabajos que, aunque no han analizado los pro-
yectos de investigación desde un punto de vista estructural, si han descrito pa-
trones de colaboración. En este caso cabe destacar el trabajo de Fernández y
otros (1992) sobre los proyectos realizados entre el Consejo Superior de Investi-
gaciones Cientíﬁ cas (CSIC) y entidades latinoamericanas. En Finlandia destaca el
288
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741

La participación española en los programas europeos: análisis estructural del área de salud...
estudio sobre la participación de este país en el 5.º Programa marco (Uotila y
otros, 2004) junto a los estudios en la República Checa (Albrecht y Vanˇ
eˇcek,
2008), en Suecia (Arnold y otros, 2008).
2. Objetivos
El objetivo de este trabajo es describir la participación española en el área
temática de salud del 6.º Programa Marco (6PM). Para ello se pretende realizar
un análisis estructural de la red de colaboraciones entre las diversas entidades
que participan en tales proyectos. Se busca conocer qué características funda-
mentales presenta la red española, cuáles son sus principales agentes, cuál es el
papel de los diferentes tipos de organizaciones y cuál es su contexto en el ám-
bito internacional.
3. Metodología
Se modelizó una red de 2.132 organizaciones participantes en 601 proyectos
de investigación pertenecientes al área temática de «Ciencias de la vida, Genó-
mica y Biotecnología para la Salud» del 6PM. Estos datos se obtuvieron a través
del Centro de Desarrollo Tecnológico Industrial (CDTI) en diciembre de 2007.
Esta red representa las relaciones de colaboración entre distintas instituciones a
través de diferentes proyectos europeos. A partir de esta red se detectaron las
instituciones pertenecientes a España, obteniéndose 106 instituciones de las cua-
les 83 estaban conectadas entre sí.
Para la visualización de la red se utilizó el programa Pajek 1.02 (Nooy y otros,
2005). El algoritmo de Kamada-Kawai (1991) fue usado para energizar dicha red.
Para el análisis estructural y la extracción de indicadores se utilizó Ucinet 6 (Bor-
gatti y otros, 2002). Los siguientes indicadores fueron usados:
• Grado de centralidad (k): mide el número de líneas incidentes a un nodo
(Freeman, 1979). Este indicador puede ser normalizado por el número total
de nodos en la red. El Grado de centralidad permite detectar organizaciones
que tienen un alto grado de colaboración con diferentes instituciones, mos-
trando una alta actividad en los programas de investigación.
• Grado de intermediación (Freeman, 1980): mide la capacidad de un nodo
de mantener conectados aquellos nodos que no están conectados directa-
mente con otros. Su normalización es calculada como el porcentaje sobre
el número total de nodos en la red. Desde un punto de vista cienciome-
trico, esta medida nos permite detectar concentradores (hubs) u organiza-
ciones que atraen diferentes socios a los programas europeos de investi-
gación.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741
289

JOSÉ LUIS ORTEGA, ISIDRO F. AGUILLO
4. Resultados
4.1. Regiones
La tabla I muestra la distribución de organismos que participan en el área
temática de salud del 6PM por Comunidades Autónomas. Las regiones que más
organizaciones aportan son Cataluña (30,19 %), Madrid (17,92 %) y Andalucía
(10,38 %). Uno de los problemas de los proyectos europeos, es que estos son
ﬁ rmados por el rector o presidente de un organismo de investigación, en vez de
por el propio investigador. Esto ocasiona que los datos no estén desagregados
al nivel de instituto o centro de investigación. Este hecho es especialmente sig-
niﬁ cativo cuando tratamos con instituciones de la administración central, como
los Ministerios y el CSIC, cuya actividad repercute a todo el país. Por esta razón,
en la tabla I se ha creado una entrada denominada «Estatal» que recoge a estos
organismos. La tabla II lista los nueve organismos pertenecientes a esta categoría.
Destaca la situación de Cataluña, la cual casi duplica el número de institucio-
nes de Madrid y se aleja considerablemente de las anteriores. Si observamos esta
misma distribución según el porcentaje de subvención que recibe cada región,
TABLA I
Distribución de Organizaciones por Comunidades Autónomas
Media
Media
%
Media de
Regiones
Org.
% Org.
de socios
de socios
Subvención
proyectos
españoles
internacionales
Cataluña
32
30,19
1,23
3,38
3,46
47,31
Madrid
19
17,92
0,41
1,89
1,82
28,37
Andalucía
11
10,38
0,14
1,27
1,30
17,27
Estatal
9
8,49
1,26
12,22
11,56
133,67
País Vasco
8
7,55
0,16
2,00
1,88
29,63
Valencia
8
7,55
0,36
3,38
3,00
52,50
Asturias
4
3,77
0,05
1,75
1,75
30,00
Castilla y León
4
3,77
0,07
2,67
2,67
63,33
Navarra
4
3,77
0,14
2,25
2,25
35,50
Galicia
3
2,83
0,10
2,00
2,00
19,00
Aragón
1
0,94
0,03
2,00
46,00
Baleares
1
0,94
0,01
1
2
38
Cantabria
1
0,94
0,01
1,00
7,00
Murcia
1
0,94
0,00
1,00
5,00
24,00
TOTAL
106
100
3,97
3,27
4,02
44,67
290
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741

La participación española en los programas europeos: análisis estructural del área de salud...
TABLA II
Organismos Estatales
Centro de Investigaciones Energéticas, Medioambientales y Tecnológicas.
Centro Nacional de Trasplantes y Medicina Regenerativa.
Consejo Superior de Investigaciones Cientíﬁ cas.
Fundación Centro Nacional de Investigaciones Oncológicas Carlos III.
Instituto de Salud Carlos III.
Instituto Nacional de Investigación y Tecnología Agraria y Alimentaría.
Instituto Nacional de Salud.
Instituto Nacional de Técnica Aeroespacial.
Ministerio de Sanidad y Consumo.
son las instituciones estatales las que mayor porcentaje de subvención reciben
(1,26 %), seguidas muy de cerca por Cataluña (1,23 %) y Madrid (0,41 %). Sorpren-
de que en el conjunto de todo el país apenas se llegue a alcanzar el 4 % del
total de fondos del área temática de salud del 6PM. Este patrón es similar en la
distribución de la media de proyectos por cada región, siendo las organizaciones
estatales (12,22) las que más participan en proyectos junto a Cataluña (3,38) y
Valencia (3,38). Al igual que en los proyectos, los organismos estatales son los
que poseen un promedio más elevado de socios nacionales (11,56) e internacio-
nales (133,67). A continuación, la región con más socios nacionales es Murcia (5)
—este valor debe considerarse con cautela ya que esta región tan sólo aporta
una única organización— y Cataluña (3,46). Con respecto a los socios interna-
cionales, son Castilla y León (63,33) y Valencia (52,5) las regiones que más socios
foráneos tienen. Un hecho interesante es señalar el escaso promedio de socios
nacionales (4,02) que presentan las entidades españolas en contraposición a la
cantidad de socios internacionales (44,67) con los que colaboran.
4.2. Tipo de organizaciones
La tabla III muestra la distribución de organizaciones según su tipo. Esta cla-
siﬁ cación se realizó según la clasiﬁ cación institucional por sectores del Manual
de Frascati (OEDC, 2003). Las organizaciones españolas que más predominan en
el área temática de salud del 6PM son las empresas (34,91 %), universidades
(32,08 %) y las administraciones públicas (25,47 %). Sin embargo, si nos atenemos
al porcentaje de subvención que reciben, son los organismos públicos (1,85 %)
los que mayor porcentaje obtienen, seguido de las universidades (1,33 %) y las
empresas (0,69 %). En cuanto a la media de proyectos en que participan son
las administraciones las que más participan (6,15), junto a las universidades (3,12)
y las empresas (2,78). Si observamos el promedio de socios, siguen siendo las
administraciones las que mayor número de socios poseen tanto a nivel nacional
(6,21) como internacional (84,15).
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741
291

JOSÉ LUIS ORTEGA, ISIDRO F. AGUILLO
TABLA III
Distribución por tipo de organización
Media
Media
%
Media de
Tipo de organizaciones
Org.
% Org.
de socios
de socios
Subvención
proyectos
nacionales
internacionales
Administración Pública
27
25,47
1,85
6, 15
6,21
84,15
Universidades
34
32,08
1,33
3,12
3,75
45,18
Empresas
37
34,91
0,69
1,78
2,77
21,00
Organizaciones sin ﬁ -
nes de lucro
8
7,55
0,11
1,13
2,40
18,75
Total
106
100
3,97
3,27
4,02
44,67
4.3. Organizaciones
La tabla IV muestra el listado de las 10 primeras organizaciones por el por-
centaje de subvención. Este listado está encabezado por el Consejo Superior de
Investigaciones Cientíﬁ cas (CSIC) con 0,75 %, seguido por la Universidad Autó-
noma de Barcelona con un 0,24 % y el Centro Nacional de Investigaciones On-
cológicas (CNIO) con también 0,24 %. Según el número de proyectos en que
participan, es el CSIC el que interviene en más proyectos (63) junto al CNIO (16)
TABLA IV
Distribución de Organizaciones ordenadas por el porcentaje de subvención
%
Coordi-
Socios Socios
Organización
Proyectos
Subvención
nador
nac.
inter.
Consejo Superior de Investigaciones Cien-
tíﬁ cas
0,75
6
63
41
444
Universidad Autónoma de Barcelona
0,24
2
14
9
160
Centro Nacional de Investigaciones Onco-
lógicas
0,24
16
6
171
Universidad de Valencia
0,16
2
10
17
154
Hospital Clínico y Provincial de Barcelona
0,13
15
13
278
Institut d’Investigacions Biomèdiques Au-
gust Pi i Sunyer
0,13
3
9
5
107
Universidad Pompeu Fabra
0,12
1
9
5
79
Universidad Autónoma de Madrid
0,12
8
4
109
Fundació Centre de Regulació Genomica
0,11
4
1
50
Instituto Nacional de Salud
0,11
13
13
257
292
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741

La participación española en los programas europeos: análisis estructural del área de salud...
y al Hospital Clínico y Provincial de Barcelona (15). Si nos ﬁ jamos en el número
de proyectos que coordinan, considerándolo como un indicador de prestigio,
vuelve a ser el CSIC el que más proyectos coordina (6), seguido por el Institut
d’Investigacions Biomèdiques August Pi i Sunyer (3). Ateniéndonos al número de
socios, el CSIC es el organismo que más socios posee tanto nacionales (41) como
internacionales (444), le sigue la Universidad de Valencia con respecto a socios
nacionales (17) y el Hospital Clínico y Provincial de Barcelona a nivel interna-
cional (278).
4.4. Análisis
estructural
La ﬁ gura 1 muestra la red de los 83 socios participantes en los proyectos de
salud del 6PM. El tamaño de cada nodo muestra el porcentaje de ﬁ nanciación
que cada organismo ha obtenido de su participación en el programa. El grosor
de cada arco muestra el número de proyectos conjuntos en que participan dos
organizaciones. La forma corresponde al tipo de organización, siendo el triangu-
lo para la administración pública, el circulo para las universidades, cuadrado para
las empresas y el rombo para las instituciones sin ánimo de lucro. Cada organi-
zación fue clasiﬁ cada según los criterios del Manual de Frascati (OEDC, 2003).
Lo primero que podemos ver es la posición central del CSIC (k = 41), que
como hemos visto en la tabla IV es el organismo que más socios posee, además
de ser el que más subvención recibe. Junto a éste está la Universidad de Valen-
cia (k = 17) y el Hospital Clínico y Provincial de Barcelona (k = 13) como los
organismos que más colaboran en la red nacional. En el gráﬁ co se puede apre-
ciar que no existe agrupación por criterios regionales, únicamente se aprecia un
grupo de instituciones catalanas en la parte superior izquierda y una triada ais-
lada de instituciones vascas también en el margen superior izquierdo. La ﬁ gura
también muestra que los centros de la administración poseen de media mayor
centralidad (k = 5,85) que el resto de tipo de instituciones, mientras que las Or-
ganizaciones sin ánimo de lucro son las que menor centralidad media poseen
(k = 1,12, seguidas por las Empresas (k = 1,63). Si observamos el grado de in-
termediación, entendida como el grado de atracción que poseen determinadas
organizaciones para atraer socios a la red, vuelven a ser el CSIC (0,34) y la Uni-
versidad de Valencia (0,1) los organismos que más organizaciones atraen, segui-
dos esta vez por el Instituto Nacional de Salud (0,06).
5. Conclusiones y discusión
El análisis de la participación española en el área temática de salud del 6PM
nos ha permitido mostrar un retrato de los principales agentes en la investigación
biomédica en España. Pensamos que esta muestra constituye la élite de la inves-
tigación en salud ya que el bajo grado de éxito (18 %) en las solicitudes hace
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741
293

JOSÉ LUIS ORTEGA, ISIDRO F. AGUILLO
ea temática de salud del 6PM
FIGURA 1
ticipantes en el ár
anizaciones españolas par
g
Red de or
294
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741

La participación española en los programas europeos: análisis estructural del área de salud...
que la participación en los programas marco sea considerado como un indicador
de excelencia cientíﬁ ca en cada país (Comisión Europea, 2008). Estudios previos
(Ortega y Aguillo, 2010, en prensa) han mostrado que a pesar de que España es
el 6.º país por el número de instituciones participantes, es la 9.ª por la cantidad
de retorno que obtiene por su participación. Esto indica que la participación de
las organizaciones españolas no obtiene el mismo retorno en proporción a su
participación. Otro indicador, el porcentaje de participación/liderazgo de proyec-
tos sitúa a España en el puesto 13.º, lo que conﬁ rma la posición periférica de la
investigación española en los Programas Marco europeos, al menos en el área
temática de salud.
El análisis interno nos muestra que las principales regiones por participación
son Cataluña, Madrid y Andalucía, aunque por porcentaje de subvención es Va-
lencia la tercera comunidad autónoma. Hemos decidido escindir en la categoría
estatal a las organizaciones cuyo ámbito de actuación no se limita a una única
región como son organismos de la administración central y el CSIC. Creemos que
esta categoría evita sobredimensionar la región de Madrid cuando contabilizamos
la I+D realizada por organismos de ámbito estatal cuya sede esta en dicha co-
munidad. Esta categoría estatal es la que mayor porcentaje de subvención recibe
por lo que podemos concluir que estos centros son las entidades más importan-
tes en esta área temática. Estos resultado contrastan con el estudio bibliométrico
de Méndez-Vásquez y otros (2008), donde surge Madrid como la región más
productiva seguida por Cataluña y Andalucía, debido a esta concentración de
organismos estatales en la comunidad de Madrid.
En cuanto al tipo de organización, en el caso de España se aprecia una alta
presencia del sector privado (34,91 %), aunque el grado de participación es bas-
tante bajo (1,78 proyectos por organización). Sin embargo, el sector de la admi-
nistración es el que mayor retorno obtiene (1,85 %) además de mayor participa-
ción (6,15 proyectos por organización) pese a tener una presencia discreta
(25,47 %). La alta presencia de empresas puede deberse al incremento del sector
biotecnológico (Gravalos y otros, 2002). Sin embargo, el hecho de que la admi-
nistración obtenga la mayor proporción de subvención se debe a que ésta es la
que más participa de media en más proyectos, por lo que el retorno es mayor.
Podemos concluir que mientras el sector Empresas es el que más organizaciones
aporta, es el sector Administración el que más participa en distintos proyectos.
Ortega y Aguillo (2008) ya percibieron esta situación a nivel europeo.
Los principales actores españoles por el grado de subvención son el CSIC, la
Universidad Autónoma de Barcelona y el Centro Nacional de Investigaciones
Oncológicas, mientras que por participación se incluyen también el Hospital Clí-
nico y Provincial de Barcelona y el Instituto Nacional de Salud. El análisis estruc-
tural ha conﬁ rmado esta posición ya que estas mismas instituciones son las que
mayor centralidad presentan. Análisis bibliométricos también coinciden en iden-
tiﬁ carlas como las más productivas (Méndez-Vásquez y otros, 2008). Esto nos
permite aﬁ rmar que estos centros son el eje en que descansa la investigación
biomédica española.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741
295

JOSÉ LUIS ORTEGA, ISIDRO F. AGUILLO
6. Agradecimientos
Agradecemos al Departamento de Programa Marco de I+D del Centro para el
Desarrollo Tecnológico Industrial (CDTI) por su apoyo y suministro de los datos
relativos al área temática de salud del 6.º Programa Marco.
7. Bibliografía
Albrecht, V., y Vanˇ
eˇcek, J. (2008): Assessment of Participation of the Czech Republic in the
EU Framework Programmes. Praga: Technology Centre of the Academy of Sciences
of the Czech Republic.
Arnold, E.; Astrom, T.; Boekholt, P.; Brown, N.; Good, B.; Holmberg, R.; Meijer, I., y Van
der Veen, G. (2008): Impact of the Framework Programme in Sweden. Estocolmo:
VINNOVA.
Barabasi, A. L., y Albert, R. (1999): Emergence of Scaling in Random Networks. Science,
vol. 286(5439), 509-512.
Barabasi, A.; Jeong, H.; Neda, Z.; Ravasz, E.; Schubert, A., y Vicsek, T. (2002): Evolution
of the social network of scientiﬁ c collaborations. Physica A, vol. 311 (3-4), 590-614.
Barber, M. J.; Krueger, A.; Krueger, T., y Roediger-Schulga, T. (2006): The Network of
European Research and Development Projects. Physical Review E (Statistical, Nonli-
near, and Soft Matter Physics), 73 (3), 036132.
Borgatti, S. P.; Everett, M. G., y Freeman, L. C. (2002): Ucinet for Windows: Software for
Social Network Analysis. Harvard, MA: Analytic Technologies.
Breschi, S., y Cusmano, L. (2004): Unveiling the texture of a European Research Area:
Emergence of oligarchic networks under the EU Framework Programmes. Internatio-
nal Journal of Technology Management, vol. 27 (8), 747-72.
Cabo, P. G. (1999): Industrial participation and knowledge transfer in joint R&D projects.
International Journal of Technology Management, vol. 18 (3-4), 188-206.
Clavería, L. E.; Guallar, E.; Camí, J.; Conde, J.; Pastor, R.; Ricoy, J. R.; Rodríguez-Farré, E.;
Ruiz-Palomo, F., y Muñoz, E. (2000): Does Peer Review Predict the Performance of
Research Projects in Health Sciences? Scientometrics, vol. 47 (1), 11-23.
Comisión Europea (2008): FP6 Final Review: Subscription, Implementation, Participation.
Brussels: Research Directorate-General.
Fernández, M. T.; Agis, A.; Martín, A.; Cabrero, A., y Gómez, I. (1992): Cooperative re-
search projects between the Spanish National Research Council and Latin-American
institutions. Scientometrics, vol. 23 (1), 137-148.
Freeman, L. C. (1979): Centrality in networks: I. conceptual clariﬁ cation. Social Networks,
vol. 1, 215-239.
Freeman, L. C. (1980): The gatekeeper, pair-dependency, and structural centrality. Quali-
ty and Quantity, vol. 14, 585-592.
Gravalos, E.; Garcia, A., y Barnes, N. (2002): Policy inﬂ uences on innovation strategies of
small and medium enterprises in the agrochemical, seed and plant biotechnology
sectors. Science and Public Policy, vol. 29 (4), 277-285 (9).
296
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741

La participación española en los programas europeos: análisis estructural del área de salud...
Gusmao, R. (2000): Developing and Using Indicators of Multilateral S&T Cooperation for
Policy Making: The Experience from European Research Programmes. Scientometrics,
vol. 47(3), 493-514
Gusmao, R. (2001): Research networks as a means of European integration. Technology
in Society, vol. 23, 383-393.
Kamada, T., y Kawai, S. (1991): A general framework for visualizing abstract objects and
relations. ACM Transactions on Graphics, vol. 10 (10), 1-29.
Kruskal, W. H., y Wallis, W. A. (1952): Use of ranks in one-criterion variance analysis.
Journal of the American Statistical Association, vol. 47 (260), 583-621.
Lepori, B.; Van den Besselaar, P.; Dinges, M.; Van der Meulen, B.; Poti, B.; Reale, E.; Sliper-
saeter, S., y Theves, J. (2007): Indicators for comparative analysis of public project fun-
ding: concepts, implementation and evaluation. Research Evaluation, vol. 16 (4), 243-255.
Leydesdorff, L. (2004): Clusters and maps of science journals based on bi-connected gra-
phs in Journal Citation Reports. Journal of Documentation, vol. 60 (4), 371-427.
Méndez-Vásquez, R. I.; Suñén-Pinyol, E.; Cervelló, R., y Camí, J. (2008): Mapa bilbiomé-
trico de España 1996-2004: biomedicina y ciencias de la salud. Medicina Clínica, vol.
130 (7), 246-253.
Newman, M. E. (2001): Scientiﬁ c collaboration networks. I. Network construction and
fundamental results. Physical Review E, vol. 64 (1), 016131.
Nooy, W. de; Mrvar, A., y Batagelj, V. (2005): Exploratory Social Network Analysis with
Pajek. Cambridge, UK: Cambridge University Press.
OECD (2003): Frascati Manual 2002. Paris: OECD Publishing.
Ortega, J. L., y Aguillo, I. F. (2008): Network collaboration in Life sciences 6th Framework
Programme: a visual approach. In: 10th International Conference on Science and Te-
chnology Indicators, Vienna.
Ortega, J. L., y Aguillo, I. F. (2008): Network collaboration in the 6th Framework Progra-
mmes: country performance in the health program. Scientometrics (en prensa).
Pastor-Satorras, R., y Vespigniani, A. (2001): Epidemic Spreading in Scale-Free Networks.
Physical Review Letters, vol. 86 (14), 3200-3203.
Polis, G. A., y Strong, D. R. (1996): Food Web Complexity and Community Dynamics.
The American Naturalist, vol. 147 (5), 813-846.
Roediger-Schulga, T., y Barber, M. J. (2007): R&D collaboration networks in the European
Framework Programmes: Data processing, network construction and selected results.
Maastricht: United Nation University.
Roediger-Schluga, T., y Dachs, B. (2006): Does technology affect network structure? A
quantitative analysis of collaborative research projects in two speciﬁ c EU programmes.
Maastricht: United Nation University.
Small, H. (1999): Visualizing science by citation mapping. Journal of the American Socie-
ty for Information Science, vol. 50 (9), 799-813.
Uotila, M.; Kutinlahti, P.; Kuitunen, S.; Loikkanen, T. (2004): Finnish Participation in the
EU Fifth Framework Programme and Beyond. Helsinki: Finnish Secretariat for EU R&D,
Valverde, S.; Solé, R. V.; Bedau, M. A., y Packard, N. (2007): Topology and evolution of
technology innovation networks. Physical Review E, vol. 76 (5), 056118.
Wagner, C. S., y Leydesdorff, L. (2005). Network structure, self-organization, and the growth
of international collaboration in science. Research Policy, vol. 34 (10), 1608-1618.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 287-297, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.741
297

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 298-309, 2010
ISSN: 0210-0614. doi: 10.3989/redc.2010.2.732
Presencia internacional de los estudios sobre literatura
catalana en el A&HCI
Jordi Ardanuy*, LLuis Quintana**, Cristobal Urbano*
Resumen: Caracterización internacional desde el punto de vista bibliométrico y temático
de los estudios sobre literatura catalana que resultan visibles a través del Arts & Hu-
manities Citation Index. El estudio se ha realizado fundamentalmente recuperando
registros en esta base de datos a partir de una lista de autores literarios notables. Se
constata la escasa cobertura que tienen los estudios de literatura catalana en dicha
base de datos, lo que sugiere una escasa visibilidad internacional de la disciplina, así
como un predominio de artículos en español. Además se conﬁ rman algunos resultados
de trabajos anteriores sobre estudiosos (y su grado de coautoría) y sobre obras y épo-
cas más estudiadas.
Palabras clave: bibliometria, humanidades, literatura catalana, A&HCI, visibilidad interna-
cional.
International presence of studies on Catalan literature in the Arts &
Humanities Citation Index
Abstract: This paper shows various thematic and bibliometric characteristics of studies on
Catalan literature, visible internationally through the Arts & Humanities Citation Index.
The study was performed primarily by retrieving records from this database, based on
a list of major literary authors. The results reveal a low coverage of Catalan literature
studies, suggesting poor international visibility for this discipline, as well as a
preponderance of articles in Spanish. Furthermore some results from prior studies are
conﬁ rmed, concerning type of authorship (and degree of co-authorship) and the most
analyzed periods and works.
Keywords: bibliometrics, humanities, Catalan literature, A&HCI.
1. Introducción
Arts & Humanities Citation Index (A&HCI) es una base de datos de citas de
Thomson Scientiﬁ c (antiguamente ISI), utilizada internacionalmente para obtener
* Departament de Biblioteconomia i Documentació. Universitat de Barcelona. Catalonia (Spain).
Correo-e: jordi_ardanuy@ub.edu.
** Departament de Filologia Catalana. Universitat Autònoma de Barcelona. Catalonia (Spain).
Correo-e: lluis.quintana@uab.es.
*** Departament de Biblioteconomia i Documentació. Universitat de Barcelona. Catalonia (Spain).
Correo-e: urbano@ub.edu.
Recibido: 15-6-09; aceptado: 19-11-09.
298

Presencia internacional de los estudios sobre literatura catalana en el A&HCI
referencias de artículos sobre arte y humanidades, que está en funcionamiento
desde 1977 e integrada desde 2005 en el Web of Knowledge (WoK). Las bases
de datos del Web of Knowledge ha sido tradicionalmente la principal plataforma
para encontrar rápidamente información, analizarla y compartirla tanto en las
ciencias, las ciencias sociales como las artes y humanidades y, aunque existen
otras bases de datos susceptibles de ser analizadas como ISOC o DIALNET, éstas
tienen una proyección más bien regional y Scopus una escasa cobertura en hu-
manidades (Jacsó, 2009).
Sin embargo, pese a la vocación internacional de WoK, varios estudios han
demostrado sus limitaciones en distintas áreas de las humanidades, debido a la
importancia de las monografías en dichas áreas y al hecho de que la producción
normalmente se hace en lenguas distintas al inglés (Luukkonen, 1991; Nederhof
y Zwaan, 1991; Sanz y Martin, 1997; Moed, 2005; Nederhof, 2006; Fernández Iz-
quierdo y otros, 2007; Ardanuy, 2008a). Estas limitaciones han ocasionado que los
estudios documentales y bibliométricos de análisis de citas en humanidades sean
escasos si se comparan con los de las ciencias experimentales (Ardanuy, 2009a).
Pese a las limitaciones comentadas, es posible mostrar ciertas características
bibliométricas y temáticas de los estudios sobre literatura catalana y su nivel de
visibilidad internacional a partir de una selección de registros en el A&HCI, como
mostramos en este artículo. En el presente trabajo nos referimos como literatura
catalana únicamente a la realizada en catalán, independientemente del lugar de
producción.
2. Metodología
El primer hecho que se constata al revisar las principales publicaciones espe-
cializadas en lengua y literatura catalanas y que constituyen el núcleo de la dis-
ciplina —esencialmente escritas en catalán— Els Marges, Caplletra, Estudis de
Llengua i literatura catalanes, Estudis Romànics y Llengua & literatura es que
ninguna de ellas está indexada en las bases de datos de Thomson Scientiﬁ c (Ar-
danuy, 2008b). Descartada, pues, la posibilidad de encontrar artículos de estas
fuentes, se procedió a buscar artículos sobre literatura catalana en el WoK publi-
cados en otras revistas. La ecuación de búsquedas permite hacerlo por los si-
guientes campos: Topic (search topic terms within the ﬁ elds Title, Abstract, Author
y Keywords), Title, Author, Group Author, Publication Name, Year Published,
Address, Language y Document Type. Además, de los operadores lógicos (AND,
OR, NOT y SAME) y de los caracteres comodín (*, $, ?) la búsqueda también
puede limitarse por años.
Para recuperar los registros sobre literatura catalana se recurrió a una doble
estrategia. Por una parte, se recuperaron documentos que incluyan en el campo
Topic «Catalan Literature», «Catalan SAME Literature» o también «Catalan AND Li-
terature». Por otro lado, se realizó una búsqueda paralela a partir de una lista de
autores literarios notables de la literatura catalana utilizados como tema (Topic).
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732
299

JORDI ARDANUY, LLUIS QUINTANA, CRISTÓBAL URBANO
Una diﬁ cultad añadida en este último caso era la ausencia de un canon inape-
lable que incluyera a los autores de la literatura catalana más importantes. Desde
un punto de vista meramente práctico se optó por seleccionar aquellos autores
que superasen las 100 líneas de entrada en el Nou diccionari de la Literatura
Catalana (NDLC) (Bou, 2000), de los que resultaron un total de 92 (Ardanuy,
2008a: 286). La cobertura cronológica del A&HCI va desde 1975 hasta la actua-
lidad, aunque con una actualización de las novedades variable. En consecuencia,
se explotaron todos los registros entre 1975 y 2007. Posteriormente se eliminaron
los registros no pertinentes.
Es necesario mencionar algunos problemas. Es el caso de las variantes de
nombres de autores literarios clásicos, como ocurre con Ramon Llull (Raymond
Llull, Raymond Lully, Raimundus Lulius...). También, la diﬁ cultad de distinguir en
algunos casos los estudios sobre autores literarios que tienen un mismo apellido,
por lo que tuvo que realizarse un ﬁ ltrado posterior en el que siempre hay cabi-
da para errores.
Otro aspecto a considerar es el del control de autoridades, que no es estric-
to en el A&HCI, de manera que los autores de los trabajos pueden aparecer de
maneras diferentes. Para resolver estas incertidumbres se recurrió a bases de da-
tos alternativas, cuando fue menester.
Los registros seleccionados del A&HCI se exportaron a un gestor de referen-
cias para su control de autoridades y, posteriormente, a un gestor de bases de
datos relacional para un tratamiento estadístico posterior.
3. Resultados y discusión
El número de registros obtenido después del proceso de ﬁ ltrado fue de 679,
un número pequeño si se considera que se han explorado un total de 92 autores
literarios, además del tema general (topic) «Catalan Literature» en alguna de las
variantes comentadas supra, de lo que se puede colegir una visibilidad interna-
cional muy limitada si se compara, por ejemplo, con los 248 registros que se
obtienen solamente para Antonio Machado, para el mismo período.
De los 679 registros obtenidos, solamente 79 (11,6 %) se obtuvieron directa-
mente a través del tópico «Catalan Literature» en alguna de las variantes comen-
tadas. Una buena parte de estos registros también se recuperaron a partir de la
lista de autores, aunque por supuesto solamente fueron contabilizados una vez.
Este porcentaje escaso 11,6 %, además de unos guarismos mucho más exiguos
obtenidos en las pruebas con otras variantes como «Catalan Novel» o «Catalan
Poetry» y el solapamiento de registros con los ya obtenidos nos llevaron a desis-
tir de seguir probando con todos los géneros literarios posibles.
Si se analiza el tipo de documento al que hacen referencia los registros en-
contrados, la mayor parte (67 %) pertenecen a reseñas de libros, mientras que
solamente un 28,9 % se clasiﬁ can como artículos (tabla I). El porcentaje restante
se diversiﬁ ca en notas, aspectos biográﬁ cos, reseñas teatrales y material editorial,
300
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732

Presencia internacional de los estudios sobre literatura catalana en el A&HCI
que engloba elementos documentales heterogéneos, como pueden ser entrevistas
u opiniones.
TABLA I
Distribución de registros según el tipo de documentos
Nº de
% de
Tipo de documento
registros
registros
Reseña de libro (Book Review)
455
67,0
Artículo (Article)
196
28,9
Elementos sobre un individuo (Item About an Individual)
7
1,0
Material editorial (Editorial material)
7
1,0
Elementos biográﬁ cos (Biographical-Item)
6
0,9
Nota (Note)
5
0,7
Reseña de teatro (Theater Review)
3
0,4
Total
679
100
La ﬁ gura 1 recoge la evolución cronológica de los libros y artículos cuyas
referencias se localizan en el A&HCI según su año de publicación. Los datos se
han agrupado en tres períodos. Se observa un incremento ligero, pero perma-
nente, del número de artículos, mientras que las reseñas de libros decrecen cla-
ramente en el período 1997-2007. El gráﬁ co muestra también el total de registros,
FIGURA 1
Evolución cronológica del tipo de documento en los registros del A&HCI
250
Total
200
150
Reseñas de libros
100
Artículos
50
0
1975-1985
1986-1996
1997-2007
Período
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732
301

JORDI ARDANUY, LLUIS QUINTANA, CRISTÓBAL URBANO
con un incremento atenuado en el último período debido a la disminución ya
comentada de reseñas.
Este incremento tan pequeño en el número de artículos muestra que el estu-
dio de la literatura catalana no está ganando protagonismo internacional.
Con respecto a la lengua en la que están publicados, el inglés es la domi-
nante con un 54,5 % de referencias (tabla II), seguida del español (28,4 %), mien-
tras que al catalán solamente le corresponden un 2,1 % de los registros, hecho
que se explica de manera sencilla si se considera, como se ha comentado ante-
riormente, la ausencia en el A&HCI de revistas especíﬁ cas de lengua y literatura
o de humanidades en catalán. Las escasas referencias en catalán aparecen en
publicaciones generales sobre temas hispánicos, o más especíﬁ cas, de literatura
hispánica o bien románica que han admitido colaboraciones en varias lenguas,
como en el caso del Bulletin of Hispanic Studies. De todas maneras, esto de-
muestra que, aunque no se indexen las revistas catalanas de literatura, no es del
todo imposible publicar trabajos sobre literatura catalana en catalán y aparecer
en el A&HCI.
TABLA II
Distribución de lenguas según el tipo de documento
Total
Artículo
Reseña de libro
Otros
Lengua
No
%
No
%
No
%
No
%
Inglés
370
54,5
68
34,7
297
65,3
5
17,9
Español
193
28,4
104
53,1
72
15,8
17
60,7
Francés
53
7,8
11
5,6
38
8,4
4
14,3
Alemán
35
5,2
4
2,0
30
6,6
1
3,6
Catalán
14
2,1
4
2,0
9
2,0
1
3,6
Italiano
14
2,1
5
2,6
9
2,0
0
0,0
Total
679
100
196
100
455
100
28
100
Ahora bien, como muestra la ﬁ gura 2, el peso de las lenguas ha ido variando
con el tiempo, de manera que las aportaciones en catalán han aumentado tími-
damente, mientras que el español ha ido ganando terreno al inglés.
Respecto a las publicaciones con más registros (tabla III), en primer lugar se
encuentra World Literature Today, con un total de 18,3 %, seguida a gran distan-
cia por el Bulletin of Hispanic Studies (8,7 %) y Ínsula. Revista de Letras y Ciencias
Humanas (7,4 %).
Sin embargo la importancia de World Literature Today se debe exclusivamen-
te a las reseñas de libros realizadas para dar a conocer a la comunidad anglófo-
na e internacional novedades editoriales sobre literatura catalana. Excluidas estas
y todos los otros materiales que no sean especíﬁ camente artículos, el mayor por-
302
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732

Presencia internacional de los estudios sobre literatura catalana en el A&HCI
FIGURA 2
Evolución cronológica del porcentaje de registros según la lengua del original
160
140
120
Inglés
100
Español
Francés
80
Alemán
Italiano
60
Catalán
40
20
0
1975-1985
1986-1996
1997-2007
Período
TABLA III
Publicaciones con más registros
Nº
%
Lugar
Lenguas que declaran
Publicación
de
de
de
admitir en sus
registros registros
publicación
contribuciones actualmente
World Literature Today
124
18,3
EE.UU
Inglés.
Bulletin of Hispanic Studies
59
8,7
Reino Unido
Inglés y español. Pero hay
textos en catalán.
Ínsula. Revista de Letras y Cien-
50
7,4
España
Español.
cias Humanas
Cuadernos Hispanoamericanos
42
6,2
España
Español.
Modern Language Review
27
4,0
Reino Unido
Inglés.
Hispanic Review
24
3,5
EE.UU
Inglés y lenguas románicas.
Anales de la Literatura española
22
3,2
EE.UU
Inglés y español.
contemporánea
Hispania. A Journal devoted to
15
2,2
EE.UU.
Español, portugués e inglés.
the teaching of Spanish and
Portuguese
Zeitschrift für Romanische Phi-
15
2,2
Alemania
Alemán, francés, italiano,
lologie
español y portugués.
Otras 106
301
44,3
—
—
Total
679
100
—
—
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732
303

JORDI ARDANUY, LLUIS QUINTANA, CRISTÓBAL URBANO
centaje de referencias recae en Ínsula. Revista de Letras y Ciencias Humanas y
en Cuadernos Hispanoamericanos (tabla IV). Ninguna de estas revistas es rele-
vante para el núcleo de la disciplina según se desprende de un estudio anterior
basado en un análisis de citaciones (Ardanuy y otros, 2008b).
Así, como denota la ya citada tabla II, si solamente se consideran los artículos,
predominan las publicaciones en español por encima del inglés.
TABLA IV
Publicaciones con más artículos
Nº
%
Lugar
Lenguas que declaran
Publicación
de
de
de
admitir en sus
artículos artículos
publicación
contribuciones actualmente
Ínsula. Revista de Letras y Cien-
28
14,3
España
Español.
cias Humanas
Cuadernos Hispanoamericanos
23
11,7
España
Español.
Anales de la Literatura Española
11
5,6
EE.UU.
Inglés y español.
Contemporánea
Bulletin of Hispanic Studies
11
5,6
Reino Unido
Inglés y español.
Revista de Occidente
11
5,6
España
Español
Romance Quarterly
9
4,6
EE.UU.
Inglés y lenguas románicas.
Hispanoﬁ la
8
4,1
EE.UU.
Inglés, español y portugués.
Modern Language Review
7
3,6
Reino Unido
Inglés.
Crítica Hispánica
6
3,1
EE.UU.
Inglés, español. Pero hay
textos en catalán.
Romance Notes
5
2,6
EE.UU.
Inglés y lenguas románicas.
Otras 55
77
39,3
—
—
Total
196
100
—
—
Respecto a los autores de las publicaciones, en el caso de las reseñas de li-
bros destaca notablemente con 54 aportaciones (11,9 %) Albert M. Forcadas, del
Departamento de Lenguas modernas i Estudios culturales de la University of Al-
berta. Igual que en su caso, la mayor parte de reseñas realizadas en inglés co-
rresponden a investigadores vinculados a universidades fuera de la catalanofonía.
Si nos referimos a los siete principales productores de artículos (tabla V), a
excepción de Albert Mament, ninguno resulta relevante respecto al número de
citas que recibe en los estudios bibliométricos sobre la literatura catalana (Ardanuy
y otros, 2008b). Todos estos seis han alternado sus estudios de literatura catalana
con otros de literatura y cultura hispana, en una mayor o menor intensidad. El
caso de Manent es diferente, y sus trabajos indexados, sobre la obra de Josep
Carner, fueron todos publicados en el año 1984.
304
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732

Presencia internacional de los estudios sobre literatura catalana en el A&HCI
TABLA V
Autores con más artículos
Nº de
Autor
Adscripción geográﬁ ca
artículos
David J. Viera
4
EE.UU.
D. Gareth Walters
4
Reino Unido
Dominic Keown
3
Reino Unido
Geraldine C. Nichols
3
EE.UU
Joseﬁ na González
3
EE.UU
Jaume Pont Ibánez
3
Cataluña (España)
Albert Manent Segimon
3
Cataluña (España)
Indicamos también que solamente se han encontrado dos artículos realizados
en colaboración entre dos autores. Este nivel escaso de coautoría suele ser ha-
bitual en las disciplinas de humanidades (Wiberley; 1994; Bourke 1997; Molteni
y Zulueta, 2002; Lowe, 2003) y ya se había observado en el caso de la literatura
catalana (Ardanuy, 2008a).
Si se observa la distribución de artículos en las grandes áreas en que se di-
vide el estudio de la literatura catalana y su historia (Molas, 2001), observamos
(tabla VI) un predominio global abrumador de la literatura contemporánea
(80,2 %). De estos, el 60,4 % son en español y un 30,6 % en inglés. Una presencia
tan escasa de artículos en inglés diﬁ culta a los especialistas de otras literaturas,
especialmente no románicas, que puedan tener un conocimiento detallado de la
producción contemporánea catalana. Este predominio, aunque más atenuado,
también se ha detectado en estudios realizados sobre análisis de citas y de tesis
doctorales (Ardanuy y otros, 2008b; Ardanuy y otros, 2009b).
TABLA VI
Distribución de artículos en les grandes áreas de estudio de la literatura
catalana y su historia
Nº
%
Períodos
Nº de artículos según la lengua
de
de
históricos
artículos artículos
Catalán
Inglés
Francés
Alemán
Italiano
Español
Contemporánea
134
80,2
3
41
5
2
2
81
Medieval
33
19,8
1
17
4
2
3
6
Moderna
0
0
0
0
0
0
0
0
En el caso de la literatura medieval, aunque es menos signiﬁ cativa globalmen-
te (19,8 %), se observa un predominio de los escritos en inglés (51,3 %). Indique-
mos también que no hemos encontrado ningún artículo relacionado con la lite-
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732
305

JORDI ARDANUY, LLUIS QUINTANA, CRISTÓBAL URBANO
TABLA VII
Obras literarias estudiadas con más artículos especíﬁ cos
Nº total
Nº de artículos
Nº de artículos
Nº de artículos
Obras literarias
de artículos
en inglés
en español
en alemán
Tirant lo Blanc
7
3
2
2
La plaça del Diamant
6
5
1
0
El carrer de les Camèlies
2
0
2
0
La Bogeria
2
0
2
0
Ramona, adéu
2
1
1
0
ratura de la edad moderna aunque hay que considerar que ninguno de los
autores utilizados en nuestra lista pertenece a esa época por el simple hecho de
que los autores de esta época raramente se consideran canónicos (de hecho, la
historiograﬁ a literaria solía llamar a los siglos XVI-XVIII «época de decadencia»).
La tabla VII ofrece las obras literarias a las que se han dedicado más artículos
especíﬁ cos. En primer lugar ﬁ gura Tirant lo Blanc, coincidiendo con otros estu-
dios que la sitúan como la obra literaria más estudiada de la literatura catalana
(Ardanuy y otros, 2008b; Ardanuy y otros, 2009b).
Entre los autores literarios (tabla VIII) destaca en primer lugar Mercè Rodo-
reda, seguida de Salvador Espriu y Montserrat Roig. Este ranking no coincide
TABLA VIII
Autores literarios sobre los que se han publicado más artículos
Nº de artículos
Nº
Nº
Nº
Nº
en italiano,
Autores literarios
total
de artículos
de artículos
de artículos
francés
de artículos
en inglés
en español
en catalán
y alemán
Mercè Rodoreda
17
10
7
0
0
Salvador Espriu
10
4
5
0
1
Montserrat Roig
8
6
2
0
0
Gabriel Ferrater
7
1
5
0
1
Joanot Martorell
7
3
2
0
2
Francesc Eiximenis
6
4
1
0
1
Josep Carner
6
0
6
0
0
Josep Vicent Foix
6
2
3
0
1
Joan Brossa
5
1
3
1
0
Joan Maragall
5
1
2
1
1
Llorenç Villalonga
5
2
3
0
0
Narcís Oller
5
1
4
0
0
306
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732

Presencia internacional de los estudios sobre literatura catalana en el A&HCI
cualitativamente con el de otros estudios ya mencionados (Ardanuy y otros, 2008b;
Ardanuy y otros, 2009b), centrados en la investigación en los territorios catala-
nófonos.
4. Conclusiones
El presente trabajo ha constatado la escasa cobertura que tienen los estudios
de literatura catalana en el A&HCI lo que diﬁ culta un estudio bibliométrico ba-
sado en el análisis de citas. Este hecho se justiﬁ ca porque ninguna de las publi-
caciones especializadas en lengua y literatura catalanas que constituyen el núcleo
de la disciplina está indexada en las bases de datos de Thomson Scientiﬁ c, como
ya se había puesto de relieve (Ardanuy, 2008b). Un número tan pequeño de
registros sugiere un pobre escaso nivel de visibilidad de la disciplina a nivel in-
ternacional.
Pese a no disponer de un volumen abundante de registros, su análisis apor-
ta cierta información sobre la disciplina y permite comparaciones con los estudios
a los que complementa.
Los resultados obtenidos muestran un predominio de las reseñas de libros
escritas en inglés por especialistas en ﬁ lología catalana que trabajan especialmen-
te en países anglófonos y que dan a conocer novedades bibliográﬁ cas publicadas
en los territorios de habla catalana.
En cuanto a los artículos, publicados principalmente en español, se constata
un predominio de los estudios de literatura contemporánea, lo que coincide con
lo observado en trabajos anteriores sobre la investigación en literatura catalana
en los territorios catalanófonos. Igualmente ocurre con la obra literaria más ana-
lizada, Tirant lo Blanc.
Pero también se aprecian diferencias. Así los investigadores más citados en
las revistas de literatura catalana adolecen de cualquier registro en el A&HCI,
mientras que los que aquí aparecen, no ocupan lugares tan relevantes. Este he-
cho pone en evidencia que los trabajos más importantes de la literatura catalana
carecen de la necesaria internacionalización y no se dan a conocer a los estu-
diosos de otras literaturas o de las humanidades en general.
Entre los autores literarios más estudiados destacan Mercè Rodoreda y Montse-
rrat Roig, con un peso relativo considerablemente mayor que el observado en
los estudios de citas y de tesis doctorales en los Países Catalanes. Este interés
parece que se explica en parte por los estudios de literatura y género, menos
abordados en la catalanofonía.
Finalmente indiquemos que la presencia de artículos de literatura catalana en
cierto número de revistas indexadas en el A&HCI debe ser una ventana que
aprovechen los autores que estudian este ámbito del conocimiento, como estra-
tegia complementaría a la difusión de sus trabajos en revistas especíﬁ cas del área.
El hecho de que las revistas de literatura catalana no estén indexadas a A&HCI,
no ha impedido una presencia de referencias que, aunque pequeña, podría ser
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732
307

JORDI ARDANUY, LLUIS QUINTANA, CRISTÓBAL URBANO
más elevada si se tuviera una estrategia más clara de internacionalización de la
investigación en este dominio. El trabajo demuestra en este sentido, por ejemplo,
un déﬁ cit en el ámbito de la literatura moderna, que podría justiﬁ car una acción
más decidida en las políticas dirigidas a los investigadores de literatura catalana
de cara a una mejor orientación de la difusión de sus investigaciones. La lista de
revistas obtenidas en este estudio, sin duda puede ser un punto de referencia
para estos autores.
9. Bibliografía
Ardanuy, Jl. (2008a): Anàlisi bibliomètrica de la producció cientíﬁ ca en literatura catala-
na [en línea]. Barcelona; Universitat de Barcelona, 2008 [consultado el 30 de octubre
de 2009]. Disponible en http://www.tesisenred.net/TDX/TDX_UB/TESIS/AVAILABLE/
TDX-0226108-124023.
Ardanuy, J.; Quintana, L., y Urbano, C. (2008b): Una aproximació bibliomètrica a la re-
cerca en literatura catalana. Randa, nº 86, 41-66.
Ardanuy, J. (2009a): Els estudis bibliomètrics basats en l’anàlisi de citacions en àrees
d’humanitats en el període 1959-2008 [en línea]. Bid: textos universitaris de bibliote-
conomia i documentació, nº 22 [consultado el 30 de octubre de 2009]. Disponible en
http://www.ub.edu/bid.
Ardanuy, J.; Urbano, C., y Quintana, L. (2009b): The evolution of recent research on Ca-
talan literature through the production of PhD theses: a bibliometric and social network
análisis [en línea] Information Research, vol. 14 (2) [Consultado el 30 de octubre de
2009]. Disponible en http://informationr.net/ir/14-2/infres142.html.
Bou, E. (dir.) (2000): Nou diccionari de la Literatura Catalana. Barcelona: Edicions 62.
Bourke, P. (1997): Discipline Boundaries in the Social Sciences. Canberra: Academy of the
Social Sciences.
Fernández Izquierdo, F.; Román, A.; Rubio, M. C.; Moreno, F. J.; Martín, C.; García, J. C.;
Lascurain, M. L.; García, P. E.; Povedano, E., y Sanz, E. (2007): Bibliometric study of
early Modern History in Spain based on bibliographic references in national scientiﬁ c
journals and conference proceedings. 11 International Conference of the International
Society for Scientometrics and Informetrics, vol. 1, 266-271. Madrid: CSIC.
Jacsó, P. (2009): Scopus. Péter’s Digital Reference shelf [en línea]. En Péter’s Digital Refe-
rence Shelf [consultado el 30 de octubre de 2009]. Disponible en www.gale.cengage.
com/reference/peter/200906/scopus.html.
Lowe, M. S. (2003): Reference analysis of the «American Historical Review». Collection
Building, vol. 22 (1), 13-20.
Luukkonen, T. (1991): Soveltuuko viiteanalyysi tutkimuksen arviointiin?’, Sosiaalilääketie-
teellinen Aikakauslehti, nº 28, 189-196.
Moed, H. F. Ed. (2005): Citation Analysis in Research Evaluation Dordrecht: Springer.
Molas, J. (2001): Reports de la recerca a Catalunya: literatura catalana [en línea]. Barce-
lona: Institut d’estudis Catalans [consultado el 30 de octubre de 2009]. Disponible en
http://www.iec.cat/gc/digitalAssets/500_3680_1097660898265_ﬁ lologia.pdf.
308
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732

Presencia internacional de los estudios sobre literatura catalana en el A&HCI
Molteni, V., y Zulueta, M. A. (2002): Análisis de la visibilidad internacional de la produc-
ción cientíﬁ ca argentina en las Bases de datos Social Science Citation Index y Arts
and Humanities Citation Index de 1990-2000. Revista Española de Documentación
Cientíﬁ ca, vol. 25 (4), 455: 465.
Nederhof, A. J., y Zwaan, R. A. (1991): Quality judgments of journals as indicators of re-
search performance in the humanities and the social and behavioral sciences. Journal
of the American Society for Information Science and Technology, vol. 42 (5), 332-340.
Nederhof, A. J. (2006): Bibliometric monitoring of research performance in the Social
Sciences and the Humanities: a review. Scientometrics, vol. 66 (1), 81-100.
Quick, A. (2009): SCOPUS no longer available - but use Web of Knowledge [en línea]. En
Library news and updates from the University of Abertay Dundee [consultado el 30 de
octubre de 2009]. Disponible en http://libertay.blogspot.com/2008/06/scopus-no-lon-
ger-available-but-use-web.html.
Sanz, E., y Martín, C. (1997): Técnicas bibliométricas aplicadas a los estudios de usuarios.
Revista general de información y documentación, vol. 7 (2), 41-68.
Wiberley, S. E., y Jones, W. G. (1994): Humanists revisited: a longitudinal look at the
adoption of information technology. College and Research Libraries, vol. 55 (6),
499-509.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 298-309, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.732
309

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 311-313, 2010
ISSN: 0210-0614
NOTICIAS / NEWS
Taller 2010: La evaluación de la investigación
en Humanidades y Ciencias Sociales
Workshop 2010: Research evaluation in Social Sciences and
Humanities
Los días 28 y 29 de enero tuvo lugar en la Universidad de Barcelona, con la
participación de más de 300 profesores de las universidades catalanas, públicas
y privadas, este Taller de reﬂ exión y debate en su onceava edición.
Organizado por la Agencia Catalana para la Calidad del Sistema Universitario
y las universidades catalanas, su objetivo fue reﬂ exionar sobre la evaluación de
la investigación en estos ámbitos cientíﬁ cos a ﬁ n de identiﬁ car referentes comu-
nes y promover un mayor consenso sobre los criterios de evaluación y sus nive-
les de calidad.
Tras la ponencia inaugural a cargo de Juan Manuel del Pozo, de la Universi-
dad de Gerona y una conferencia de Juergen Barkhoff del Trinity College de
Dublín, se organizaron debates en grupos de trabajo, que debían responder a
una cuestiones preﬁ jadas y que se organizaron así:
1) Filosofía, Arte, Antropología y Geografía. 2) Filología, Traducción e Inter-
pretación. 3) Educación. 4) Economía y Empresa, Ciencias Políticas y Sociología.
5) Psicología. 6) Derecho. 7) Biblioteconomía y Documentación y Comunicación.
Algunas de las reﬂ exiones propuestas por estos grupos, y que se presentaron
a modo de conclusiones tras los debates, se comentan a continuación.
a) ¿Cuáles son los principales problemas en la evaluación de la investigación
en Humanidades y Sociales? El diferente papel de los libros o artículos y diferen-
cia entre las distintas áreas de conocimiento.
• Los libros, capítulos de libros y actas de congresos han de ser valoradas en
función de los diferentes campos y siguiendo criterios de calidad.
• Se evidencia la necesidad de establecer criterios de evaluación de las edi-
toriales universitarias o privadas de orientación académica, inspiradas en
peer reviewing.
• La aplicación mimética de los criterios de evaluación en ciencias puras ge-
nera disfunciones.
• Se hace necesaria la medida de estas ciencias con unas pautas propias.
311

Noticias
• Existe gran diversidad de disciplinas y de tradiciones de investigación y un
gran pluralismo temático y metodológico frente a un concepto de monismo
epistemológico,
• En Humanidades y Sociales existe un gran desfase entre tiempo de inves-
tigación, resultado de esta y citas a la misma.
• No tiene haber ninguna discriminación por razones de lengua ni del tema
que se investiga
b) ¿Cuáles han de ser los criterios de la calidad de la investigación en Cien-
cias Sociales y Humanas?
• Un criterio fundamental reside en la originalidad y la relevancia del cono-
cimiento que genera así como la interdisciplinariedad y la idiosincrasia de
los investigadores individuales y los equipos de investigación.
• Los criterios de calidad de la investigación se deberían basar en: criterios
objetivos sobre evidencias indirectas; en la opinión de expertos y en indi-
cadores aportados mediante autoevaluación. Cabe pensar que la comple-
mentariedad sería la mejor opción.
• Es preciso que las resoluciones se motiven de una manera transparente,
mejorando la situación actual. Coherencia entre criterios publicados y apli-
cados.
• El impacto social, la trascendencia, relevancia y el beneﬁ cio social son cri-
terios cualitativos que se habrían de sumar a los cuantitativos.
• Amén del impacto habría que tener cuantiﬁ car y cualiﬁ car la audiencia de
la investigación.
c) Criterios para detectar la ubicación de una publicación en un listado de
referencias.
• En ocasiones no hay una relación clara entre la calidad del trabajo y el
lugar donde se publica.
• Se debería incluir un factor de rectiﬁ cación en el nivel de impacto de la
investigación en función de cada ámbito.
• Hay que avanzar en la incorporación de criterios que tengan en cuenta la
rápida expansión de las publicaciones digitales y las dinámicas Open Access.
• Se propone la creación de una editorial universitaria catalana que seleccio-
ne las publicaciones mediante peer review y tenga un comité editorial con
participación de investigadores de fuera Cataluña de tal manera que se ga-
rantice el criterio de externalidad.
d) ¿Es posible la complementariedad de los referees con la evaluación direc-
ta de los evaluadores?
• Se considera necesario un sistema mixto.
• Se pide que todas las evaluaciones sean hechas por los especialistas del
área de conocimiento correspondiente.
312
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 311-313, 2010. ISSN: 0210-0614

Noticias
• Un punto débil es que el evaluador no lea los estudios ni hable con los
investigadores.
• Hay que tener en cuenta los costes económicos y la diﬁ cultad de encontrar
evaluadores en algunas disciplinas.
• Necesidad de simpliﬁ car el sistema. Cuando un resultado de la investigación
ya ha sido evaluado por una instancia y no ha tenido modiﬁ caciones no
seria necesario que volviera a ser evaluado.
• Habría que evaluar también la post-investigación, sobre todo de la que se
haya ﬁ nanciado públicamente.
• Algunas disciplinas reclaman ser incluidas como un grupo especíﬁ co dentro
de las áreas de Humanidades y Sociales.
e) El papel de los grupos de investigación en la producción y evaluación
cientíﬁ ca.
• Los grupos tienen un papel de primer orden en facilitar el trabajo colectivo
e interdisciplinar así como la inserción de investigadores noveles.
• No se pueden penalizar las publicaciones de autoría colectiva.
• La dimensión del grupo no habría de ser relevante, sino la calidad intrín-
seca de la investigación.
• Elementos a considerar: Arquitectura y organización del grupo; Tendencia
y progreso; Acciones de formación continua; Actividad internacional; Incor-
poraciones y contactos.
• En algunos ámbitos la investigación individual es importante. Ello se pena-
liza a la hora de la ﬁ nanciación.
f ) Investigación y transferencia de conocimiento en Humanidades y Sociales.
Problemas y potencialidades.
• Es preciso un avance en la conceptualización de Transferencia en estas
disciplinas.
• ¿Dónde esta la frontera entre investigación original y transferencia de co-
nocimiento? Transferencia e investigación constituyen un binomio.
• Es preciso saber como comunicar los conocimientos generados en Ciencias
Humanas y Sociales y actuar como agentes transformadores para vincular
la investigación con las necesidades económicas y sociales.
• Necesidad de una evaluación ex post de la transferencia.
• Se ha de poder evaluar la investigación hecha por encargo de empresas,
organismos, etc., como trasferencia siempre que se pueda difundir total o
parcialmente los resultados.
Ángela Sorli Rojo
IEDCYT. CCHS. CSIC
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 311-313, 2010. ISSN: 0210-0614
313

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 315-317, 2010
ISSN: 0210-0614
CRÍTICA DE LIBROS / BOOK REVIEW
Redes Sociais e Colaborativas em Informaçao
Cientiﬁ ca
Dinah Aguiar de Población, Rogério Mugnaini, Lúcia Maria S. V.
Costa Ramos. Edit Angellara, Sau Paulo (Brasil), 2009.
ISBN: 978-85-86421-21-1
Tengo en la mesa de mi despacho un libro que llama mi atención por su
título Redes Sociais e Colaborativas em Informaçao Cientiﬁ ca, lo que indica el
gran ámbito de su temática, tan amplia como el propio título postula. Y tan no-
vedoso asunto. Se trata de un libro publicado en San Pablo (Brasil) por la Edi-
torial Angellara, en el año 2009 y cuyos organizadores son Dinah Aguiar de
Población, Rogério Mugnaini y Lúcia Maria S. V. Costa Ramos, que han actuado
como co-editores. En este libro es signiﬁ cativo resaltar el análisis en profundidad
de la evidencia en el modo de publicar en red. Asimismo, éste es su propósito.
El libro surgió a partir de una mesa de debate, organizada por el Núcleo de
Producción Cientíﬁ ca (NPC) de la ECA/USP de la Universidad de Sau Paulo en
Brasil, donde se acordó abordar el tema principal y base de este libro. El libro
incluye autores españoles y brasileños, venidos de muy diversas instituciones y
Universidades. Es importante destacar la gran cantidad de autores que han dedi-
cado su saber, precisamente, a colaborar en el tema de las redes sociales. Son
autores prestigiosos, con experiencia en sus campos de trabajo profesionales, que
conocen los cauces de colaboración, y saben darlos a conocer. El idioma, len-
guaje, esta correctamente tratado y resulta muy instructiva y atractiva su lectura.
El libro consta de 21 capítulos, organizados en las siguientes secciones:
1. Investigación cuantitativa-teórica. 2. Redes de Comunicación. 3. Información
en red. Estas secciones, a su vez, se han articulado en grandes apartados temá-
ticos: I. Producción cientíﬁ ca en red, a modo de Introducción. I.1. Conceptos.
I.2. Modelos de Gestión y Fuentes de Información para Estudios de Redes (Cien-
tíﬁ cas y Tecnológicas). II. Estudios de Casos. II.1. Ciencias de la Salud. II.2. Cien-
cias Humanas. Todo esto va acompañado de una amplia Referencia Bibliográﬁ ca
y una lista con los Datos Biográﬁ cos de los autores.
Hoy en día, que se habla tanto de redes sociales, es de destacar que en este
libro se abordan aquellas desde distintos puntos de vistas. Aquí las redes sociales
son consideradas como redes de conjuntos de instituciones, o centros de inves-
tigación y trabajo, que se dedican a un mismo tema y que deben relacionarse
315

Crítica de libros
entre ellas. Son instituciones particulares, o públicas, sin carácter político. Lo
único que se intenta es encontrar la manera de establecer líneas de unión, fáci-
les y sencillas, para poder coordinar acciones conjuntas en cooperación organi-
zativa y reglada. Es mucha la información que se pierde, aparece como superﬂ ua,
precisamente por esa falta de coordinación. El problema no es nuevo y convie-
ne, sin embargo, darle soluciones. Este libro nos va dando respuestas a estos
asuntos y va descubriendo los modos adecuados de hacerlo.
Se considera un acierto empezar por sentar las bases del contenido total del
libro con una Apresentaçao de los propios organizadores, que ponen de mani-
ﬁ esto cómo las redes son sistemas sociales establecidos con el ﬁ n de fortalecer
los vínculos colaboracionales de la comunidad cientíﬁ ca. Otro acierto de este
libro supone seguir con el capítulo 1, dedicado a tratar la producción cientíﬁ ca
en red, de una manera general y amplia. El capítulo 2 vira hacia los aspectos
teórico-sistémicos, estudiando la aplicación de la integración vertical de las cien-
cias a las redes sociales. Con estos tres primeros Apartados y Capítulos se tiene
una base teórica sobre la que sustentar el resto de capítulos. También es impor-
tante el Capítulo 3, que trata de la Organización del Conocimiento, considerado
éste desde las redes sociales.
A partir de ahí, los restantes 19 capítulos abordan el tema desde puntos, más
o menos, prácticos, incluso el Apartado 2 se dedica todo él a Estudios de Casos,
referidos a las redes sociales Cientíﬁ cas y Tecnológicas. En el Apartado 2.2, en
todos sus capítulos, se trata, en profundidad, de las redes sociales en Ciencias
Humanas, donde no faltan capítulos dedicados a las redes sociales en la Admi-
nistración. Y aquí es donde se puede encontrar el punto de unión entre estas
redes sociales y las que se citan en tantos debates, congresos, seminarios y es-
critos de todo tipo.
Se considera un gran acierto haber incluido, en este libro, unos últimos ca-
pítulos dedicados a temas básicos, imprescindibles para la total exposición de su
temática. Así, el capítulo 20 se dedica a estudiar la lectura de información en
«cudrimos», es decir, en carteles y anuncios publicitarios, donde se aprecian las
relaciones sociales entre culturas, para uso formativo, educacional, que, indiscu-
tiblemente, en Brasil, adquiere una gran relevancia por la diversidad de pueblos
que allí habitan.
El capítulo 21 viene dedicado a la Terminología, es decir, a tratar ésta dedi-
cada a las redes sociales, según se escribe en este libro. Así se expone, sobre
todo, en el párrafo que estudia el análisis terminológico de los propios concep-
tos y términos relativos a las redes sociales corporativas. Se destaca, este Capí-
tulo 21, por la gran importancia que tiene, hoy en día, la Terminología. Se habla
de temas y se utilizan términos sin saber a qué hacen referencia. En el lenguaje,
cualquier idioma, se usan vocablos, traídos de fuera, sólo porque están de moda,
sin recapacitar en cuál es su verdadero signiﬁ cado.
El libro que aquí se reseña «Redes Sociais e Colaborativas em Informaçao
Cientiﬁ ca», supone un acierto haberlo publicado en estos momentos, donde se
nota un cierto confusionismo entre unos tipos de redes sociales y otras. Precisa-
316
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 315-317, 2010. ISSN: 0210-0614

Crítica de libros
mente ahora es cuando se deben sentar criterios y establecer diferencias, citando
distintos tipos de redes sociales corporativas.
Es un libro de muy fácil lectura. Se debe tener a mano para su consulta en
cualquier caso. Y no sólo para profesionales de la Información y las Bibliotecas,
sino para todo profesional, dedíquese a lo que se dedique, en su trabajo diario.
Incluso resulta muy práctico para el estudioso de la cultura de los pueblos.
Es un libro que no debe faltar en cualquier despacho de trabajo. Y, por en-
cima de todo, en todas las Bibliotecas, Centros de Investigación, Gabinetes de
Estudios y centros de Enseñanza.
Se debería leer este libro.
Emilia Currás
Madrid, 5 de diciembre, 2009
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 315-317, 2010. ISSN: 0210-0614
317

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 318-321, 2010
ISSN: 0210-0614
El Resumen Documental: Un reto didáctico
Mónica Izquierdo Arroyo y Luis Miguel Moreno Fernández
Madrid: ANABAD, 2009. ISBN: 978-84-88716-42-2
Nos encontramos ante una obra en la que, como aﬁ rman los autores Mónica
Izquierdo y Luis Miguel Moreno en su presentación, se ha puesto mucho empe-
ño y mucho entusiasmo. Se trata de un análisis exhaustivo sobre el resumen
documental cientíﬁ co bajo una doble perspectiva, investigadora y docente, as-
pectos ambos que son muy apreciados por todos aquellos que, de una u otra
manera, dedicamos nuestra vida profesional a las Ciencias Documentales.
El libro está dividido en dos partes, cada una de ellas responde a las dos
perspectivas mencionadas relativas a la naturaleza de los estudios sobre el resu-
men documental cientíﬁ co. La primera se enmarcaría en el enfoque teórico don-
de se contemplan aspectos generales como conceptos, teorías o modelos, y as-
pectos más parciales como canales, género y tipo, problemas del proceso, etc.
La segunda parte, enfoque aplicado, está más orientada a los aspectos educativos
y didácticos del resumen así como a la ética y deontología profesional de su
proceso.
Por tanto, en primer lugar los autores realizan un repaso muy acertado sobre
el concepto de resumen en su doble vertiente estática, como proceso, y dinámi-
ca, como producto, así como la conjugación de ambas en la propia concepción
de los autores los cuales se posicionan en los aspectos lingüísticos-textuales y
semióticos del texto a resumir. El análisis de la evolución del concepto nos mues-
tra claramente cual ha sido su trayectoria pasando por deﬁ niciones basadas en
la función del resumen, aquellas centradas en el proceso de representación do-
cumental y, por último, las orientadas hacia el proceso resumidor. Estas deﬁ ni-
ciones se acompañan de una tabla muy ilustrativa sobre los elementos que con-
forman el análisis según las distintas concepciones.
A continuación, los autores realizan su propia deﬁ nición del resumen desde
una perspectiva sociocognitivista lo que implica considerarlo como un proceso
mental del ser humano a través del cual éste percibe la información de manera
estructurada, ordenada, regularizada y sistematizada y, a partir de ahí, va conﬁ -
gurando su propia percepción de la realidad que se le presenta. La deﬁ nición
propuesta considera, pues, al resumen documental como una forma de acción
social cuya ﬁ nalidad es la comunicación dentro del procesamiento y recuperación
de información en determinados contextos. Esto justiﬁ caría la metodología del
proceso resumidor que ha de ser ﬁ el a las normas, enunciadas por Beaugrande
y Dressler, de cohesión, coherencia, intencionalidad y modalidad, aceptabilidad,
informatividad y representatividad, situacionalidad e intertextualidad. En la propia
deﬁ nición de los autores se insiste en la complejidad del acto comunicativo pues-
318

Crítica de libros
to que no solo implica al emisor del documento original y al resumidor, sino que
también hay que tener en cuenta al destinatario. De este modo, el autor del re-
sumen se convierte en receptor y emisor a la vez que, además, es capaz de ge-
nerar un nuevo producto que conﬁ gura un documento secundario y que, a juicio
de los autores, este proceso consiste en una actividad intertextual donde las ca-
racterísticas discursivas y textuales cobran una especial relevancia y que implica
que los resumidores deben ser conscientes de las diferencias funcionales y es-
tructurales de los textos pero que, a la vez, el hecho de ser el lenguaje el vehículo
transmisor de información, la riqueza y creatividad expresiva tienen el camino
abierto.
Es interesante el análisis del proceso de resumir bajo la perspectiva del aná-
lisis de género el cual se centra en las diferentes partes o secciones que compo-
nen la totalidad de la estructura informativa del texto que habrán de ser rellena-
das de contenido y que ha de permitir al usuario anticipar la información
original y analizar si cubre sus expectativas reduciendo, de este modo, la incer-
tidumbre en el proceso comunicativo-documental. Los autores constatan la im-
portancia de la propia evolución estructural de los resúmenes, a la par que lo
hacen los propios textos, lo que implica la necesidad de que la práctica resumi-
dora se adapte a los nuevos contextos sociales demandantes para que el acto
comunicativo no se deteriore.
El libro continua con una extensa y comentada referencia a la tipología de los
resúmenes desde el punto de vista de diferentes autores, nacionales y extranjeros
de reconocido prestigio, y su evolución en el tiempo. Incluye una interesante
comparación entre los diferentes elementos y criterios clasiﬁ catorios incluidos o
no por los autores analizados, seguida de una propuesta de clasiﬁ cación tipoló-
gica propia compendiando las anteriores y con un enfoque muy pragmá tico.
Respecto a las funciones que han de cumplir los resúmenes documentales,
los autores las encuadran dentro de los aspectos comunicativos y educativos en
un amplio espectro sociológico donde se vislumbra la importancia que actual-
mente tiene la Sociología, cuyo concepto básico es la interacción social, en cual-
quier lenguaje documental, aspecto no siempre contemplado por los teóricos de
la Documentación y que responde a la inclusión actual de esa disciplina en el
marco de su contribución, aprovechamiento y formación del nuevo concepto de
las ciencias que nos ocupan. Así mismo, insisten en la importancia en la conﬁ -
guración del resumen de otras disciplinas, como la Semiótica Documental, la
Lingüística o las Ciencias de la Computación, entre otras.
Una vez realizadas todas estas consideraciones viene el momento de abordar
la metodología del proceso resumidor. En este sentido, los autores plantean la
cuestión de la diﬁ cultad de llevar a cabo una tarea que es algo más que una
mera técnica y de normalizar todo trabajo intelectual con su carga de subjetivi-
dad, complejidad y capacidad de abstracción que conlleva. Insisten en que al
tratarse de un acto comunicativo y creativo, resumir implica también ejercitar
otras habilidades tales como la comprensión lectora, redacción de textos, selec-
cionar y distinguir entre lo superﬁ cial y lo necesario y combinar todas ellas con
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 318-321, 2010. ISSN: 0210-0614
319

Crítica de libros
acierto. Por tanto, concluyen en que no existe un solo método sino que, depen-
diendo de las expectativas, la metodología puede ser diversa y no por ello menos
idónea, aunque todas ellas bajo el denominador común de atravesar una serie
de etapas secuenciales y unidireccionales, las cuales conforman la metodología
resumidora defendida por autores de la talla de Rowley, Borko o Bernier mien-
tras que otros, como Pinto y Moreiro se centran más en qué y cómo lo hace el
resumidor sin olvidar factores contextuales. Una vez analizadas las diferentes
propuestas, los autores exponen su propio modelo bajo una perspectiva didác-
tica que será puesta en práctica en la segunda parte del libro donde se presentan
y resuelven una serie de estudios de caso.
La última reﬂ exión de esta primera etapa del libro versa sobre la calidad del
resumen, aspecto, a nuestro juicio, muy interesante y más escasamente tratado
en la literatura que otros métodos de representación del conocimiento, como
pueda ser la indización, probablemente debido a la diﬁ cultad de aplicar contro-
les cualitativos a procesos intelectuales, por tanto impregnados de subjetividad,
como ya se ha mencionado con anterioridad. En este sentido, los autores se
centran en cómo se ha abordado el tema desde diferentes estudios que se han
dirigido a la calidad del producto y a la calidad de los procesos, ﬁ nalizando con
una reﬂ exión sobre consideraciones globales acerca del concepto de calidad y
su relación directa con la evaluación de la carga informativa de los resúmenes
analizando y valorando diferentes propuestas de diversos autores. Por último,
llevan a cabo una interesante reﬂ exión sobre las deﬁ ciencias de estos métodos
y que, desde aquí, animamos a los autores a que en futuras publicaciones hagan
sus propias propuestas puesto que, dada la consistencia de sus aportaciones,
juzgamos serán interesantes. En este apartado no podemos dejar de mencionar,
por estar absolutamente de acuerdo, la insistencia de los autores en la dimensión
social y profesional del resumen documental que debe incidir directamente en
el incremento de la calidad del mismo.
La segunda parte de la obra se centra en una orientación didáctica muy ela-
borada e interesante para lograr el desarrollo y mejora de la práctica resumidora
a través de la planiﬁ cación de estrategias complementadas con propuestas de
actuación concretas y deﬁ nición de competencias, por lo que constituye una
herramienta de enorme utilidad para la docencia y el aprendizaje de esta técnica,
todo ello acompañado de unos gráﬁ cos muy ilustrativos y clariﬁ cadores. A lo
largo del desarrollo de esta parte de la obra los autores han tenido presente un
aspecto, no siempre contemplado y a nuestro juicio muy valorado, como es el
mantenimiento en todo el proceso resumidor de unos códigos éticos y deonto-
lógicos importantes en una labor en la que el problema de la subjetividad planea
siempre.
Finalmente, se propone un modelo didáctico centrado en documentos tex-
tuales concretos, artículos cientíﬁ cos pertenecientes a las Ciencias Sociales, acom-
pañado de una plantilla cuya ﬁ nalidad consiste en orientar la lectura del texto
hacia las partes informativas más relevantes. Se incluye una extensa colección de
casos prácticos cuyo traslado a las aulas servirá de ayuda inestimable.
320
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 318-321, 2010. ISSN: 0210-0614

Crítica de libros
No cabe la menor duda que el interés de esta obra radica no solo en el abor-
daje teórico de una de las prácticas documentales más apreciadas por el usuario
y en plena vigencia en la era digital, sino en el no menos interesante modelo
didáctico que presenta y su aportación a la mejora enseñanza/aprendizaje. El
libro constituye, por tanto, un eslabón más en la consolidación de la Documen-
tación como herramienta imprescindible en la obtención de información de re-
levancia.
Ana Extremeño
Facultad de Documentación
Universidad de Alcalá
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 318-321, 2010. ISSN: 0210-0614
321

Revista Española de Documentación Cientíﬁ ca,
33, 2, abril-junio, 322-324, 2010
ISSN: 0210-0614
Información y referencia en entornos digitales:
desarrollo de servicios bibliotecarios de consulta
José Antonio Merlo Vega. Murcia: Editum, 2009.
ISBN 978-84-8371-918-3
Referencia digital es un término aplicado a los servicios de información que
prestan organismos documentales, frecuentemente bibliotecas. Como señala el
autor, conviene destacar algunos elementos deﬁ nitorios de la referencia digital,
como su carácter biblioteconómico (atendido por profesionales de la información),
su orientación como servicio que atiende consultas (respuestas a preguntas) y la
prestación del servicio en línea (tecnologías telemáticas). No se podría hablar de
servicio de referencia digital si no se da este trinomio: biblioteca + consultas +
Internet.
Así pues, los servicios públicos de referencia digital son los sistemas de in-
formación que las administraciones bibliotecarias ponen a disposición de todos
los ciudadanos para que realicen consultas de cualquier tipo y tema y para que
las mismas sean respondidas por personal bibliotecario, no hay que olvidar que
la referencia es uno de los servicios bibliotecarios básicos, empleándose sistemas
telemáticos en todo el proceso de comunicación.
La referencia ya no podría realizarse fuera de los entornos digitales y las bi-
bliotecas están sabiendo adaptarse. Ubicuidad, inmediatez, participación, servicios
telemáticos, colecciones híbridas, profesionales competentes, son sus señas de
identidad.
Es posible encontrarse con servicios bibliotecarios, nacionales o locales, de
consulta en línea que responden cualquier tipo de pregunta, aunque con algunas
limitaciones, y emplean desde sistemas simples en diferido, como el correo elec-
trónico, hasta comunicación sincrónica, en tiempo real, a través de programas
como Skype.
Muchas bibliotecas utilizan para la referencia digital entornos virtuales, vi-
deoconferencia, formularios web, telefonía IP, wi ﬁ , chat y mensajería instantánea,
redes sociales y sistemas colaborativos o incluso SMS, haciendo posible la sim-
biosis: En cualquier momento, desde cualquier lugar. La tendencia a implementar
aplicaciones interoperables está permitiendo que los servicios de información
empleen las tecnologías de forma muy creativa
José Antonio Merlo, es profesor de Biblioteconomía y Documentación de la
Universidad de Salamanca, donde actualmente dirige el Servicio de Archivos y
Bibliotecas. Como fruto de su Tesis Doctoral acaba de publicar la monografía
Información y referencia en entornos digitales: desarrollo de servicios biblioteca-
rios de consulta, dedicada a la referencia digital y que se articula en diez capí-
tulos.
322

Crítica de libros
Los capítulos 1 al 4 versan sobre los fundamentos de los servicios de in-
formación en bibliotecas, cómo organizarlos, la tipología de las demandas de
información, cuales han de ser las cualidades del personal referencista, y como
llevar a cabo la gestión del proceso de referencia.
El capítulo quinto está dedicado a la colección de referencia y en el mismo
se describe una tipología de fuentes de información que el autor lleva varios
años desarrollando y que denomina Clasiﬁ cación Funcional/Formal de las Fuen-
tes de Información. En esta clasiﬁ cación los recursos de información se organizan
a partir del tipo de información que ofrecen (función) y de cómo se materializan
o presentan (forma).
El capítulo sexto está orientado a analizar cómo se evalúan los servicios de
referencia, incluida la colección y las consultas a través de sus métodos e indi-
cadores.
El capítulo séptimo se centra en la referencia digital: qué es, qué tipos de
servicios de referencia digital existen, qué tecnologías se pueden emplear, cómo
se planiﬁ can e implantan.
En el capítulo octavo se incluye, una relación de cincuenta aspectos que hay
que tener en cuenta para poner en marcha un servicio de referencia digital, que
puede ser empleada como una guía para cualquier biblioteca que quiera poner
en funcionamiento un servicio bibliotecario de consulta a través de Internet.
El capitulo numero nueve introduce qué pautas y directrices existen para la
prestación de este servicio bibliotecario.
El décimo capítulo está también dedicado a la evaluación, en este caso a la
calidad de la referencia digital; en este capítulo se incluye tanto un apartado so-
bre evaluación de la información telemática, como metodologías y propuestas de
indicadores para analizar los servicios de referencia digital.
El capítulo undécimo reﬂ exiona sobre el presente y el futuro de los servicios
de referencia. Este capítulo quiere inscribir a los servicios de referencia en los
cambios habidos en la sociedad de la información, especíﬁ camente en las posi-
bilidades tecnológicas que ofrece la web social y las comunicaciones móviles.
Para concluir, un capítulo ﬁ nal sobre perspectivas de la actual cultura digital,
con su ubicuidad, inmediatez y carácter participativo, que implica grandes cam-
bios de los hábitos y necesidades de los usuarios.
También analiza la Web 2.0 como una forma social de interactuar que gene-
ra inteligencia colectiva, y está motivando una reinvención de los servicios refe-
rencia. Y además describe cómo las actuales tecnologías, con su poder de adap-
tación, su carácter abierto y su rapidez, marcarán la forma de dar servicios de
carácter interactivo, participativo e integrado.
De todo ello concluye y marca pautas para el establecimiento de nuevas po-
líticas de los servicios digitales de consulta, la especialización y cualiﬁ cación de
los profesionales, la formación de colecciones híbridas y la gestión de la calidad
de estos servicios.
La obra ofrece, por último una bibliografía básica seleccionada de entre toda
la manejada, con los títulos básicos para cada uno de los capítulos.
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 322-324, 2010. ISSN: 0210-0614
323

Crítica de libros
A través de una página web mantenida por el autor y que se puede consul-
tar en http://exlibris.usal.es/merlo/referencia.htm se pueden descargar directa-
mente en formato RIS, para ser exportadas a gestores bibliográﬁ cos como Zote-
ro, Refworks o cualquier otro, las referencias bibliográﬁ cas utilizadas para este
estudio y que ya supera las 1.400 referencias.
Pasado, presente y futuro de los servicios de referencia que se prestan en las
bibliotecas han sido estudiados en esta monografía (que se presenta en formato
impreso y electrónico), a través de un vasto acopio de información que viene a
cubrir el hueco en estudios sobre este tema.
La vocación docente e investigadora de su autor, proporciona a este estudio
sistematización, rigurosidad y actualización, desde, según su propia deﬁ nición
una perspectiva integradora e hibrida en la que los modelos presenciales y tele-
máticos son tratados con idéntico valor y función.
Ángela Sorli Rojo
IEDCYT. CCHS.CSIC
324
Rev. Esp. Doc. Cient., 33, 2, abril-junio, 322-324, 2010. ISSN: 0210-0614

Document Outline

Tabla de Contenido.pdf
- þÿ
- þÿ
- þÿ
- þÿ
- þÿ
- þÿ
18.pdf
19.pdf
20.pdf
21.pdf
22.pdf
23.pdf
24.pdf
25.pdf
26.pdf
27.pdf
28.pdf