Revista Española de Documentación Científica, Vol.
24, No 4 (2001)
Estudios
José Luis Ortega Priego. Análisis de referencias basado en un modelo de espacios
vectoriales: la investigación en historia contemporánea en Jaén durante 1990-1995.
Vol. 24, No.4 (2001), pp.369-381
Rosa Sancho. Medición de las actividades de ciencia y tecnología. Estadísticas e
indicadores empleados. Vol. 24, No.4 (2001), pp.382-404
Marina Jiménez Piano. Evaluación de sedes web. Vol. 24, No.4 (2001), pp. 405-432
Ana Belén Ríos Hilario. Diez años de investigación en la Revista Española de
Documentación Científica (1989-1999). Vol. 24, No.4 (2001), pp. 433-449
Noticias
Mª Jesús López Manzanedo. XII Jornadas de bibliotecas de arquitectura, construcción
y urbanismo. Vol. 24, No.4 (2001), pp.451
Montaña Vivas Jiménez, Matilde de la Cruz Solis. IX Jornadas de información y
documentación en ciencias de la salud (24-26 de septiembre 2001) Complejo Cultural
San Francisco. Cáceres. Vol. 24, No.4 (2001), pp.452-453
Javier Martínez. Nacimiento de Sparc Europe. Vol. 24, No.4 (2001), pp.454
Rosa Sancho. Informe del V taller iberoamericano de indicadores de ciencia y
tecnología. Vol. 24, No.4 (2001), pp.455-458
Internet
Ángela Sorli Rojo, José Antonio Merlo Vega. Recursos sobre propiedad intelectual en
internet. Vol. 24, No.4 (2001), pp.459-467
Crítica de libros
Rosa Sancho. Statistical methods for the information professional. A practical,
painless approach to understanding, using and interpreting statistics (Liwen Vaughan).
Vol. 24, No.4 (2001), pp.469
Viviana Fernández Marcial. Procesamiento de la información científica (Wilfrid
Lancaster y María Pinto, coords). Vol. 24, No.4 (2001), pp.470-471
Sección Bibliográfica
CINDOC CSIC. Sección Bibliográfica. Vol. 24, No.4 (2001), pp. 473-492
E S T U D I O S
ANÁLISIS DE REFERENCIAS BASADO EN UN MODELO
DE ESPACIOS VECTORIALES: LA INVESTIGACIÓN
EN HISTORIA CONTEMPORÁNEA EN JAÉN
DURANTE 1990-1995
José Luis Ortega Priego*
Resumen. La representación espacial de las relaciones que existen entre los in-
vestigadores en Historia Contemporánea de Jaén durante el periodo 1990-
1995 a través de su comportamiento en la realización de las citas es el ob-
jetivo de este trabajo. A través de un análisis de referencias basado en un
Modelo de Espacios Vectoriales (VSM) y representado gráficamente a tra-
vés del Escalamiento Multidimensional (MDS) se obtienen resultados sobre
los frentes de investigación, quién los encabeza y quiénes forman parte de
los mismos, y las relaciones «discípulo / maestro» existentes entre los in-
vestigadores.
Palabras clave: bibliometría; análisis de citas; Modelo de Espacios Vectoria-
les (VSM); Escalamiento Multidimensional (MDS); mapas de la ciencia;
historia contemporánea.
Abstract. The spatial performance of the relationships there are among resear-
chers in Contemporary History of Jaén for 1990-1995 through their beha-
viour in citing process is the objective of this work. Through reference
analysis based on Vectorial Spaces Model (VSM) and displayed in a gra-
phic thanks to Multidimensional Scaling (MDS) results about research fronts
are obtained: who leads them, who participates, and the «disciple/master»
relationships established among researchers.
Keywords: bibliometrics; citation analysis; Vectorial Spaces Model (VSM);
Multidimensional Scaling (MDS); mapping of science; contemporary history.
Introducción
En las dos últimas décadas, los estudios de referencias y citas están cobrando un
gran desarrollo dentro de la Bibliometría y la Cienciometría. A mediados de los años
sesenta, Solla Price (1) empieza a estudiar las relaciones entre los trabajos científicos
a través de sus citas, y en los setenta Small (2) presenta sus primeros estudios sobre
la capacidad de la co-citación de trabajos para estudiar la afinidad de contenido de los
trabajos científicos. Pero es en los años ochenta cuando White y Griffith (3) concre-
tan las investigaciones en el análisis de co-citación de autores (ACA).
Un aspecto muy interesante de los análisis de citas es la aplicación de técnicas
multivariantes para su estudio. Se puede obtener una representación gráfica, ya que las
similitudes entre trabajos o autores se pueden transformar en distancias y éstas pro-
* Instituto de Estudios Giennenses. Biblioteca.
Correo-e: jose_ortega@c4.com.
Recibido: 17-7-2000; segunda versión: 3-9-2001.
Rev. Esp. Doc. Cient., 24, 4, 2001
369
José Luis Ortega Priego
yectarse en un espacio dimensional a través de diferentes modelos (clustering, PCA,
MDS, etc.). Es lo que se ha venido a denominar los «mapas de la ciencia» (Mapping
of Science) que Noyons (4) define como «paisajes de campos de investigación cien-
tífica creados por el análisis cuantitativo de datos bibliográficos». En este ámbito cabe
destacar los trabajos de Garfield (5, 6, 7) en el ISI, donde bajo el nombre de «Scien-
tography» desarrolla representaciones gráficas a partir de un artículo o una revista para
la identificación de los frentes de investigación más punteros o el nacimiento de nue-
vas disciplinas.
También cabe destacar los proyectos que Noyons y Van Raan (8, 9, 10) y Noyons
et. al. (11) están desarrollando en el CTWS de la Universidad de Leiden, sobre la cons-
trucción de mapas a partir del análisis de co-ocurrencias de palabras y autores.
Finalmente no podemos olvidar los trabajos que Leydesdorff (12, 13, 14, 15), en
Amsterdam, está desarrollando sobre la importancia de la «Triple Helix» (universidad-
industria-gobierno) en los procesos de investigación científica.
En España se puede destacar el trabajo de Moya y Jiménez (16) sobre la identifi-
cación de los frentes de investigación en Biblioteconomía y Documentación a través
de los análisis de citas de autores, y existen trabajos en castellano que describen es-
tas técnicas (17, 18).
De este modo la cita, definida como «una transacción intelectual, un reconoci-
miento expreso de una «deuda intelectual» hacia una fuente de información previa»
(19), se ha convertido en un medio para conocer y estudiar las relaciones o vínculos
que pueden existir entre autores, títulos, revistas y campos de investigación.
Sin embargo, el valor de la cita como medio para el estudio de la productividad
de un autor, el factor de impacto de una publicación o el mapeo de una comunidad
científica, es objeto de diversas controversias. Mientras que para unos (20) la cita ad-
quiere un grado de validez hasta el punto de convertir los estudios de citas en una
ciencia independiente «Citationology», para otros (19, 21, 22) la cita puede ser in-
fluenciada por intereses personales y arbitrarios que desvirtúan su valor objetivo.
La aparición de la red Internet y su carácter hipertexto ha multiplicado aún más si
cabe el valor de la cita, ya que ésta se nos muestra como un medio potente, no sólo
para comprender la organización y configuración de la red (23, 24, 25), sino como
una herramienta más en las investigaciones sobre recuperación de información (26) o
evaluación de recursos electrónicos dentro de Internet —Google, CiteSeer— (27, 28).
Por último, el uso de estas técnicas dentro del campo de las Humanidades es ine-
xistente en España, aunque sí se aprecia en el extranjero (29, 30). Sólo cabe destacar
los análisis bibliométricos cuantitativos de Rodríguez Alcalde (31) sobre la investiga-
ción en Prehistoria, Rubio (32) sobre el periodo del franquismo y Ruiz Franco (33)
sobre la Guerra Civil.
1 Objetivos
El propósito principal de este trabajo es la representación espacial de las relacio-
nes que existen entre los investigadores en Historia Contemporánea de Jaén durante
el periodo 1990-1995 a través de su comportamiento en la realización de las citas. Se
busca proyectar los grupos de autores en función de a quién y con qué frecuencia ci-
tan a otros autores del mismo ámbito de investigación, destacando así las escuelas o
370
Rev. Esp. Doc. Cient., 24, 4, 2001
Análisis de referencias basado en un modelo de espacios vectoriales
las tendencias generales de determinados grupos a la hora de citar. De esta manera,
los grupos que se identifiquen no sólo serán agrupados por afinidad temática, sino tam-
bién por afinidad en su comportamiento a la hora de citar a uno u otro autor.
2 Metodología
2.1 Campo de estudio
La población objeto de estudio está constituida por un total de 22 autores que han
trabajado sobre la Historia Contemporánea en Jaén durante el periodo 1990-1995. La
elección de este campo de estudio se debe a:
1.º El comportamiento más subjetivo en la realización de sus citas, los aspectos
ideológicos de éstas (33) y el valor de la «cita ad hominem», que posee la His-
toria nos permiten representar las escuelas y las relaciones «maestro/discípu-
lo» que existen en la comunidad.
2.º El nivel más bajo de especialización, lo que hace que las citas nunca se reali-
cen por afinidad temática. Si se hubiera optado por un nivel más general (His-
toria de Jaén) los grupos se identificarían claramente por especialidades, en vez
de por autores.
3.º Las publicaciones en Historia Contemporánea en Jaén presentan un número
mayor con respecto a otras especialidades, lo que hace que la especialidad no
esté localizada en un único ámbito, lo que favorece distintos «enfoques» de la
realidad histórica, y así distintas escuelas.
4.º Los autores se circunscriben a un determinado tema de investigación, lo que
nos ofrece además una visión de los frentes de investigación (16).
2.2 Software y herramientas
Para la realización de este trabajo se ha contado con una tabla desarrollada en Mi-
crosoft Excel 2000» (34) donde se han cuantificado las referencias de los autores y
los cálculos de similitud. Para desarrollar el modelo de escalamiento multidimensio-
nal se ha contado con el programa ViSta: Sistema Estadístico Visual, versión 5.0.5 en
castellano, especializado en cálculos estadísticos y modelos espaciales, desarrollado
por Forrest W. Young (35). Finalmente se ha utilizado Unlead PhotoImpact 3.02 Spe-
cial Edition (36) para el retoque de la imagen generada por el modelo.
2.3. Selección de autores
El proceso de selección de autores se ha realizado en dos fases:
1.º Se han identificado y seleccionado previamente todas las revistas de investi-
gación histórica o que al menos contengan algún artículo de investigación his-
tórica, aunque ese no sea el objetivo de la publicación, que se han publicado
en la provincia de Jaén durante el período 1990-1995 (tabla I).
Rev. Esp. Doc. Cient., 24, 4, 2001
371
José Luis Ortega Priego
2.º Una vez extraídos los artículos relevantes (Historia Contemporánea en Jaén)
se han tomado las citas contenidas con el propósito de ampliar de la forma más
exhaustiva posible el número de trabajos que se encontraban dispersos en pu-
blicaciones foráneas a la provincia o de temática alejada. Este tipo de publi-
caciones son principalmente las ponencias de congresos.
Las publicaciones que aglutinan un mayor número de trabajos son el Boletín del
Instituto de Estudios Giennenses y el Boletín de la Cámara de Comercio que repre-
sentan el 34% y 28% respectivamente de los artículos.
Una vez seleccionadas las publicaciones se vacían los 46 artículos que versan so-
bre la Historia Contemporánea en Jaén y provincia. Y a partir de éstos, se extrae un
total de 218 citas, de las que a su vez se extrae un total de 22 autores.
Tabla I
Listados de publicaciones
Revista
Artículos
Frecuencia
Boletín de la Cámara Oficial de Comercio e Industria de Jaén
16
0,34782609
Boletín del Instituto de Estudios Giennenses
13
0,28260870
2ª Congreso de Historia de Jaén 1991
6
0,13043478
Senda de los Huertos
2
0,04347826
Alsur
2
0,04347826
Códice
2
0,04347826
Revista de la Facultad de Humanidades de la Universidad de Jaén
1
0,02173913
11º Congreso «Hespérides» de Profesores Investigadores 1992
1
0,02173913
6º Simposium de Historia Económica 1992
1
0,02173913
6º Congreso de Andalucismo Histórico 1993
1
0,02173913
Anuario de Historia Contemporánea
1
0,02173913
46
0,00000001
2.4. Selección de citas
Con la lista de autores comenzamos a señalar el número de referencias que cada
autor está haciendo a los autores ya contenidos en la lista. Así se van extrayendo una
por una las referencias que cada autor va haciendo. Una vez expresadas las referencias
en una pequeña plantilla se pasan a una tabla formada en cada fila por el autor
y en cada columna por el resto de autores, señalándose en cada campo si hace o no
hace referencia a ese autor y el número de veces. Estos datos se muestran en la tabla
II, donde la columna «total» indica el número total de referencias hechas por cada au-
tor, y la diagonal indica el número de veces que cada autor referencia trabajos propios.
3.5 Modelo de Espacios Vectoriales (VSM)
Como se puede apreciar, la tabla construida nos ofrece las similitudes que cada
autor, a través de sus referencias, presenta con respecto a los demás autores. Se cons-
truye así un perfil de cada autor modelado por su comportamiento a la hora de citar
al resto de investigadores. Esto hace posible que cada tupla de un autor se pueda con-
372
Rev. Esp. Doc. Cient., 24, 4, 2001
Análisis de referencias basado en un modelo de espacios vectoriales
vertir en un vector donde A represente al autor, el subíndice i el orden del autor, el
superíndice n el número de dimensiones y R las referencias a cada autor, siendo así
su representación:
A n = (R 1, R 2, ..., R n)
i
i
i
i
Antes de proceder al análisis se equiparan todas las referencias a una medida co-
mún, ya que un autor que haya publicado más, o que sus trabajos contengan más re-
ferencias no representa lo mismo que aquél que ha publicado una sola obra con muy
pocas referencias. Así se equiparan todas las referencias dividiendo cada una entre el
total de las referencias realizadas por el autor y así se ve el valor o preponderancia de
cada referencia en el número total de cada autor. La fórmula sería:
R 1
i
––––
∑ R ni
Y la tabla III muestra el resultado.
2.6 Matriz de similaridad
Una vez obtenidos los vectores de n-dimensiones (en este caso 22 dimensiones)
se procede a construir una matriz de similaridad. Con ella trataremos de medir el gra-
do de semejanza que existe entre cada vector. Para ello se va a tomar la fórmula del
coseno de Salton (37), ya que genera una menor dispersión y una mayor compacta-
ción de los resultados en un modelo de escalamiento multidimensional (MDS) (38),
mientras que las de Dice (39) y Jaccard (40), con resultados muy similares, mantie-
nen muchas diferencias con las similaridades extremas. Así pues, la fórmula del co-
seno sería:
∑ R R
n
n
i
j
S(A , A ) = –––––––––––
i
j
√∑ R 2 ∑ R 2
i
j
De esta forma se obtiene la matriz de similaridad. Los valores de similaridad en-
tre los diferentes autores vienen expresados en una escala (0,1) en la que los valores
más cercanos al 0 expresan una gradual disimilaridad, diferencia entre autores, mien-
tras que los más cercanos al 1 demuestran un mayor grado de similitud, hasta llegar
a un punto de similaridad total como sucede con las similaridades de los mismos au-
tores S(A , A ) = 1. Por otro lado, valga decir que al tratarse de un producto escalar, o
i
i
sea, una multiplicación entre dos vectores, el orden no altera el producto por lo que
S(A , A ) = S(A , A ).
i
j
j
i
2.7 Matriz de distancias
Una vez calculadas las similitudes pasamos a representar las distancias que exis-
ten entre cada vector en este espacio n-dimensional. Para ello transformaremos las si-
Rev. Esp. Doc. Cient., 24, 4, 2001
373
José Luis Ortega Priego
4
5
7
6
5
6
4
5
5
1
4
2
1
5
6
1
33
68
26
12
13
14
Total
210
7
8
22
15
0
21
6
6
20
0
19
4
3
1
1
1
1
2
9
18
5
4
2
1
2
1
1
1
1
17
18
7
1
16
10
13
1
1
2
1
1
6
15
4
8
14
14
1
1
1
2
13
0
12
0
11
0
10
9
1
3
4
8
Tabla II
10
8
19
19
7
1
1
2
Número de referencias por autor
6
5
5
4
2
2
1
1
20
5
1
1
2
4
3
2
1
1
1
2
2
1
3
35
47
3
2
2
2
3
6
1
1
11
22
1
10
1
11
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
López Cordero, J. A.
Cobo Romero, F.
Cuevas Mata, J.
Garrido González, L.
Coronas Tejada, L.
Araque Jiménez, E.
Sánchez Martínez, J.
López Villarejo, F.
López Pérez, M.
Moreno Jara, M.
Cejudo García, E.
Maroto Martos, J. C.
Nieves Carrascosa, J.
Martínez Ortiz, J. J.
Checa Godoy, A.
Hernández Arme., S.
Artillo González, J.
Gay Armenteros, J.
Arcadia Llacer, M.
Higueras Maldo., J.
Garrido Almona., A.
Tarifa, A.
374
Rev. Esp. Doc. Cient., 24, 4, 2001
Análisis de referencias basado en un modelo de espacios vectoriales
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Total
22
22
0,5833
0,5714
1,1548
21
0
20
1
1
19
0
18
0,1212
0,1154
0,25
0,2
0,2
0,0769
1
1,9635
17
0,1515
0,0588
0,4
0,0385
0,5
1
0,25
0,0769
1
3,4757
16
0,1471
0,5385
0,2
0,8855
15
0,0147
0,1429
0,0769
0,25
0,25
0,7345
0
14
0,3333
0,2857
0,619
0
00
13
0,03
0,2
0,143
0,373
12
0
Tabla III
11
0
10
0
9
0,303
0,25
0,4286
0,8
1,7816
Frecuencia de referencias por autor
8
0,7308
0,7308
7
0,1667
0,2
0,3667
6
0,0735
0,8333
0,8
0,4
0,4
1
0,0714
3,5783
5
0,1429
0,0833
0,2262
4
0,0909
0,5147
0,4
0,1429
0,0385
0,4
0,4
0,25
0,2308
2,4677
3
0,029
0,029
2
0,1618
0,75
1
0,0769
0,0714
2,0601
1
0,303
0,25
1
2
3
4
5
6
7
8
9
10
11
12
12
14
15
16
17
18
19
20
21
22
Rev. Esp. Doc. Cient., 24, 4, 2001
375
José Luis Ortega Priego
militudes en distancias, restándoles 1 a las similitudes. De esta forma tendremos cuán-
to difieren unos autores de otros.
2.8 Agrupamiento
Una vez calculadas las similitudes y sus distancias se procede a la representación
gráfica de los datos. Como habíamos dicho, nuestro objetivo era representar las rela-
ciones que existen entre diversos autores y los frentes de investigación que de ahí sur-
gen. Para ello existen diferentes técnicas multivariantes que nos permiten el agrupa-
miento y la representación espacial de diferentes objetos, como son las técnicas de
Clustering, Análisis de Componentes Principales (PCA) y el Escalamiento Multidi-
mensional (MDS) (16).
En este caso se ha optado por el Escalamiento Multidimensional clásico o métri-
co (41), no sólo porque encaja de forma muy efectiva con Modelos de Espacios Vec-
toriales (38), sino porque permite la construcción de mapas de una realidad abstracta.
El MDS consiste en «un conjunto de técnicas de análisis de datos cuya finalidad
es mostrar la distancia entre los datos a través de una representación geométrica» (42).
Su origen está en los estudios de Torgerson en el MDS métrico (43) y Kruskal en el
no-métrico (44). Mediante este algoritmo se reduce un espacio vectorial de n-dimen-
siones a otro de 2 o 3 dimensiones, lo cual permite la representación gráfica de estos
vectores y ver su posicionamiento en el espacio.
4 Resultados
El resultado del modelo de escalamiento multidimensional (MDS) presenta un gra-
do de stress de 0,409 más elevado que el alcanzado por Moya (16), aunque como se-
ñala Young (35) «el valor de stress se ve afectado por el número de estímulos y di-
mensiones, siendo prácticamente imposible decir si un valor particular es bueno o
malo».
Como hemos comentado, las comparaciones entre autores se realizan en función
de su comportamiento a la hora de citar a otros autores; de esta forma los «clusters»
que aparecen son grupos de autores que citan a los mismos autores y con una fre-
cuencia elevada. Como se muestra en la tabla IV, los grupos han sido definidos por
el nombre del autor o autores que concentran en mayor medida las citas de estos gru-
pos.
Así el grupo 1 se caracteriza porque todos sus autores citan a Julio Artillo y con
una alta frecuencia. Esto es debido a que Artillo es pionero en las investigaciones en
la segunda mitad del siglo XIX, tema también principal de los autores que le citan.
Por otro lado, el grupo 2 está formado por autores que citan principalmente a
Eduardo Araque, motivado en este caso por afinidad temática en el campo de la in-
vestigación geográfica y forestal, lo que muestra el marcado carácter periférico del
grupo.
Por otro lado, el grupo 3, más difuso, lo forman autores con una mayor vincula-
ción a Cobo Romero, con temáticas relativas a la primera mitad del siglo XX (Gue-
rra Civil, Educación). Dentro de este grupo merece destacar un subgrupo formado sólo
376
Rev. Esp. Doc. Cient., 24, 4, 2001
Análisis de referencias basado en un modelo de espacios vectoriales
Figura 1
Mapa de referencias de los autores
Tabla IV
Grupos y frentes de investigación identificados
Grupos
Autores
Denominación
Fuentes de investigación
1
(A4, A15, A10, A13, A18)
J. Artillo
Política, s. XIX
2
(A21, A6, A7, A11, A12)
E. Araque
Geografía, M. Forestal
3
(A3, A9, A19, A14, A22)
F. Cobo Romero
Guerra Civil, s. XIX
4
(A8, A17, A16, A2)
A. Gay Armenteros
Guerra Civil, Minería, s. XIX
por dos autores, A. Tarifa y M. Ortiz que representa el frente más destacado en estu-
dios demográficos, iniciados anteriormente por Cobo Romero.
Y por último, el grupo 4 situado en el centro de la figura, dirige sus citas de for-
ma más clara a Gay Armenteros, trata los temas relativos a la Guerra Civil y segun-
da mitad del XIX. No deja de ser significativo el hecho de que dos de los nominado-
res de grupo (Artillo y Cobo Romero) formen parte de este último grupo. Esto es
debido a que estos autores se apoyan a su vez en los trabajos de Gay Armenteros, de-
cano de la investigación histórica contemporánea en Jaén, y actúan como puente en-
tre Gay Armenteros y los investigadores del grupo 3.
Aparte de la definición de los grupos de investigación se pueden extraer otros re-
sultados, como es el hecho de que a medida que nos alejamos del centro, los grupos
son más definidos y claros, así los principales grupos los encontramos en la periferia.
Rev. Esp. Doc. Cient., 24, 4, 2001
377
José Luis Ortega Priego
Por el contrario, a medida que nos acercamos al centro, los grupos son más difusos y
no representan una tendencia definida en sus referencias, sino que se dispersan en to-
dos los grupos o autores que tienen alrededor. Así el grupo del centro se puede decir
que está a medio camino entre los grupos 1, 2 y 3.
También se aprecia la existencia de autores no definidos claramente en ningún gru-
po sino que actúan a modo de nexos entre estos grupos, como el autor López Corde-
ro, el más productivo de todos, y que se sitúa entre los grupos 3, 4 y 1. Igual sucede
con los autores Coronas e Higueras.
Por último, los autores que nombran los grupos (Artillo, Araque, Cobo Romero y
Gay) son autores que poseen una dilatada actividad investigadora en este campo, que
se remonta a 15 o 20 años atrás. Esto confirma la relación «discípulo/maestro» que
existe en estos grupos, al ser estos autores referencia en los procesos de investigación
histórica en Jaén. El hecho de que algunos de estos autores se encuentre dentro de sus
propios grupos se debe a un alto índice de autocitación (Araque, 0,8333)
4 Conclusiones
Como se ha podido ver, el análisis de referencias nos aporta una perspectiva nue-
va del estudio de las comunidades científicas, ya que desde el análisis de citas pode-
mos observar a una comunidad desde «arriba», esto es, a los autores más reconocidos,
más veteranos, más asentados en la investigación. El análisis de referencias nos ofre-
ce una mirada en contrapicado, ofreciéndonos la imagen de los autores más noveles,
menos asentados y menos conocidos, pero que, no cabe duda, son parte importante en
los procesos de investigación y que serán los llamados a la consolidación y perfec-
cionamiento de campos de investigación o a la creación de nuevos frentes.
Las relaciones «discípulo/maestro» localizadas en este trabajo no hacen sino con-
firmar este hecho dinámico de la ciencia, en el que las generaciones se van renovan-
do en los procesos de investigación, y con ellas los temas y las metodologías. Por ello,
el uso de estas técnicas en modelos o mapas dinámicos nos podría aportar una infor-
mación muy valiosa sobre estas relaciones generacionales.
Está claro que este trabajo sólo puede ser contemplado como un botón de mues-
tra, un modelo aún en estado de embrión, pero que su aplicación en otras facetas no
estrictamente bibliométricas nos puede aportar datos significativos sobre otras reali-
dades. Su uso en el ámbito de la recuperación de información nos permitiría presen-
tar sistemas de recuperación cualitativos y de un alto valor informativo para la docu-
mentación científica. Por otro lado, su adaptación a los indicadores de evaluación de
la actividad científica y técnica sería un hecho importante para la toma de decisiones
en políticas científicas.
Por último, la inefable ayuda que hoy en día están suponiendo para la bibliome-
tría los modelos multivariantes es indiscutible. En concreto, el Modelo de Espacios
Vectoriales (VSM), y su representación gráfica a través del Escalamiento Multidi-
mensional (MDS), han demostrado ser de gran utilidad a la hora de analizar pobla-
ciones con una alta cantidad de variables. La cantidad y la calidad de informaciones
que estos modelos nos suministran deben tenerse en cuenta, no sólo para la Biblio-
metría sino para cualquier otro aspecto en el ámbito de la Documentación.
378
Rev. Esp. Doc. Cient., 24, 4, 2001
Análisis de referencias basado en un modelo de espacios vectoriales
6 Agradecimientos
Se agradece al Instituto de Estudios Giennenses su apoyo en la localización e iden-
tificación de las fuentes de este trabajo. Especialmente a Miguel Valero su apoyo y a
José Juan Valenzuela su ayuda.
7 Bibliografía
1. PRICE, J. D. De S. Networks of scientific papers, Science, 1965, 149: 510-515.
2. SMALL, H. Co-citation in the scientific literature: a new measure of the relationship bet-
ween two documents, Journal of the American Society for Information Science, 1973, 24(4):
265-269.
3. WHITE, H. D., GRIFFITH, B. C. Author cocitation: a literature measure of intellectual
structure. Journal of the American Society for Information Science, 1981, 32(3): 163-171.
4. NOYONS, E. C. M., MOED, H. F. y LUWEL, M. Combining Mapping and Citation
Analysis for Evaluative Bibliometric Purposes: A Bibliometric Study. Journal of American
Society for Information Science, 1999, 50(2): 115-132.
5. GARFIELD, E. Research fronts. Current Contents, 1994, 41: 3-7.
6. GARFIELD, E. Mapping the Precursors of Modern Structural Biology. Institute for Scien-
tific Information (2001) [en línea] [citado 01-05-25].
http://www.isinet.com/isi/hot/essays/13.html
7. GARFIELD, E. Scientography: Mapping the Tracks of Science. Institute for Scientific In-
formation (2001) [en línea]. [citado 01-06-14]
8. NOYONS, E. C. M., VAN RAAN, A. F. J. Bibliometric Mapping of Agricultural Rese-
arch, CTWS Working Papers, 1998 [en línea]. [citado 01-03-09].
http://sahara.fsw.leidenuniv.nl/ed/nrlo/nrlo00.html
9. NOYONS, E. C. M., VAN RAAN, A. F. J. Mapping Scientometrics, Informetrics, and Bi-
bliometrics, CWTS Working Papers, 1998 [en línea]. [citado 01-03-09].
http://sahara.fsw.leidenuniv.nl/ed/sib/home.html
10. NOYONS, E. C. M., VAN RAAN, A. F. J. Monitoring Scientific Developments from a
Dynamic Perspective: Self-Organized Structuring to Map Neural Network Research. Jour-
nal of the American Society for Information Science, 1998, 49: 69-81.
11. NOYONS, E. C. M. Bibliometrics Mapping as a Science Policy and Research Manage-
ment Tool. Leiden: DSWO, Leiden University, 1999.
12. LEYDESDORFF, L. Various Method for the Mapping the Science. Scientometrics, 1987,
11: 295-324.
13. LEYDESDORFF, L., ZAAL, R. Co-Words and Citations: Relations between Document
Sets and Environments. En: EGGHE, L. and ROUSSEAU, R. (editores). Informetrics 87/88.
Amsterdam: Elsevier, 105-119, 1988.
14. LEYDESDORFF, L., ETZKOWITZ, H. The Triple Helix as a model for innovation stu-
dies, Science and Public Policy, 1998, 25(3): 195-203.
15. LEYDESDORFF, L., CURRAN, M. Mapping University-Industry-Government Relations
on the Internet: the Construction of Indicators for a Knowledge-based Economy. Cyber-
metrics, 2000 [en línea]. issue 1, pr. 4 [citado 01-04-27].
http:/www.cindoc.csic.es/cybermetrics/articles/v4ilp2.html
16. MOYA, F. de, JIMENEZ, E., MONEDA, M. de la. Research Fronts in Library and Infor-
mation Science in Spain (1985-1994). Scientometrics, 1998, 42(2): 229-246.
17. LOPEZ-MARTINEZ, R. E. Mapas tecnológicos como indicadores de la estructura cog-
noscitiva de la investigación. En: ALMADA DE ASCENCIO, M., et. al. Contribución al
Rev. Esp. Doc. Cient., 24, 4, 2001
379
José Luis Ortega Priego
desarrollo de la sociedad del conocimiento. México: Universidad Nacional Autónoma de
México, 150-160, 2000.
18. CALLON, M., COURTAIL, J. P. y PENAN, H. Cienciometría: la medición de la activi-
dad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea, 1995.
19. CARRASCAL, L. M. La referencia bibliográfica como medida de ‘utilidad científica’. Eto-
loGuía, 1997, 15: 17-30.
20. GARFIELD, E. Random Thoughts on Citationology, Its Theory and Practice. Scientome-
trics, 1998, 43(1): 69-76.
21. HAUFFE, H. Is Citation Analysis a Tool for Evaluation of Scientific Contribution En: 13th
Winterworkshop on Biochemical and Clinical Aspects of Pteridines. 1994, Feb. 25, St.Ch-
ristoph/Arlberg.
22. GILBERT, N. G. References as Persuasion. Social Studies of Sciences, 1977, 7: 113-122.
23. ROUSSEAU, R. Sitations: an exploratory study. Cybermetrics [en línea], 1997, v.1, issue
1, p. 1 [citado 01-04-18].
http://www.cindoc.csic.es/cybermetrics/articles/vlilpl.hjtml
24. BOUDOURIDES, M. A., SIGRIST, B., ALEVIZOS, P. D. Webometrics and the Self-Or-
ganization of the European Information Society. Draft Report, Task 2.1 of the SOEIS pro-
ject, Rome meeting, June 17-19, 1999.
25. ALMIND, T. C., INGWERSEN, P. Informetric analyses on the world wide web: Metho-
dological Approaches to ‘Webometrics’. Journal of Documentation, 1997, 53(4): 404-426.
26. FIGUEROLA, C. G., ALONSO, J. L., ZAZO, A. F. Nuevos puntos de vista en la Recu-
peración de Información en el Web. VI Jornadas Españolas de Documentación FESABID
98 [en línea]. [citado 01-05-24].
http://www.florida-uni.es/~fesabid98/Comunicaciones/c_g_figuerola_g_figuerola.htm
27. LAWRENCE, S., GILES, C. L., BOLLACKER, K. Digital Libraries and Autonomous Ci-
tation Indexing. IEEE Computer, 1999, 32(6): 67-71.
28. BRIN, S., PAGE, L. The Anatomy of a Large-Scale Hypertextual Web Search Engine. Pro-
ceedings of the 7th International World Wide Web Conference, April 1998 [en línea] [ci-
tado 01-07-07]. http://google.stanford.edu/long321.htm
29. GRAHAM, S. R. Historians and Electronic Resources: A Citation Analysis. JAHC, 2000
[en línea] 3(3) [citado 01-07-15].
http://www.mcel.pacificu.edu/JAHC/JAHCIII3/WORKS/Graham.html
30. FINKENSTAEDT, T. Measuring Research Perfomance in the Humanities. Scientometrics,
1990, 19 (5-6): 409-417.
31. RODRIGUEZ ALCALDE, A. et. al. Análisis bibliométrico de Trabajos de Prehistoria: un
chequeo a la prehistoria española de las tres últimas décadas. Trabajos de Prehistoria, 1993,
50: 10-37
32. RUBIO LINIERS, M. C., RUIZ FRANCO, M. R. La investigación histórica sobre el fran-
quismo: un análisis bibliométrico de las revistas españolas (1976-1992). Revista Española
de Documentación Científica, 1994, 17(4): 413-426
33. RUIZ FRANCO, M. R., RIESCO, S. Veinte años de producción histórica sobre la Guerra
Civil Española (1975-1995): una aproximación bibliométrica. Revista Española de Docu-
mentación Científica, 1999, 22(2): 174-197.
34. Microsoft Excel [cd-rom]. Ver. [Estados Unidos]: Microsoft Corporation, c 1999. Progra-
ma informático, 2000
35. YOUNG, F. W. (1998). ViSta: The Visual Statistic System. [en línea] Ver. 5.0.5EW [Ca-
rolina del Norte]: UNC, c1991-1998. 3,87 Mb. Programa informático.
http://forrest.psych.unc.edu/research
36. Unlead PhotoImpact: Special Edition [cd-rom]. Ver. 3.02. [Estados Unidos]: Unlead Sys-
tems, Inc., c1992-1997. Programa informático
37. SALTON, G., MCGILL, M. Introduction to Modern Information Retrieval. New York: Mc-
Graw-Hill, 1981.
380
Rev. Esp. Doc. Cient., 24, 4, 2001
Análisis de referencias basado en un modelo de espacios vectoriales
38. RORVIG, M. Images of Similarity: A visual exploration of Optimal Similarity Metrics and
Scaling Properties of TREC Topic-Document Sets. Journal of the American Society for In-
formation Science, 1999, 50(8): 639-651.
39. GRIFFITHS, A., LUCKHURST, H., WILLETT, P. Using interdocument similarity infor-
mation in document retrieval systems. Journal of the American Society for Information
Science, 1986, 37(1): 3-11.
40. VAN RIJSBERGEN, C. Towards an Information Logic. Glasgow: University of Glasgow,
Dept. of Computing Science. (Research Report CSC/89/R8), 1989.
41. CONCHILLO JIMENEZ, A., RUIZ GALLEGO-LARGO, T. Escalamiento Multidimen-
sional: Una metodología de análisis en el campo de los factores humanos. Boletín Digital
FH, 2, 1993 [en línea]. [citado 01-05-24].
http://www.tid.es/presencia/boletin/boletin2/art2003.htm
42. YOUNG, F. W. Multidimensional Scaling. En KOTZ, S., JOHNSON, N. L. and READS,
C. B. (ed.). Encyclopedia of Statistical Sciences. Nueva York: John Wiley & Sons, 1985,
vol. V.
43. TORGERSON, W. S. Multidimensional scaling: Theory and method. Psychometrika.
1952, 17, 401-419.
44. KRUSKAL, J. B. Nonmetric multidimensional scaling. Psychometrika, 1964, 29, 1-27, 115-
129.
Rev. Esp. Doc. Cient., 24, 4, 2001
381
MEDICIÓN DE LAS ACTIVIDADES DE CIENCIA
Y TECNOLOGÍA. ESTADÍSTICAS E INDICADORES
EMPLEADOS
Rosa Sancho*
Resumen: Se presenta una relación de los procesos seguidos para obtener los
datos estadísticos relativos a las actividades de ciencia y tecnología, y la
subsiguiente producción de indicadores. Se indican las organizaciones in-
ternacionales encargadas de marcar las directrices a seguir en todos los
países para conseguir la comparación internacional de dichos indicadores.
Se analizan los principales indicadores utilizados en política científica, como
son: de inversiones en I+D (recursos económicos y humanos dedicados a
I+D), de resultados (producción científica, citas, patentes y balanza de pa-
gos tecnológicos). Se tratan también los indicadores de innovación tecno-
lógica. Se aportan algunos datos comparativos de indicadores de I+D de al-
gunos países.
Palabras clave: estadísticas de C y T, estadísticas de I+D, indicadores de I+D;
directrices para estadísticas de I+D, indicadores de inversiones en I+D, in-
dicadores de resultados de I+D, indicadores de innovación.
Abstracts: This paper deals with the state of the art of science and technology
statistics and indicators and the processes to obtain them. Some of the in-
ternational organisations in charge to specify guidelines to reach interna-
tional comparison, are presented. The main indicators used in science po-
licy are presented: input indicators, those are, R&D investment (government
budget, expenditure, and human resources on R&D); output indicators, R&D
results (scientific production, citation analysis, patents, technology balance
of payments). Indicators related to technological innovation are also consi-
dered. Comparative data on R&D indicators for some countries are presen-
ted.
Keywords: S&T statistics, R&D indicators, S&T statistic guidelines, R&D in-
put indicators, R&D output indicators, innovation indicators.
1 Introducción
El desarrollo de la ciencia, la tecnología y la innovación así como sus interaccio-
nes, se consideran factores determinantes tanto para asegurar el crecimiento económi-
co y el bienestar social, como para la creación de empleo y el aumento de la compe-
titividad internacional.
Sin embargo, dicho desarrollo y difusión de la ciencia y la tecnología es un pro-
ceso extremadamente complejo, dinámico y heterogéneo, debido, precisamente, a la
multiplicidad e intensidad de relaciones y vínculos entre todos los componentes de los
Sistemas de Ciencia, Tecnología e Innovación (1).
* CINDOC (CSIC). Correo-e: rosa.sancho@myct.es
Recibido: 6-6-01; 2.ª versión: 8-9-01.
382
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
El proceso científico se puede considerar como un balance coste-beneficio, o in-
versión-resultado («input-output»), según los modelos económicos. Los costes o in-
versiones en ciencia son tangibles y se miden con los mismos patrones que otras ac-
tividades, es decir, en términos de recursos financieros aportados, gastos originados y
recursos humanos disponibles. Por el contrario, los resultados o beneficios de la cien-
cia son intangibles, multidimensionales, y prácticamente imposibles de cuantificar en
términos económicos. Téngase en cuenta que lo que se trata de medir es la produc-
ción y el aumento del conocimiento y éste es un concepto intangible y acumulativo.
Además, estos beneficios de la ciencia se revelan sólo indirectamente y, a menudo,
con mucho retraso, por lo que el coste-beneficio de la ciencia no se puede estimar se-
gún modelos convencionales.
Cualquier proyecto de medición, análisis o evaluación de la actividad científica o
técnica requiere necesariamente un trabajo estadístico previo de toma de datos bási-
cos y posterior análisis de los mismos, para llegar a construir los necesarios indica-
dores de dicha actividad.
Se ha requerido un gran esfuerzo en todo el mundo hasta disponer de estadísticas
e indicadores válidos y comparables internacionalmente acerca de los aspectos cuan-
tificables de los Sistemas de Ciencia y Tecnología, en cada país.
2 Estadísticas de I+D
Desde el punto de vista estadístico, la C y T han sido consideradas durante mu-
chos años áreas muy específicas y aisladas, cuyas estadísticas, en caso de realizarse,
eran utilizadas por grupos muy especializados de economistas. En 1930, se realizaron
en la Unión Soviética los primeros intentos de medición de la investigación y el de-
sarrollo experimental (I+D), aplicando datos estadísticos, y en 1940 se iniciaron en los
Estados Unidos. Sin embargo, no fue hasta 1950 cuando la National Science Founda-
tion (NSF), de EE.UU., decidió enviar periódicamente a las empresas norteamericanas
una encuesta para recabar datos estadísticos de la I+D que se realizaba en ellas.
A partir de los años 50, la mayoría de los países con economías de libre mercado,
estimulados por el rápido crecimiento de los recursos nacionales dedicados a I+D, co-
menzaron a recoger datos sobre estas materias por medio de encuestas estadísticas. Sin
embargo, al analizar dichas encuestas se encontraron grandes diferencias, tanto en los
conceptos como en los métodos empleados por los distintos países, lo que hizo impo-
sibles las comparaciones internacionales. Se hacía necesario, por tanto, normalizar los
métodos empleados en las encuestas, como ya se había hecho con las estadísticas eco-
nómicas o sociales, lo que exigía utilizar conceptos armonizados internacionalmente.
Algunas instituciones internacionales se ocupan desde entonces de esta tarea. A con-
tinuación se describen brevemente las más importantes de Europa: OCDE (Organiza-
ción para la Cooperación y el Desarrollo Económicos, formada por 25 países); y EU-
ROSTAT (Oficina de Estadística de las Comunidades Europeas, formada por 15 países).
2.1 OCDE
La experiencia adquirida por la NSF ejerció gran influencia en la OCDE, la cual,
en 1963, decidió analizar los diversos métodos empleados para las encuestas sobre
Rev. Esp. Doc. Cient., 24, 4, 2001
383
Rosa Sancho
gastos de investigación y desarrollo experimental y los problemas técnicos que se pre-
sentaban en la medición de los recursos (presupuesto y personal dedicados a I+D), en
sus países miembros. Con este propósito se celebró en Frascati, cerca de Roma, la pri-
mera reunión de expertos en estadísticas de los países de la OCDE. Surgió así el
documento: Metodología normalizada propuesta para las encuestas sobre investiga-
ción y desarrollo experimental. Este documento, una vez revisado y aceptado por
los expertos de todos los países miembros de la OCDE, se denominó Manual de Fras-
cati (2).
Dicho Manual aporta las definiciones básicas de los conceptos empleados en la
actividades de I+D, así como la distinción entre I+D y otras actividades conexas, y
determina las normas y métodos para diseñar las encuestas que recogen los datos es-
tadísticos que permitan reflejar las inversiones y el personal dedicado a actividades de
I+D, de la misma manera en cada país (3). Desde su creación, el Manual de Frasca-
ti se ha convertido, de hecho, en la única guía internacional que existe sobre norma-
lización de la toma de datos estadísticos para la medida de inversiones en I+D. Su me-
todología es adoptada y utilizada tanto en los países miembros de la OCDE, como en
el resto del mundo.
Hasta la fecha ha tenido 5 ediciones, la 6ª y última será publicada previsiblemen-
te en 2002. En cada una de ellas se fueron introduciendo nuevos conceptos y mejo-
rando las definiciones de los mismos, se propiciaron desgloses más detallados, se in-
trodujeron nuevas clasificaciones funcionales, se ampliaron los campos y objetivos,
etc. Tras las sucesivas ediciones, se iba produciendo una apreciable mejora en las téc-
nicas de encuesta, con lo que aumentaron la precisión y comparabilidad de los datos.
A partir de este momento, la OCDE, basándose en el principio de consenso co-
mún entre sus países miembros, es el líder mundial en el desarrollo de manuales es-
tadísticos tendentes a homogeneizar, a nivel internacional, los procedimientos para la
selección y recogida de datos estadísticos de C y T y los subsiguientes indicadores.
El desarrollo de estas tareas no sería posible sin la estrecha cooperación con otras
organizaciones internacionales involucradas asimismo en la normalización estadística
(EUROSTAT, UNESCO, etc.), así como con las agencias nacionales responsables de
la recogida de los datos en cada país (Institutos Nacionales de Estadística).
A partir del Manual de Frascati, la OCDE ha editado otros, conocidos como de la
Familia Frascati, sobre la recopilación e interpretación de datos estadísticos relativos
a actividades científicas, tecnológicas o innovadoras, los cuales se van revisando y am-
pliando periódicamente (tabla I).
En la actualidad, los Manuales sobre Patentes e Innovación están siendo revisa-
dos, y se estudia la posibilidad de creación de un nuevo Manual sobre Productos e In-
dustrias de Alta Tecnología.
La antigua idea de crear un Manual sobre Bibliometría ha sido abandonada al en-
contrar una fuerte aposición en algunos países, debido, fundamentalmente, a los pro-
blemas de la fuente utilizada universalmente para obtener los datos de publicaciones
e impacto (Science Citation Index), la cual, por sus importantes limitaciones, no pue-
de ser considerada apta para asegurar una adecuada comparación internacional, sobre
todo para países no anglosajones y periféricos. Se aportarán más detalles al respecto
en el capítulo de Bibliometría. Sin embargo, la OCDE ha desarrollado unas instruc-
ciones para el uso de la Bibliometría como indicador de ciencia y tecnología, que cu-
bre tanto literatura científica como patentes (4, 5).
384
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
Tabla I
Manuales metodológicos de la OCDE para la medición de las actividades cientí-
ficas y tecnológicas (Manuales de la Familia Frascati)
Tipo de datos
Título
Inversiones y gastos en I+D
Método tipo para realizar encuestas sobre la
investigación y desarrollo experimental
(Manual de Frascati, 1963, 1970, 1976, 1981,
1983, y 2002, en preparación).
Estadísticas de I+D y medida de los resultados en
enseñanza superior. (Suplemento del Manual de
Frascati, 1989)
Balanza de Pagos Tecnológicos
Método para el recuento e interpretación de datos
(BPT)
sobre balanza de pagos tecnológicos (Manual de
BPT, 1990)
Innovación
Directrices para el recuento e interpretación de
datos sobre innovación tecnológica (Manual de
Oslo, 1992)
Patentes
Utilización de los datos de patentes como
indicadores de ciencia y tecnología (Manual
de Patentes, 1994)
Recursos Humanos en C y T
Manual sobre la medida de recursos humanos en
ciencia y tecnología (Manual de Canberra, 1995)
La OCDE elabora y publica repertorios y bases de datos de series temporales de
indicadores de C y T donde se recogen los datos suministrados por todos sus países
miembros; los más importantes son: Main Science and Tecnology Indicators (6), que
se publica dos veces al año, y Basic Science and Technology Statistics (7), que se edi-
ta cado dos años.
2.2 Comisión Europea. EUROSTAT
La oficina de estadísticas de I+D e Innovación, de la Dirección General XIII de
la Unión Europea (EUROSTAT), publica informes anuales sobre la financiación pú-
blica de I+D en los estados miembros de la UE (en la actualidad, formada por 15 pa-
íses), Research and Development Annual Statistics (8). Dichos informes anuales pro-
porcionan series cronológicas de datos, que se obtienen de encuestas anuales que llevan
a cabo los países miembros.
Las estadísticas de I+D de EUROSTAT tienen dos características peculiares; la
primera es que los datos se presentan distribuidos por regiones en todos los países de
la UE (en España, por Comunidades Autónomas). Hay que mencionar que OCDE está
estudiando la posibilidad de aplicar también distribuciones regionales, aunque, de mo-
mento, encuentra oposición por parte de algunos países no europeos. La otra caracte-
rística es que los datos de financiación pública se presentan desglosados por los obje-
tivos socioeconómicos de la investigación, conforme a la nomenclatura NABS
(Nomenclatura para el Análisis y Comparación de Presupuestos Científicos).
Rev. Esp. Doc. Cient., 24, 4, 2001
385
Rosa Sancho
La Comisión Europea (CE) ha publicado la segunda edición de los Indicadores
Europeos de C y T (Second European Report on S&T Indicators) (9), obra muy inte-
resante y de gran complejidad tanto por la enorme profusión de datos aportados, como
por los exhaustivos análisis comparativos que hace de ellos, tanto entre los países eu-
ropeos como entre éstos y el resto del mundo.
Por otra parte, en el año 2000, la CE encargó un ejercicio de evaluación compa-
rativa («benchmarking») de las políticas científicas llevadas a cabo en sus 15 países
miembros, utilizando 20 indicadores de C y T procedentes tanto de las fuentes de cada
país, como del propio EUROSTAT (10). Esta iniciativa tiene como objetivo apoyar el
intento europeo de crear el llamado «Espacio Europeo de Investigación».
2.3 Instituciones encargadas de las estadísticas nacionales
Los datos estadísticos nacionales de C y T se recopilan normalmente mediante en-
cuestas diseñadas en las respectivas oficinas estadísticas (en España, en el Instituto
Nacional de Estadística, INE), de acuerdo con las normas y metodología propuestas
por la OCDE y EUROSTAT. Dichas encuestas, de obligado cumplimiento según las
leyes de cada país, se envían, de forma regular, a las respectivas instituciones públi-
cas o privadas ejecutoras de I+D, para ser cumplimentadas. Así se consiguen series
temporales y tendencias. En España, el Instituto Nacional de Estadística (INE) publi-
ca cada dos años el compendio: Estadísticas sobre las actividades de Investigación
Científica y Desarrollo Tecnológico. I+D (11), fruto del tratamiento de los datos ob-
tenidos de dichas encuestas.
Paralelamente al análisis nacional, los datos se envían a las organizaciones OCDE
y EUROSTAT, las cuales elaboran y publican repertorios y bases de datos de series
temporales de indicadores de C y T de todos sus países miembros, como se ha dicho
anteriormente (6, 7, 8). Estas series se pueden considerar razonablemente comparables
desde 1970.
No todos los datos de C y T se recogen a través de encuestas, sino que se obtie-
nen de otras fuentes pensadas originariamente para otros propósitos administrativos,
como son los datos de los Presupuestos Generales del Estado, los de patentes, y los
de balanza de pagos tecnológicos.
Actualmente, las estadísticas de C y T se deben ajustar a los cambios en la estruc-
tura económica de los países. En algunos se considera prioritaria la inclusión de en-
cuestas y estudios de I+D en las industrias de servicios, y la recogida de datos más de-
tallados sobre flujos internacionales de C y T. Asimismo, es cada vez más importante
la medición de la transferencia de tecnología y la movilidad de los investigadores.
3 Indicadores de I+D
Se pueden definir como «indicadores» los parámetros que se utilizan en el proce-
so evaluador de cualquier actividad. Normalmente se emplea un conjunto de ellos,
cada uno de los cuales pone de relieve una faceta del objeto de la evaluación. Esto se
hace evidente en el caso de la ciencia, que al ser multidimensional, no podrá valorar-
se con un indicador simple.
386
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
Dado que no existen «valores de referencia» para los indicadores de C y T (por
ejemplo, no se puede precisar el valor óptimo de la inversión en I+D, o cuál es la pro-
porción adecuada de científicos por población activa), la evaluación de la ciencia por
medio de indicadores sólo se puede basar en comparaciones internacionales. No obs-
tante, las comparaciones entre países presentan algunos problemas, ya que éstos di-
fieren en las estructuras económicas, culturales e históricas, y tienen distintos sistemas
de I+D.
Desde los años 50, el número de indicadores disponibles de C y T se ha incre-
mentado en progresión geométrica (véase tabla II) (12).
Tabla II
Desarrollo de los indicadores de C y T con el tiempo.
Principales indicadores utilizados
Años 50 y 60
Años 70
Años 80
Años 90
Inversiones y gastos en
Inversiones y gastos en
Inverersiones y gastos en Inverersiones y gastos en
I+D
I+D
I+D
I+D
Patentes
Patentes
Patentes
Balanza de pagos tecnol.
Balanza de pagos tecnol. Balanza de pago tecnol.
Productos alta tecnología Productos alta tecnol.
Bibliometría
Bibliometría
Recursos humanos
Recursos humanos
Innovación (encuestas)
Innovación (encuestas)
Innovación mencionada en
literatura científica
Soporte público a tecnol.
industriales
Inversiones intangibles
Indicadores de tecnol.
de infor. y comunicac.
Una vez analizados los datos y elaborados los indicadores, éstos permiten com-
parar las inversiones en I+D entre los diferentes países, y entre un mismo país a lo
largo de distintos periodos de tiempo.
Tradicionalmente, se ha hecho una distinción entre los indicadores de inversiones,
resultados e impacto (13). A continuación se describen los principales indicadores uti-
lizados cuyos datos se recogen y analizan según una metodología normalizada.
3.1 Indicadores de inversiones en I+D
Miden los recursos nacionales dedicados a ciencia y tecnología. Se trata de los pri-
meros indicadores utilizados y los más comúnmente aceptados para evaluar y compa-
rar los esfuerzos en I+D en los diferentes países y regiones. Estos son:
Rev. Esp. Doc. Cient., 24, 4, 2001
387
Rosa Sancho
3.1.1 Indicadores de financiación pública destinada a I+D
Porcentaje de los Presupuestos Nacionales destinado a I+D. Este indicador mues-
tra la importancia relativa concedida a la I+D, en un país, en relación con otros obje-
tivos del Estado.
En España, las partidas asignadas a cada organismo público se presentan detalla-
das anualmente en el apartado Función 54, de los Presupuestos Generales del Estado.
3.1.2 Indicadores de gastos en actividades de I+D
Lo que se mide es el gasto interno total, tanto público como privado, que realizan
los organismos ejecutores de I+D (Empresas, Educación Superior y Administración),
para llevar a cabo sus actividades sistemáticas de I+D. La proporción entre el gasto
público (ejecutado por la Administración) y privado (ejecutado en las empresas), va-
ría considerablemente entre los países. En España, la proporción es aproximadamente
del 50%
Este indicador expresa el esfuerzo relativo realizado por un país para crear nuevo
conocimiento y para diseminar o transferir el ya existente.
El gasto en I+D como porcentaje del Producto Interior Bruto (PIB) de un país, es
el indicador por excelencia y el más utilizado por los políticos. Indica la «intensidad»
de la I+D nacional.
El gasto en I+D es un indicador de «input», lo que significa que mide sólo el es-
fuerzo dedicado a I+D, pero no la eficacia con la que dicho esfuerzo llega a producir
nuevo conocimiento. Es decir, debería esperarse que los países que gastan aproxima-
damente la misma proporción de dinero en I+D, alcanzarían unos resultados también
proporcionales, pero no es así; de hecho, éstos pueden variar grandemente en función
de la eficacia de sus Sistemas Nacionales de Ciencia, Tecnología e Innovación.
3.1.2.1 Gasto en I+D en la industria
Señala la importancia relativa de los gastos que realizan las empresas en I+D, en
relación al total de la economía del país. Se pueden contar también las ayudas públi-
cas para la I+D ejecutada en la industria. Este indicador expresa la fortaleza del sec-
tor industrial en el país, es decir, la «intensidad» de la I+D llevada a cabo en las in-
dustrias.
Los gastos generados por la I+D industrial indican también la competencia indus-
trial de un país, ya que se trata de cantidades que se emplean en investigación dirigi-
da y aplicada a solucionar los problemas o necesidades de las industrias, directamen-
te conectadas con objetivos económicos.
3.1.2.2 Gasto de I+D en la Enseñanza Superior y en la Administración
El gasto en I+D en la Enseñanza Superior expresa el esfuerzo relativo empleado
en la I+D ejecutada en las universidades, principalmente, respecto al total del país. El
388
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
mismo concepto, aplicado a la Administración, indica igualmente el esfuerzo en I+D
de los Organismos Públicos de Investigación, que pertenecen a la Administración, res-
pecto al total.
El Manual de Frascati recomienda la distribución de los recursos y gastos dedi-
cados a I+D según los sectores de ejecución y financiación, por campos de la ciencia
y según tipo de investigación.
3.1.3 Ejemplos comparativos
Como ejemplo de la aplicación de los indicadores de I+D, se aportan algunos da-
tos procedentes del informe elaborado por la Comisión Europea (10), sobre la eva-
luación comparativa de sus países.
Intensidad en I+D (porcentaje del PIB dedicado a I+D)
En 1999, las cifras más altas, en porcentajes, las proporcionan EE.UU. (2,62%) y
Japón (2,91%). A la UE le corresponde de media 1,92%. Dentro de la UE, Suecia y
Finlandia alcanzan el máximo valor para la intensidad en I+D, con 3,7% y 3,3%, res-
pectivamente. El menor porcentaje corresponde a España, 0,89%, Portugal, 0,78% y
Grecia, 0,51%.
Gasto en I+D financiada por la industria, en relación al «output» industrial
Se relaciona el porcentaje de gasto en Ì+D de la industria, respecto al dinero que
origina ésta. Así, en 1999, el esfuerzo relativo hecho por la industria para financiar la
I+D es muy bajo en la UE (1,4%), en relación con EE.UU. (2,1%), y Japón (2,5%).
En la UE, Suecia, con un 3,9% y Finlandia, con el 3,2%, ocupan los primeros
puestos, mientras que España, con el 0,58% ocupa el tercer lugar más bajo.
3.2. Recursos humanos dedicados a I+D
El desarrollo económico y social está estrechamente ligado a la producción, ad-
quisición y uso del conocimiento. El disponer de recursos humanos cualificados es
esencial para la generación y difusión del conocimiento.
En este capítulo se pueden distinguir dos conceptos en relación con los recursos
humanos. El más restringido, encontrado en el Manual de Frascati, que se refiere al
«personal» dedicado a I+D, y el más general, propuesto por el Manual de Canberra,
que se ocupa de la «reserva de personal» para I+D, en general, es decir, de los re-
cursos humanos, tanto reales como potenciales.
3.2.1 Personal dedicado a I+D
Los indicadores de personal dedicado a I+D expresan el número de personas to-
tal o parcialmente dedicadas a I+D, en relación con el total de habitantes o de pobla-
Rev. Esp. Doc. Cient., 24, 4, 2001
389
Rosa Sancho
ción activa del país. También se puede medir el personal en EJC (Equivalente a Jor-
nada Completa), en relación con población activa.
El Manual de Frascati aconseja que se haga la distribución entre «investigadores»
y «otro personal de I+D» (ayudantes, técnicos, etc.), y que se distribuya por organis-
mos en los que trabaja dicho personal (Educación Superior, Empresas, Administra-
ción), y, a su vez, se desglose por disciplina, según la Clasificación ISCO, de ocupa-
ción (International Standard Classification of Ocupation), y Cualificación: según la
Clasificación ISCED por nivel de educación (International Standard Classification of
Education).
Un nuevo indicador a considerar es el número de nuevos doctores en relación con
el total de población o población activa, que expresa el porcentaje de recursos huma-
nos altamente cualificados disponibles para I+D.
3.2.2 Reserva de personal dedicado a I+D
Como se ha indicado anteriormente, a pesar de que el Manual de Frascati trata
con detalle el tema de personal dedicado a I+D, con el tiempo se vio que este con-
cepto quedaba algo limitado. Por esta razón, en 1995, la OCDE, en colaboración con
EUROSTAT, y con consenso de sus países miembros, elaboró un nuevo Manual es-
tadístico para la medida de Recursos Humanos en C y T, conocido como Manual de
Canberra (14), que proporciona un marco más amplio para el análisis de la cobertu-
ra de recursos humanos en términos de cualificación y de empleo habitual de dicho
personal, así como de existencias de personal («stocks») y flujos del personal.
Se refiere a los recursos humanos dedicados tanto real como potencialmente a la
generación, avance, difusión y aplicación de los conocimientos científicos y técnicos.
Es decir, su cobertura abarca a todas las personas con cualificaciones formales ISCED,
en nivel 5 o mayor (licenciado o doctor), estén o no empleadas en actividades de I+D.
Por ejemplo, investigadores desempleados o trabajando en otra actividad, así como a
las personas empleadas, no cualificadas, que trabajen en una ocupación de I+D, para
la que se requieren normalmente dichas cualificaciones (15).
Estos indicadores recogen los recursos humanos, desglosados por cualificación,
tipo de empleo y sector (Industria, Educación Superior, Centros Públicos de Investi-
gación, etc.); así como los flujos de entrada de dicho personal (en el sistema educati-
vo e inmigración) y de salida (jubilación, retirada y emigración), que intervienen en
el proceso. Se contabilizan también los posibles efectivos («stocks» de personal).
Hay que advertir que no todos los países recogen datos sobre efectivos y flujos de
personal. Además, la obtención de dichos datos mediante encuestas sobre personas
cualificadas desempleadas o ejerciendo otra actividad distinta de la I+D, no es fácil.
En algunos países se emplean las bases de datos de la Seguridad Social como fuente
de datos de empleo o desempleo de científicos e ingenieros, y para averiguar la mo-
vilidad de los especialistas, según sectores (fabricación, servicios, empresas, etc.) (16).
En la actualidad, se está tratando de diseñar nuevos indicadores a base de desglo-
sar los recursos humanos en I+D, según disciplina científica y tecnológica, y según
edad, sexo, nacionalidad, etc.
Así por ejemplo, el número de jóvenes investigadores trabajando en universidades
u OPI, en relación con el número total de investigadores, reflejaría el atractivo que
ejercen las profesiones científicas en los jóvenes.
390
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
La proporción de mujeres en el total de investigadores señalaría el grado de par-
ticipación de la mujer en la ciencia, y la discriminación por razón de género.
La proporción de investigadores de otros países reflejaría el atractivo internacio-
nal de los sistemas de ciencia nacionales, mediría la difusión del conocimiento exter-
no, y permitiría la investigación sobre «fugas de cerebros», etc.
La movilidad de los investigadores, medida por número de becas, sabáticos, invi-
taciones, etc., es también un indicador clave de los sistemas científicos. La desapari-
ción de las barreras que impiden dicha movilidad es uno de los objetivos de las polí-
ticas científicas.
3.2.3 Ejemplos comparativos
A continuación se presentan algunos datos comparativos sobre recursos humanos
en I+D (10).
En 1998, la presencia de investigadores en el total de la población activa en la UE
es de 5,3 por mil, considerablemente menor que Japón, 9,3 por mil, y EE.UU., 8,1 por
mil. España cuenta con 3,7 investigadores por mil de población activa. Dentro de la
UE, los primeros países son Finlandia, con 10,6 investigadores por mil, y Suecia, con
8,4 por mil.
En cuanto al número de nuevos doctores (entre 25 y 34 años), por mil investiga-
dores, en 1998, la UE, con 0,55 supera ligeramente a EE.UU., 0,47, y Japón, 0,24. Es-
paña alcanza un valor de 0,43.
4 Indicadores de resultados de I+D
En las actuales economías basadas en el conocimiento, la productividad de la cien-
cia y la tecnología tiene un alto significado estratégico. Algunos países invierten gran-
des sumas en actividades científicas y tecnológicas. Por ejemplo, según se ha indica-
do, la media de países de la OCDE dedica a las actividades de I+D el 2% de su
Producto Interior Bruto. Desde una perspectiva política es necesario conocer los be-
neficios que resultan de tales inversiones, es decir, se hace necesario medir el cono-
cimiento generado. Como se dijo en la introducción, ésta es una tarea difícil, ya que
el conocimiento es siempre acumulativo e intangible. Para medir la producción cien-
tífica y tecnológica, se emplean estrategias distintas que las empleadas para los indi-
cadores de inversiones, precisamente por su distinta naturaleza.
4.1 Indicadores de producción científica. Bibliometría
El conocimiento científico y técnico se almacena y distribuye tradicionalmente por
medio de publicaciones. Mediante la observación y tratamiento matemático y estadís-
tico de los datos bibliográficos incluidos en dichas publicaciones (artículos de revis-
tas, patentes, libros, y otros medios de comunicación científica escrita), se llega a com-
prender el estado de la ciencia y la tecnología. La Bibliometría es la disciplina
científica que estudia las características y comportamiento de la ciencia y la tecnolo-
gía a través de las publicaciones científicas.
Rev. Esp. Doc. Cient., 24, 4, 2001
391
Rosa Sancho
Los indicadores basados en la Bibliometría se caracterizan por ser cuantitativos,
aunque, a veces, se les concede un carácter cualitativo cuando se emplea el análisis
de citas. Conviene señalar, no obstante, que el único juicio válido en la evaluación de
la calidad científica es la opinión de los expertos («peer review»).
Para la obtención de estos indicadores no existen guías metodológicas normaliza-
das, y los datos proceden de fuentes externas a cada país, lo contrario que sucede con
los indicadores de inversiones. Estas fuentes externas son principalmente bases de da-
tos bibliográficas, especialmente el Science Citation Index (SCI), que incluye también
índices de citas y Factor de Impacto de las revistas.
Los principales indicadores son:
4.1.1 Indicadores de producción y productividad científica
La producción científica de un país o región se averigua contando el número de
publicaciones que dan cuenta de los resultados de las investigaciones llevadas a cabo
en las distintas instituciones del país. Ahora bien, este número absoluto no es muy sig-
nificativo porque está influido por el tamaño del país y las inversiones de éste en C y
T. Se corrige si consideramos la productividad, o relación del total de publicaciones
científicas por millón de habitantes, p.e. Pero todavía es insuficiente, porque las in-
versiones en ciencia de los países son muy diferentes, y para medir la productividad
hay que tener también en cuenta dichas inversiones.
4.1.2 Indicadores de especialización científica
La distribución de las publicaciones de los países por campo científico, indica el
perfil de la especialización científica del país. Expresa también el peso de cada cam-
po en un país en comparación con su peso medio en el mundo. Se aprecian notables
diferencias en distintos países, que pueden ser debidas a las características de sus res-
pectivas políticas científicas que apoyan de manera diferente los distintos campos cien-
tíficos, lo que se traduce en presupuestos desequilibrados entre dichos campos.
Es interesante analizar la especialización en los distintos subcampos y en los nue-
vos campos emergentes de la ciencia.
4.1.3 Indicadores de impacto y visibilidad basados en citas
El SCI registra las referencias aportadas en los artículos científicos publicados en
todas sus revistas fuente. Construye así sus índices de citas, los cuales se usan como
indicador del impacto de los textos citados y de la relevancia de sus autores. En este
indicador influye también el tamaño del país, por lo que hay que considerar la pro-
porción de citas en relación con el número de trabajos publicados en el total de una
región o del mundo. Por otra parte, los hábitos de citación varían mucho según los
campos científicos, por lo que no se deben comparar las citas recibidas en diferentes
campos.
Este indicador se emplea, en general, con un enfoque cualitativo; cuanto más ci-
392
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
tado es un colectivo o una disciplina, dentro de un país, mayor calidad científica de-
muestra. En realidad, esto no es necesariamente así, y hay que entender este indica-
dor principalmente como de «visibilidad» de la ciencia.
Otro indicador muy frecuentemente usado se refiere al Factor de Impacto (FI) de
las revistas. Éste se calcula según el número de trabajos publicados en un año, en re-
lación con las citas que han recibido esos artículos en los dos años siguientes a su pu-
blicación. Se utiliza como referente de calidad científica de las revistas, pero varía
enormemente entre campos científicos, ya que en algunas áreas como Matemáticas,
p.e, el proceso de citación a los artículos se prolonga en el tiempo mucho más que en
el caso de Ciencias de la Vida, por lo que el FI de las primeras será, en general, más
bajo.
4.1.4 Indicadores de colaboración científica
Uno de los más importantes factores para conseguir el avance científico y técni-
co es el flujo del conocimiento. Utilizando datos de co-publicaciones obtenidos prin-
cipalmente del SCI o de otras fuentes, se construyen indicadores de colaboración cien-
tífica y, por tanto, del dinamismo en los sistemas de C y T. Surgen así modelos de
colaboración internacional entre países, regiones o sectores (colaboraciones entre di-
ferentes instituciones, flujos entre universidad e industria, etc.)
4.1.5. Otros indicadores bibliométricos
Aplicando una metodología bibliométrica avanzada, se pueden identificar áreas
emergentes de investigación en ciertas disciplinas y su desarrollo y transformación con
el tiempo. Se pueden construir mapas de la ciencia basados en las relaciones semán-
ticas de ésta, a partir de los conceptos integrados en los documentos (palabras clave,
descriptores, etc.) (17).
La interacción entre la ciencia básica y el desarrollo tecnológico se puede estudiar
con ayuda de indicadores tecnológicos, como son las patentes, a través de las citas que
éstas hacen a la literatura científica (citas en patentes a «non-patent references», NPR),
(18, 19). Los datos se obtienen principalmente de patentes norteamericanas (US Pa-
tent and Trademark Office).
La bibliografía sobre la obtención de indicadores bibliométricos utilizados en la
evaluación de la ciencia y la tecnología es amplísima; se indican aquí algunas revi-
siones de interés (20, 4, 5, 21, 22, 23, 24).
4.1.6 Limitaciones de los indicadores bibliométricos
Los indicadores basados en la Bibliometría tienen importantes limitaciones: la pri-
mera es que no existe ninguna base de datos que cubra completamente la producción
científica total de los países. La base de datos universalmente utilizada para estudios
bibliométricos es el Science Citation Index (SCI), producida por el Institute for Scien-
tific Information, de Filadelfia. Es multidisciplinar, y refleja principalmente el perfil
Rev. Esp. Doc. Cient., 24, 4, 2001
393
Rosa Sancho
científico de EE.UU. Está altamente sesgada hacia el área de las Ciencias de la Vida,
donde cuenta con un 50% de las fuentes empleadas, en detrimento de otras ciencias
aplicadas como Ingeniería, Geología, etc., cuyo porcentaje de fuentes es más bajo. Por
cierto, es bastante escaso el número de sus revistas fuente, unas 2.500, si bien son las
más citadas según sus propios registros (forman la corriente principal de la ciencia,
«mainstream»), y de ellas son recogidos todos sus artículos («cover to cover»). Estas
revistas fuente proceden principalmente del área anglosajona y están escritas en inglés.
A pesar de estas limitaciones, es la única base de datos que incluye índices de ci-
tas y Factor de Impacto de las revistas.
Las características apuntadas de la base de datos empleada corrientemente para ob-
tener los indicadores bibliométricos de producción científica, hace que dichos indica-
dores no se puedan considerar comparables internacionalmente. En realidad, lo que
expresan estos indicadores es la proporción de publicaciones que cada país aporta a la
«corriente principal de la ciencia», según nomenclatura del propio SCI.
Desde hace tiempo, algunos especialistas vienen llamado la atención sobre la ne-
cesidad de utilizar otras bases de datos complementarias al SCI, que recojan más am-
pliamente la literatura científica nacional o local, sobre todo de los países no anglo-
parlantes y especialmente de los que están en vías de desarrollo (25, 26, 27, 28).
Por otra parte, los indicadores bibliométricos, basados en el número de publica-
ciones, citas y co-citas, se aplican principalmente a la ciencia básica, la mayoría de la
cual se realiza en instituciones académicas, donde los resultados de la investigación
básica se reportan en revistas, libros, etc., recogidos en SCI, con el fin de alcanzar la
máxima difusión y audiencia y conseguir el reconocimiento de otros colegas.
Por tanto, otra de las limitaciones del procedimiento bibliométrico es que no se
puede contabilizar la gran cantidad de información científica comunicada a través de
otros canales no convencionales, tales como informes técnicos, comunicaciones orales
entre científicos, etc. Por otra parte, en general, los resultados de la investigación apli-
cada no se hacen públicos en documentos, sino que se suelen patentar o guardar como
secreto industrial por el propio interés de los sectores industriales implicados, y como
prevención frente a sus competidores.
Otras limitaciones de los indicadores basados en citas se pueden resumir en las si-
guientes consideraciones (29):
El hábito de publicar y citar varía mucho según las disciplinas, por lo que no se
pueden comparar los Factores de Impacto de las revistas de disciplinas diferentes.
Los trabajos de gran importancia entran rápidamente a formar parte del cuerpo del
conocimiento y son referidos en la literatura, sin citar a sus autores.
Las citas pueden ser muy negativas y críticas; sin embargo no se pueden distin-
guir de las positivas y se consideran iguales a éstas. Hay que tener también en cuen-
ta las auto-citas, que se contabilizan igual que si fueran de autores distintos.
El tamaño de los grupos de investigadores que cultivan campos diferentes de la
ciencia varía mucho según dichos campos; por tanto, la probabilidad de ser citado va-
ría bastante entre los distintos sectores científicos.
El valor del trabajo científico no siempre es reconocido por los contemporáneos,
sobre todo si procede de sectores emergentes.
394
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
4.1.7 Nuevos indicadores no bibliométricos de productividad científica
Actualmente, se está estudiando la posibilidad de adoptar otro tipo de indicadores
no bibliométricos para analizar la productividad científica; éstos son:
Número de «spin-off» (empresas que surgen espontáneamente, por iniciativa de
los investigadores, para producir y comercializar algunos descubrimientos científicos
generados en universidades y OPI). Medirían la capacidad para el desarrollo de nue-
vas actividades económicas y empresariales, de las citadas instituciones y de su per-
sonal investigador.
Uso de redes electrónicas en laboratorios de I+D, que miden la capacidad de co-
nexión y uso de dichas redes en la investigación, para conseguir más rápidamente la
difusión de conocimientos y resultados científicos.
4.1.8 Ejemplos comparativos
Considerando el número de publicaciones científicas por millón de habitantes, en
1999 (10), Suecia encabeza la lista, con 1431; España apunta la cifra de 471; EE.UU.
con 708 sobrepasa a la UE, que cuenta con 613 y a Japón, con 49.
Respecto al porcentaje de artículos más citados en relación con el número de los
publicados, para el periodo 1997-99, se destaca Dinamarca que ocupa el primer pues-
to mundial con 1,62; le siguen EE.UU. con 1,27; UE, con 1,20 y Japón, 0,65. En este
caso, España supera también a Japón, con una relación de 0,80.
5 Indicadores de resultados tecnológicos
5.1 Patentes
Las patentes son documentos que representan invenciones que han pasado un exa-
men en una Oficina de Patentes, tanto para asegurar su novedad, como para precisar
su potencial utilidad. Son, por tanto, una valiosa fuente de información del desarrollo
tecnológico. Por otra parte, las patentes, normalmente, son producto de actividades de
I+D llevadas a cabo con éxito, y a menudo ofrecen información detallada de dichas
actividades.
Los documentos de patentes son también derechos que concede el Estado a los in-
ventores como consecuencia de la publicación de sus invenciones, durante un periodo
de tiempo y bajo ciertas condiciones. Esto da a los inventores derechos exclusivos so-
bre la explotación comercial de dichos inventos. Las condiciones legales y jurídicas
referentes a la aplicación y protección de las patentes varían extraordinariamente de
un país a otro, lo que hace difícil las comparaciones internacionales.
Las estadísticas sobre patentes se empezaron a recoger por razones administrati-
vas, y en algunos países se remontan al siglo XIX. Cubren, por tanto, un número de
años muy superior a las estadísticas de I+D, que no tienen más de 30 años.
Las fuentes más utilizadas para conseguir los datos son las Oficinas Nacionales de
Rev. Esp. Doc. Cient., 24, 4, 2001
395
Rosa Sancho
Patentes. Otros datos básicos provienen del WIPO (OMPI, Organización Mundial de
la Propiedad Intelectual, en Ginebra), que publica estadísticas de patentes desde 1979,
y la Oficina Europea de Patentes, desde 1978. Las Patentes de EE.UU. (US Patent and
Trademark Office), son especialmente interesantes para analizar las citas a otras pa-
tentes, o a literatura científica.
La OCDE publicó la primera versión del Manual de Patentes en 1994 (30), en la
que se aportan directrices para utilizar los datos incluidos en las bases de datos de pa-
tentes, como indicadores de la actividad tecnológica.
El número de patentes es el indicador más usado para medir las actividades tec-
nológicas de las empresas y países, si bien el sector público cuenta así mismo con pa-
tentes. Se viene empleando también como indicador de innovación, aunque, en reali-
dad, es un indicador de invenciones.
Los datos utilizados son: número de patentes solicitadas frente al número de las
finalmente concedidas, en cada país, por millón de población, clasificadas por campo
tecnológico. Se hace distinción entre las patentes nacionales, las europeas y las inter-
nacionales que se distribuyen por país solicitante y país de residencia del titular de la
patente. Asimismo, se tiene en cuenta si el solicitante es residente en el país o no.
Con estos datos se pueden construir indicadores tales como:
— Indice de dependencia tecnológica (número de patentes de no residentes, en
relación con el número de patentes de residentes).
— Indice de difusión tecnológica (número patentes solicitadas en el extranjero, en
relación con el número de patentes de residentes).
— Indice de autosuficiencia tecnológica (número patentes de residentes, en rela-
ción con el número de patentes nacionales).
— Especialización tecnológica. Por medio de la distribución de las patentes se-
gún la clasificación de patentes, se refleja la importancia relativa de los dife-
rentes sectores tecnológicos en los distintos países, y la propensión de las di-
ferentes industrias a patentar.
Una interesante posibilidad de la utilización de las patentes como indicadores es
el área de prospectiva tecnológica y análisis de co-citas entre patentes, para averiguar
áreas de tecnologías emergentes y de desarrollo tecnológico intensivo (31).
Otra posibilidad, como se ha apuntado en el capítulo anterior, es analizar la influencia
que la ciencia básica ejerce sobre la tecnología, según las citas hechas a trabajos publi-
cados en revistas científicas, por los evaluadores de patentes americanas, para demostrar
el «estado de la técnica» de las patentes americanas solicitadas que están en periodo de
examen previo a la concesión. Es un indicador de la transferencia de tecnología, y mide
el flujo de conocimiento y la relación entre ciencia y tecnología (28, 32, 33, 34). El cóm-
puto de patentes relacionadas con ciencia básica es, además, una manera de medir la re-
levancia que tiene ésta en la industria. Así, las patentes de biotecnología, productos far-
macéuticos, semiconductores y nuevos materiales, utilizan cada vez con más frecuencia
referencias de ciencia básica. Las patentes que ofrecen menor número de citas a ciencia
básica son las de ingeniería civil, mecánica, transporte, etc.
El valor de las patentes como indicadores de actividad inventiva, innovadora y del
progreso tecnológico, se ve reflejado en la literatura (35, 36, 37, 38). Sin embargo, la
utilización de patentes como indicadores para comparaciones internacionales no está
exenta de problemas, como veremos a continuación:
396
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
Los requisitos para que una invención se pueda patentar varían según los países.
La propensión a patentar varía también según el sector industrial y el tamaño de
la empresa. Por otra parte, no se puede saber qué proporción de invenciones se pa-
tenta, por lo que el número de patentes no refleja enteramente la producción inventi-
va total.
La «calidad» y el «valor» de las patentes varían grandemente; algunas tienen muy
poco valor comercial, mientras otras producen grandes retornos económicos.
Por otra parte, EUROSTAT trabaja en colaboración con la Oficina Europea de Pa-
tentes, para hacer compatibles la clasificación de patentes y la actual clasificación in-
dustrial, ISIC (International Standard Industrial Classification), lo que facilitaría gran-
demente los estudios comparativos, ya que actualmente ambas clasificaciones difieren
mucho.
Recientemente, se ha puesto de manifiesto que en las empresas americanas las pa-
tentes resultan relativamente poco eficaces para proteger la innovación de los produc-
tos (excepto para medicamentos) (39). Más eficaz resulta el secreto industrial, también
para proteger procesos de innovación, por lo que se ha observado que las industrias
americanas emplean cada vez más el secreto y menos las patentes, de las que se ha
producido un modesto descenso en los últimos años.
5.1.1 Ejemplos comparativos
Teniendo en cuenta la producción de patentes europeas por millón de población
(10), en 1999, EE.UU., UE y Japón presentan valores muy similares, 130, 125 y 126,
respectivamente. El primer puesto de la clasificación lo ocupa, de nuevo, Suecia, con
289. A España le corresponde un valor de 19.
5.2 Balanza de Pagos Tecnológicos (BPT)
La BPT registra el flujo financiero que se produce en un país debido a las tran-
sacciones comerciales internacionales de sus empresas, relativas a la transferencia de
tecnología, para un periodo dado. Comprende compra y venta de tecnología «no in-
corporada», en la forma de derechos de propiedad industrial, incluyendo los derechos
al uso de las patentes, licencias, diseños, «know-how», así como asistencia técnica y
servicios técnicos en ingeniería, agricultura, etc., y de asesoría informática, entre otros.
Los datos de la BPT permiten medir la difusión internacional de la tecnología no
incorporada, contabilizando todas las operaciones relativas a intercambios de conoci-
mientos técnicos y de servicios con contenido tecnológico, entre socios de diversos
países. Es decir, mide la diferencia entre gastos y retornos de un país, por exportar o
importar conocimientos o servicios técnicos.
En 1982, la OCDE inició el examen de los datos de BPT de sus estados miem-
bros, y tras una serie de reuniones, se adoptó el Manual for the collection and publi-
cation of TBP data (40), con el fin de unificar criterios para la obtención de indica-
dores sobre las transacciones comerciales de tecnología.
Antes de 1990, los datos de la BPT se recopilaban en los países miembros a tra-
vés de los Bancos Nacionales, y de informaciones procedentes de autoridades encar-
Rev. Esp. Doc. Cient., 24, 4, 2001
397
Rosa Sancho
gadas del control de cambios, que eran los intermediarios autorizados en operaciones
de divisas entre residentes y extranjeros. Actualmente, los datos de la BTP se han vis-
to influidos por la liberalización de los mercados europeos. La abolición del control
de divisas ha supuesto la libertad para abrir cuentas en bancos extranjeros, en divisas
del país y comprar tecnología en el extranjero con cargo a dichas cuentas, con lo que
los Bancos Nacionales han perdido el control de las transacciones monetarias en la
compra de tecnología. A partir de 1990, se produjo un corte en las series temporales
y los datos de la BPT se obtienen de encuestas especiales.
La comparabilidad internacional de los datos no es uniforme, está limitada por los
diferentes procedimientos de toma de datos (encuestas directas a los Bancos Nacio-
nales, o encuesta indirecta, entre otras). Además, en algunos países se incluyen en la
BPT servicios de consultorías, formación de personal, etc. En otros, se incluyen pa-
gos por derechos de la propiedad intelectual, no relacionados directamente con tecno-
logía (derechos de películas, p.e.).
Por otra parte, los indicadores de BPT ofrecen una visión parcial del fenómeno
general de transferencia de tecnología, ya que contemplan sólo la difusión internacio-
nal de ésta.
5.2.1 Ejemplos comparativos
La relación entre las exportaciones e importaciones de tecnología (ingresos y pa-
gos), como porcentaje del PIB, en 1999, (10), ofrece un saldo positivo en algunos
países, entre ellos Reino Unido, 0,51; EE.UU., 0,25; Japón, 0,09. Para España este va-
lor es negativo, –0,14.
6 Indicadores de innovación tecnológica
La innovación tecnológica es un proceso concebido inicialmente como un mode-
lo lineal de flujo de conocimiento, según el cual, la innovación es la consecuencia del
desarrollo de nuevas ideas, las cuales se transforman en nuevos productos por medio
de una serie de etapas fijas y consecutivas, que irían desde la investigación científica
básica pasando por el desarrollo experimental hasta la fabricación y comercialización
del nuevo producto. Según este modelo, sería suficiente concentrar todos los esfuer-
zos en los primeros estadios para obtener los resultados esperados, lo que ha servido
de justificación para considerar la I+D como el principal indicador de la actividad de
innovación en su conjunto.
Este concepto lineal de innovación tecnológica ha cambiado radicalmente en los
últimos años, siendo sustituido por un modelo interactivo o de conexión en cadena
(41) más complejo, según el cual la actividad de innovación es el resultado de un com-
plejo proceso de retroalimentación de fuertes interacciones continuas y repetidas en-
tre diferentes elementos heterogéneos e interdependientes, tales como: investigación y
desarrollo, ingeniería, estudio de mercados y de usuarios, planificación financiera, di-
seño de productos y procesos, producción industrial, canales de distribución, provee-
dores de equipos y materias primas, ventas, etc. En definitiva, se trata de un proceso
que mantiene poderosos y eficaces enlaces entre la ciencia, la tecnología, los consu-
midores y el mercado.
398
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
En este nuevo modelo interactivo, la I+D ha dejado de ocupar el primer lugar en
el proceso de innovación, y constituye un factor más en dicho proceso. De tal mane-
ra que la disponibilidad de recursos humanos multidisciplinares y cualificados, o de
una infraestructura bien desarrollada de instituciones financieras y de comunicaciones,
así como de un sistema eficaz de difusión de conocimientos, entre otros, puede tener
la misma importancia en dicho proceso que la propia I+D.
El disponer de información sobre la evaluación de los procesos de innovación se
ha hecho imprescindible para la política tecnológica. Sin embargo, la medida de la ac-
tividad de innovación en la industria no es una tarea fácil. Como hemos visto, se tra-
ta de un proceso complejo, dado su carácter multidisciplinar, y la incertidumbre que
lleva consigo toda novedad. El término innovación es en sí mismo ambiguo, designa
tanto un proceso como su resultado. Además, el concepto de innovación tiene dimen-
siones muy diferentes: se puede considerar innovación tanto un avance radical, como
puede ser una nueva vacuna, como el diseño de un nuevo tipo de embalaje, o el ac-
ceso electrónico a un banco («banco a distancia»), o también la mejora en la puesta
en el mercado de un determinado objeto, etc.
En los países en desarrollo, la mayor parte de la actividad innovadora se centra en
innovaciones menores, como son la modificación o mejora de las tecnologías existen-
tes, lo que en algunos casos puede conducir a importantes aumentos en la productivi-
dad de la empresa.
Por otra parte, el seguimiento del proceso innovador es difícil (42), ya que trans-
curre un tiempo muy largo desde la concepción de una idea nueva, su desarrollo en
una invención técnica, su transformación en una innovación de importancia económi-
ca, y su difusión en el mercado.
Los indicadores comúnmente utilizados en las actividades de innovación son los
datos de ventas o exportaciones de nuevos productos o de productos sustancialmente
mejorados, que miden directamente el impacto económico de la innovación. Aunque
son imprecisos, debido a la ambigüedad en el concepto de «novedad», y, además, ig-
noran la innovación de procesos que, en algunas industrias, puede ser tan importante
o más que la innovación de productos (p.e. en la industria química) (36).
Por lo dicho, es muy importante el desarrollo de indicadores de innovación nor-
malizados que midan con mayor precisión la compleja actividad de innovación y, so-
bre todo, sus interacciones con la economía.
La OCDE ha publicado el Manual de Oslo (43), que proporciona definiciones y
metodología para diseñar las encuestas que recojan los datos sobre fuentes de ideas
innovadoras, inversiones e impacto de la innovación, así como los obstáculos para la
misma. Este manual ha sido revisado, para incluir, como objetivo en las encuestas de
innovación, explícitamente las industrias de servicios, y no sólo las de fabricación. Y
esto es así porque, en la mayoría de los países de la OCDE, los 2/3 de la producción
y el 70% del empleo se concentran en el sector de servicios, donde la innovación no
se relaciona directamente con la I+D, sino que depende más de la tecnología adquiri-
da, de la calidad de los recursos humanos, y de la organización de la empresa (44,
45).
La metodología recogida en el Manual de Oslo ha sido adoptada por la Comisión
Europea, tanto en la DG-XIII, en su proyecto «European Innovation Monitoring Sys-
tem», como en EUROSTAT, y se ha llevado a cabo dentro de los países europeos
usando un cuestionario común para las encuestas, según el proyecto CIS (Community
Rev. Esp. Doc. Cient., 24, 4, 2001
399
Rosa Sancho
Innovation Survey). En 1991, se utilizó el CIS I, y desde 1997, se maneja el CIS II,
con contenidos más depurados, y teniendo en cuenta los diferentes sectores de la eco-
nomía (industrias de fabricación, servicios, agricultura, construcción, etc.).
En España, el INE publica cada dos años los resultados de la encuesta de inno-
vación que envía a las empresas (46). Otros países no europeos recogen los datos de
innovación, de acuerdo con la metodología del Manual de Oslo. Así por ejemplo, los
países latinoamericanos, han adaptado dicho manual a las particulares características
de sus industrias, creando así el Manual de Bogotá, de normas y definiciones para la
medición de la actividad innovadora en Iberoamérica (47).
Actualmente, se tiende a desarrollar indicadores de resultados más directos; entre
ellos, los basados en el anuncio de nuevos productos en las revistas técnicas, de in-
geniería o comerciales (indicador de resultados de innovación basado en literatura: «Li-
terature-based innovation output indicator», LBIO), (48, 49, 50). Consiste en el análi-
sis de la información acerca de innovaciones y nuevos productos contenida en revistas
o boletines técnicos o comerciales que incluyen secciones técnicas y comerciales, con-
troladas por los editores (en ningún caso son anuncios publicitarios pagados), donde
se dan a conocer los nuevos productos o servicios. Las listas de algunas de dichas re-
vistas se ofrecen en la bibliografía (49, 50).
Estos indicadores tienen el inconveniente de que sólo miden las innovaciones, ge-
neralmente de productos, comercializadas y publicadas, e ignoran las mejoras incre-
mentales. Además, dependen de la selección más o menos adecuada que de ellos ha-
cen las revistas, y están sujetos a posibles manipulaciones de marketing. Sin embargo,
las innovaciones de procesos, que aumentan la productividad de las empresas, no apa-
recen publicadas porque, generalmente, se suelen mantener en secreto.
Recientemente, OCDE aconseja aplicar los indicadores de innovación también a
los cambios de organización y gestión de la empresa, siempre que éstos conlleven be-
neficios económicos.
7 Compendios de indicadores de I+D
La mayoría de los países que disponen de un sistema de ciencia consolidado pu-
blican anualmente series temporales de los indicadores de C y T más representativos.
En España, se publica anualmente, desde 1998, una recopilación de series temporales
de los indicadores básicos de I+D: Indicadores del Sistema Español de Ciencia y Tec-
nología (51).
Asimismo, algunas organizaciones internacionales publican también datos estadís-
ticos de C y T y subsiguientes indicadores. En EEUU, la National Science Founda-
tion, publica Science and Engineering Indicators (52), La Comisión Europea, Euro-
pean S&T Indicators (9), El Observatorio de las Ciencia y la Técnica (OST), de
Francia, Science&Technologie Indicateurs (53). UNESCO, Manual for Statistics on
Scientific and Technological Activities (54). Recientemente, la Red de Indicadores Ibe-
roamericanos de Ciencia y Tecnología (RICYT) edita Indicadores de C y T Iberoa-
mericanos/Interamericanos (55), con datos de todos los países de América Latina. Este
repertorio de indicadores aporta la novedad mundial de que es el único compendio que
ofrece indicadores de producción científica recogidos de una serie de prestigiosas ba-
ses de datos internacionales de temas científicos específicos, además del SCI. De esta
400
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
manera se pretende alcanzar una mejor comparación entre los países iberoamericanos,
por medio de indicadores de producción científica.
8 Desarrollo futuro
En la actualidad, la ciencia y la tecnología se analizan con mucha más amplitud
y precisión que en el pasado. En este momento, a los políticos de la ciencia les inte-
resa la relación de la C y T con el empleo, el medio ambiente, el crecimiento econó-
mico, etc. Es necesario, por tanto, construir indicadores que evalúen dichas relaciones.
Por otra parte, aparecen nuevas áreas de estudio, como son los servicios. La me-
dición de la I+D y la innovación en el sector industrial de los servicios es una obli-
gación a la vista del desarrollo de dicho sector. En la mayoría de los países de la
OCDE, las empresas de servicios ocupan los dos tercios del empleo, y dentro de las
heterogéneas actividades que abarcan, algunas juegan un papel fundamental en la in-
novación tecnológica (como la industria de «software», p.e.), mientras otras adoptan
inmediatamente las nuevas tecnologías, como las tecnologías de la información (ban-
ca, seguros, turismo, etc.).
También es muy importante la medida de la innovación en las tareas de la orga-
nización interna y de gestión de la empresa, sobre todo de las actividades relaciona-
das con la informatización y acceso a redes, pero también en aspectos de protección
del medio ambiente, higiene, prevención de riesgos, etc., que pueden suponer impor-
tantes beneficios económicos para la empresa, y un claro aumento de su competencia.
En conclusión, los indicadores de C y T están en un periodo de rápida evolución.
En los próximos años, los esfuerzos de estadísticos, investigadores y políticos cientí-
ficos tendrán que concentrarse en las nuevas dificultades conceptuales y metodológi-
cas emergentes, así como en mejorar los sistemas de recopilación de datos y norma-
lización de los mismos.
Como ejemplo de la continua observación de la OCDE acerca de las necesidades
y problemas que van surgiendo, se puede citar la iniciación, en 1999, de los estudios
previos para la creación de indicadores de Biotecnología. La industria biotecnológica
es muy potente en la mayoría de los países, pero sus datos sobre gasto en I+D, pa-
tentes obtenidas, campos de actividad, nuevos productos, etc., no se pueden comparar
internacionalmente, por no existir en la actualidad encuestas normalizadas específicas
para esta disciplina. Por esto, OCDE ha creado un grupo de expertos formado por es-
tadísticos y científicos, para consensuar el desarrollo de definiciones en el área de la
Biotecnología y llevar a cabo el diseño de estadísticas normalizadas, que hagan la re-
cuperación de estos datos comparable internacionalmente. El propósito es abordar la
creación de indicadores en esta importante área científica y tecnológica. Cuando los
estudios estén suficientemente maduros, se elaborará un nuevo manual.
De la misma manera, se está iniciando un estudio piloto sobre la posibilidad de
mejorar la recogida de datos estadísticos de la I+D en la Salud Humana que incluye
también ensayos clínicos.
Rev. Esp. Doc. Cient., 24, 4, 2001
401
Rosa Sancho
9 Bibliografía
1. SMITH, K. New views of innovation and challenges to R&D policy. En Hassard J, Proc-
tor, S. (eds). R&D Decisions: Policy, Strategies and Disclosure, 1996. Routledge, London
2. OECD. The Measurement of Scientific and Technological Activities. Proposed Standard
Practice for surveys of Research and Experimental Development. «Frascati Manual 1993».
OECD. ISBN 92-64-14202-9. 261 pp. París.
3. SANCHO, R. Manual de Frascati para la medición de las actividades científicas y técni-
cas. Política Científica. 1996, vol. 45, marzo, p. 21-26.
4. OKUBO, Y. Understanding Bibliometrics: Draft Manual on the use of Bibliometrics as
Science and Technological Indicators. 1995. OCDE. París, 26 April.
5. OKUBO, Y. Bibliometric Indicators and analysis of Research Systems: Methods and Exam-
ples. OECD. STI working Papers. 1997/1. OCDE/GD(97)41.
6. OECD. Main Science and Technology Indicators. 2000. nº 1, 2. París. Semestral.
7. OECD. Basic Science and Technology Statistics. 2000. París. Bienal.
8. EUROSTAT. Research and Development. Annual Statistics. 1997. Anual. Luxemburgo.
9. EUROPEAN COMMISSION. Second European Report on S&T Indicators. Report (1997).
EUR 17639. ISBN 92-828-0271-X. Annexes. EUR 17639. ISBN 92-828-2754-2.
10. EUROPEAN COMMISSION. Towards a European Research Area. Key Figures 2001. In-
dicators for benchmarking of national research policies (2001). Luxembourg: Office for
Publications of the European Communities. ISBN 92-894-1183-x.
11. INE. Estadística sobre las actividades de Investigación Científica y Desarrollo Tecnológi-
ca (I+D). Madrid. Anual (a partir de 1996, bienal)
12. SIRILLI, G.; KUHLMANN, S. The use of science and technology indicators in RTD eva-
luation. 2001. STRATA-EPUB Project. Socio-Economic Evaluation of Public RTD Poli-
cies. Draft. March. 2001.
13. FREEMAN, C. (ed). Output measurements in Science and Technology. North Holland.
Amsterdam. 1987.
14. OECD. The Measurement of Scientific and technical Activities. Manual on the Measure-
ment of Human Resources Devoted to S&T. «Canberra Manual». 1995. OECD. OCDE/GD
(95) 77. París.
15. SANCHO, R. Medición de recursos humanos en ciencia y tecnología en los países de la
OCDE. Política Científica. 1994, vol. 40, julio, p.59-61.
16. STENBERG, L.; GUSTAFSSON, E.; MARKLIND, G. Use of human resource data for
analysis of the structure and dynamics of the Swedish innovation system. Conference on
New S&T Indicators for Knowledge-based Economy. 1996. OECD, 20-21 june, Paris.
17. VAN RAAN, A.F.J. Advanced bibliometric methods to assess research performance and
scientific development: basic principles and recent practical applications. Research Eva-
luation. 1993, vol. 3, nº 3, p. 151-166.
18. NARIN, F.; OLIVASTRO, D. Status report: linkage between technology and science. Re-
search Policy. 1992, vol. 21, p. 237-249.
19. CARPENTER, M. P.; Cooper, M.; Narin, F. Linkage between basic research literature and
patents. Research Management. 1980, vol. 23, nº 2, p. 30-35.
20. SANCHO, R. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tec-
nología. Revisión bibliográfica. Revista Española de Documentación Científica. 1990, vol.
13, nº 3-4, p. 842-865.
21. BRAUN, T.; GLÄNZEL, W.; GRUPP, H. The scientometric weight of 50 nations in 27
science areas. 1989-1993. Part I. All fields combined, Mathematics, Engineering, Chemistry
and Physics. Scientometrics. 1995, vol.33, p.263-293. Part II. Life Sciences. Scientometrics.
1995, vol. 34, p. 207-237.
22. GARFIELD, E.; WELLJAMS-DOROF, A. Citation data: their use as quantitative indica-
402
Rev. Esp. Doc. Cient., 24, 4, 2001
Medición de las actividades de ciencia y tecnología. Estadísticas e indicadores empleados
tors for science and technology evaluation and policy-making. Science and Public Policy.
1992, vol. 19, p. 321-327.
23. GLÄNZEL, W. The needs for standards in bibliometric research and technology. Sciento-
metrics. 1992, vol. 35, p. 167-176.
24. SCHUBERT, A.; GLÄNZEL, W.; BRAUN, T. Scientometric datafiles. A comprehensive
set of indicators on 2649 journals and 96 countries in all major science fields and subfields.
1981-1985. Scientometrics. 1989, vol. 16, nº 1-6, p. 3-478.
25. MORAVSICK, M.J. Applied scientometrics. An assessment methodology for developing
countries. Scientometrics, 1985, vol. 7, nº 3-6, p.165-176.
26. SANCHO, R. Misjudgements and shortcomings in the measurement of scientific activities
in less developed countries. Scientometrics. 1992, vol. 23, nº 1, p. 221-233.
27. GAILLARD, J. Es visible la ciencia en el Tercer Mundo? Mundo Científico. 1989, vol. 9,
nº 93, p.764-768.
28. ARUNACHALAM, S.; GARG, K.C. Science in the periphery. A scientometric analysis of
science in ASEAN countries. Journal of Information Sciences: Principles and Practices.
1986, vol. 12, nº 3, p. 105-118.
29. GÓMEZ CARIDAD, I.; BORDONS GANGAS, M. Limitaciones en el uso de los indicado-
res bibliométricos para la evaluación científica. Política Científica. 1996, vol. 46, p. 21-26.
30. OECD. Proposed Standard Practice for Survey of Research and Development. The Mea-
surement of Scientific and Technical Activities. Using Patent Data as Science and Tech-
nology Indicators. Patent Manual. 1994. OECD. OCDE/GD(94)114. París.
31. MEYER, M. What is special about patent citations? Differences between scientific and pa-
tent citations. Scientometrics. 2000, vol. 49; nº 1, p.93-123.
32. NARIN, F.; Hamilton, K.S.; Olivastro, D. The increasing linkage between US technology
and public science. Research Policy. 1997, vol. 26, p. 317-330.
33. TIJSSEN, R. J. W. Global and domestic utilization of industrial relevant science patent ci-
tation analysis of science-technology interactions and knowledge flows. Research Policy,
2001, vol. 30, p. 35-54.
34. MASFIELD, E. Academic Research and Industrial Innovation. Research Policy. 1991, vol.
20, nº 1. p. 1-2.
35. ARCHIBUGI, D. Patenting as an indicator of technological innovation: a review. Science
and Public Policy, 1992, vol. 19, nº 6, p. 357-368.
36. ARCHIBUGI, D.; PIANTA, M. Innovation surveys and patents as technological indicators: the
state of art. En: OECD, Innovation, Patents and Technological Strategies, 1996, OECD, París.
37. BASBERG, B.L. Patents and the measurement of technological change: a survey of the li-
terature. Research Policy. 1987, vol. 16, nº 2-4, p. 131-141.
38. GRILICHES, Z. Patent statistics as economic indicators: a survey. Journal of Economic
Literature. 1990, vol. 28, nº 4, p. 1661-1797.
39. OECD. Conferencia sobre: New Indicators for the knowledge-based economy. 1996, 19-21
junio, París.
40. OECD. The Measurement of Scientific and Technological Activities. Proposed Standard
Method of compiling and Interpreting Technology Balance of Payments Data- BTP Ma-
nual. 1990, OECD, París.
41. KLINE, S.J.; ROSENBERG, N. An overview of innovation. En: Landan, R.; Rosenberg,
N. (editors). The Positive Sum Strategy. 1986. Harnessing Technology for Economic
Growth. Washington. D.C. National Academic Press, pp. 275-306.
42. EUROPEAN COMMISSION. International Conference. Innovation Measurement and Po-
licies. 1996. Luxembourg, 20-21 May.
43. OECD. OECD Proposed Guidelines for Collecting and Interpreting Technological Inno-
vation Data. «Oslo Manual». 1992, OECD, ISBN 92-64-15464-7.124 pp. París.
44. EVANGELISTA, R; SIRILLI, G. Innovation in the service sector. Research Evaluation,
1995, vol. 5, nº 3.
Rev. Esp. Doc. Cient., 24, 4, 2001
403
Rosa Sancho
45. YOUNG, A.. Revision of the Oslo Manual. International Conference on Innovation Mea-
surement and Policies. 1996, European Commission, Luxembourg, 20-21 May.
46. INSTITUTO NACIONAL DE ESTADÍSTICA. Encuesta sobre Innovación Tecnológica en
las Empresas. Bienal. Madrid
47. RICYT. Manual de Bogotá. Normalización de Indicadores de Innovación Tecnológica en
América Latina y el Caribe. 2001, RICYT/OEA/CYTED.
48. KLEINKNECHT, A. Towards literature-based innovation indicators. SEO Foundation for
Economic Research. 1991, University of Amsterdam.
49. COOMBS, R; NARANDREN, P.; RICHARDS, A. A literature-based innovation output in-
dicators. Research Policy. 1991, nº 25, p. 403-413.
50. SANTARELLI, E.; PIERGIOVANNI, R. Analyzing literature-based innovation output in-
dicators. The Italian experience. Research Policy. 1996, nº 25, p. 689-711.
51. MINISTERIO DE CIENCIA Y TECNOLOGÍA. Indicadores del Sistema Español de Cien-
cia y Tecnología. Madrid. Anual.
52. NATIONAL SCIENCE FOUNDATION. Report. Science and Engineering Indicators 2000.
National Science Board. Arligton, VA; Washington. DC (NSB-00-1). Annual.
53. OST. Science & Technologie Indicateurs. Report de l’Observatoire des Sciences et des
Techniques. 2000, París, anual.
54. UNESCO. Manuel for Statistics on Scientific and Technological Activities (ST-79/WS/10).
1979, junio, París.
55. RICYT. Principales Indicadores de Ciencia y Tecnología Iberoamericanos /Interamerica-
nos. 2000, Buenos Aires, Argentina, anual.
404
Rev. Esp. Doc. Cient., 24, 4, 2001
EVALUACIÓN DE SEDES WEB
Marina Jiménez Piano*
Resumen: La amplitud y el incremento constante de los documentos en Inter-
net, la ausencia de todo tipo de control y su carácter descentralizado, hace
necesaria la evaluación de las sedes Web para garantizar su fiabilidad. El
artículo propone la elaboración de un cuestionario de evaluación para sedes
Web de contenido científico. En primer lugar, mediante el estudio de la bi-
bliografía especializada, analiza los criterios en que se basa, y expone la
metodología; a continuación describe el cuestionario, compuesto por 8 blo-
ques, divididos a su vez en 16 criterios y 125 cuestiones, a los que se asig-
na puntuación ponderada; finalmente, expone las conclusiones obtenidas. El
trabajo se complementa con un anexo que incluye el propio cuestionario y
las tablas de datos utilizadas en su elaboración.
Palabras claves: Internet, evaluación de recursos electrónicos
Abstract: The broaden and constant increase of data in Internet, as well as the
lack of any type of control and its decentralizing character, demands an eva-
luation of web sites to make their information reliable. This paper advoca-
tes the development of an evaluation questionnaire aimed to web sites with
scientific content. In the first place, the form analyzes, by means of spe-
cialized bibliography, the criteria in which it is based and it displays the
methodology; then, it describes the questionnaire, consisting of 8 blocks di-
vided into 16 criteria and 125 questions to which ponderable punctuation is
assigned; finally, the conclusions reached are shown. The work includes the
questionnaire itself and the data tables used in its elaboration.
Keywords: Internet, electronical resources evaluation
Este artículo forma parte de un trabajo final del Doctorado de Documentación de
la Universidad Carlos III de Madrid, defendido el 19 de Septiembre del 2000, llevado
a cabo durante dicho año y puesto al día en octubre de 2001. El trabajo original in-
cluye una revisión terminológica, una aproximación teórica a los conceptos de calidad
y evaluación, así como una revisión de la historia de Internet y de la World Wide Web
y una aplicación del cuestionario de sedes Web. Dada la extensión del documento ori-
ginal, el presente artículo se centra en la revisión de la bibliografía más específica
—la de las listas de criterios— y en los métodos de elaboración del cuestionario.
1 Introducción
El crecimiento de la Web es cada vez mayor: entre marzo de 1998 y marzo de
1999 se duplicó el número de recursos Web disponibles, pasando de 2.084.473 a
4.389.131. Según mencionan Hípola, Vargas-Quesada y Montes (1) el número de do-
cumentos Web en Internet era de unos 800 millones a finales de 1999, contenidos en
* Biblioteca Nacional, Madrid. Correo-e: piano@wanadoo.es
Recibido: 6-9-01; 2.ª versión: 30-10-01.
Rev. Esp. Doc. Cient., 24, 4, 2001
405
Marina Jiménez Piano
algo más de 8 millones de sedes Web y el crecimiento es de entre un 5% y un 10%
mensual. En las jornadas organizadas por el Instituto Cervantes sobre El español en
Internet: oportunidades y retos inmediatos, el 14 y 15 de noviembre de 2000, varios
ponentes en las distintas mesas redondas y coloquios programados aludieron a dife-
rentes cifras entre los 2.000 millones y los 800. Se menciona también aquí que el 83%
de estas sedes Web recoge información comercial y sólo un 6% contiene información
científica.
Estos datos presentan ciertas incongruencias, debidas a que no existe un común
acuerdo acerca de lo que se considera un documento Web, una sede Web o sobre cuál
es el contenido mínimo a partir del cual se pueden utilizar dichos términos. Esta im-
precisión terminológica puede solventarse recurriendo a la definición utilizada por el
Web Characterization Project (2), de la OCLC, que identifica sitios Web con un con-
junto de páginas relacionadas entre sí, con una página inicial y con una dirección IP
cuyo código de respuesta a una solicitud HTTP de página inicial sea 200 (equivalen-
te a éxito). Este proyecto alude a un total de 7.399.000 sedes Web para el año 2000
y 8.745.000 para el año 2001. Entre 1997 y 1998 las sedes Web aumentaron en
1.281.000, entre 1998 y 1999 en 2.031.000 y entre 1999 y 2000 en 2.517.000. Du-
rante el año 2001 el aumento ha sido menor, de 1.346.000, pero hay que tener en cuen-
ta que los datos están actualizados en el mes de junio y que en este año se ha inicia-
do una crisis económica con especial incidencia en las áreas tecnológicas
A este crecimiento hay que sumar el de la llamada Internet Invisible o Infranet
que, según Aguillo (3) está constituida por todos aquellos «recursos accesibles úni-
camente a través de algún tipo de pasarela o formulario Web y que, por tanto, no
pueden ser indizados de forma estructural por los robots de los buscadores». Este au-
tor enumera cuatro categorías; a) Catálogos de bibliotecas y bases de datos bibliográ-
ficas. b) Bases de datos no bibliográficas, con una amplia tipología, desde las alfanu-
méricas a las textuales. c) Revistas electrónicas, invisibles a los motores y que a
menudo sólo permiten acceder a los artículos mediante búsqueda. d) Depósitos y do-
cumentos en formatos no indizables, como Acrobat o Postcript. Todos estos tipos de
recursos disponen de mecanismos de control de calidad, por lo que según señala Agui-
llo pueden considerarse verdaderas «islas de calidad», lo que hace más lamentable la
limitación en la recuperación de sus contenidos.
Debido a este crecimiento se hace imprescindible una selección, dada la imposi-
bilidad de procesar todos los documentos. Aunque el proceso se reduzca a una deses-
timación del documento como no pertinente, es imposible una revisión de todos los
documentos recuperados, incluso cuando se trate de un buen buscador con estrategias
de búsqueda muy sofisticadas.
En la Web, la necesidad de evaluación, obvia en una búsqueda de información ge-
neral, se hace mucho más evidente cuando el objetivo es obtener información cientí-
fica y especializada. Si al acceder a alguna página se hace uso directo de la informa-
ción encontrada sin ningún tipo de control, se está corriendo un grave riesgo, pues en
muchos casos no se dispone de información sobre los autores, contenidos, objetivos o
fuentes. La información impresa ofrece mayores garantías respecto a la calidad de su
contenido, pues cuando se utiliza una obra es improbable que no se conozca su autor,
la entidad o empresa editora, o que no se haya obtenido la referencia bibliográfica en
algún prestigioso repertorio, en un centro de documentación o en una biblioteca, que
avalan en cierto modo su contenido. Por otra parte, en caso de desconocer los datos
406
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
básicos previamente, éstos son fácilmente localizables hojeando la publicación, pues
existe mayor normalización en la inserción de la metainformación o información so-
bre la propia información: autor, entidad editora, fecha, etc.
En las páginas Web estos datos son más difíciles de localizar, pues no existe ni
una norma expresa ni un acuerdo tácito sobre dónde deben aparecer. Poco a poco se
van afianzando ciertas costumbres, como la inclusión de un apartado en el que se acla-
ren los objetivos de la sede o de la organización que la elabora, o la enumeración de
las funciones realizadas en la sede por las distintas personas que participan en su ela-
boración. Pero sigue siendo muy frecuente acceder a páginas en las que no figura nin-
guna autoría ni enlace interno con una página que la contenga. Si añadimos a esto el
hecho de que es bastante fácil la falsificación o la suplantación, podemos acceder a
páginas perfectamente identificadas y seguir sin ninguna garantía respecto a su auten-
ticidad.
La inmediatez de la edición en la Web, su facilidad, permite que cualquiera pue-
da «colgar» en la red los contenidos que desee, sin sufrir ningún tipo de control. Esto
hace que sea posible encontrar en la red documentos de la más exquisita calidad y
también de la más ínfima. Tradicionalmente se viene señalando la burda y descuida-
da elaboración como síntoma o pista de una calidad deficiente, pero existen también
muchas sedes de redacción muy cuidada y realizadas con gran lujo de medios, pero
de contenido escaso y de baja calidad.
La parcelación formal de las unidades de información en la páginas Web, alenta-
da por el consejo de los expertos de no exceder la pantalla y media por unidad de in-
formación, ha podido favorecer la ligereza y frivolidad de que se acusa a la informa-
ción en Internet, caracterizada por la presentación de la información en pequeñas
«píldoras», carentes de profundidad e incluso de una extensión mínima, por contagio
de lo que debería ser una mera característica formal.
Por otra parte, los criterios de calidad de la información no son absolutos ni uni-
versales. El primer criterio de calidad es su adecuación a las necesidades del sujeto de
la búsqueda, pero ningún sujeto es idéntico a otro y por tanto tampoco serán idénticas
sus necesidades de información. Ahora bien, las necesidades de información de los usua-
rios, además de constituir el principal objetivo de los profesionales de la ciencia de la
información, son difíciles de determinar incluso cuando los usuarios están claramente
definidos dentro de los límites de una determinada comunidad, la científica en este caso.
Además, determinar con precisión las necesidades de información es siempre un asun-
to complejo, ya que a priori, ésta se define siempre de forma imperfecta, y a poste-
riori la satisfacción queda mediatizada por la información encontrada de hecho.
Como señala Olvera Lobo (4), la necesidad de información es un concepto vago,
que puede concretarse en información insuficiente para completar una tarea concre-
ta, solucionar conflictos en un área temática o cubrir lagunas en cualquier campo.
Es así que frecuentemente se observa que incluso profesionales experimentados no
consiguen expresar de forma concisa y suficientemente clara sus necesidades de in-
formación; esto no es de extrañar, pues según señalan Fernández Molina y Moya Ane-
gón (5), se trata de «los problemas ligados a la falta de conocimiento del usuario de
la que surge su necesidad de información, es decir, la dificultad de describir lo que
no se sabe». Por otra parte, es difícil evaluar la adecuación a los objetivos de aquella
información que no llegamos a encontrar y que por lo tanto no elaboramos ni inclui-
mos en nuestros trabajos.
Rev. Esp. Doc. Cient., 24, 4, 2001
407
Marina Jiménez Piano
Por otra parte, hay que distinguir entre necesidad, deseo y demanda de información.
Según la mayoría de los autores, la necesidad es una carencia objetiva de información;
en el deseo de información interviene la voluntad y por tanto la subjetividad; y final-
mente, la demanda es la manifestación expresa del deseo de información. Todos estos
conceptos se materializan en el uso de información, que es una aplicación de informa-
ción a algo inmediato y concreto. Los usos son parcialmente representativos de las de-
mandas de información, las demandas de los deseos y los deseos de las necesidades.
El cuestionario elaborado en este trabajo tiene por objeto la evaluación de los con-
tenidos científicos, entendidos éstos como aquéllos que se someten a un método cien-
tífico, es decir:
• Se basa en el análisis de fuentes autorizadas.
• Sobre este análisis plantea hipótesis y establece un método para contrastarlas.
• Analiza los datos usando la metodología previamente diseñada.
• Examina las hipótesis previas y las redefine a la luz de los resultados obtenidos.
Todos los tipos de Web pueden ofrecer información científica, no sólo aquéllos
cuya URL (o Uniform Resource Locator) termine en la extensión .edu u .org, pero
este estudio se dirige fundamentalmente a los siguientes tipos de recursos:
• Recursos de universidades o instituciones académicas.
• Recursos de instituciones y organismos públicos y privados.
• Recursos de obras de referencia en línea: enciclopedias, bibliografías, guías, etc.
• Sedes que ofrezcan información estadística o datos concretos.
El cuestionario puede aplicarse a sedes Web y a conjuntos de éstas agrupados en
una guía de recursos o una pasarela temática. Los objetivos, pues, que pretende al-
canzar este artículo son:
• Analizar los criterios de calidad aplicables a los recursos en la Web, relacio-
nándolos con los criterios de calidad tradicionales de selección de materiales im-
presos
• Establecer un conjunto de criterios que sirvan de base a un cuestionario de eva-
luación de recursos Web de investigación
• Diseñar el cuestionario
2 Análisis de las listas de criterios
Existe en la Web un gran número de bibliografías sobre evaluación de recursos,
de las que se ofrecen unas cuantas URLs en el Anexo 1. Las sedes Web sobre eva-
luación incluyen tanto listas de criterios o cuestionarios concretos, como talleres de
aprendizaje de habilidades evaluadoras o revisiones conceptuales. La mayoría de las
listas de criterios procede de estas bibliografías, que contienen en su mayor parte se-
des Web, pero que incluyen algunas aportaciones de interés recogidas como artículos
de publicaciones periódicas. Todas las listas que aparecen en la tabla se incluyen en
la bibliografía.
El intento de analizar las diferentes listas de criterios ha llevado a la elaboración
de la tabla I, en la que se ha recogido el nombre de su autor, el tipo de institución
que la generaba, el área geográfica, el año de creación, el número de criterios que pre-
408
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
Tabla I
Lista de criterios
1
Área
Autor
Tipo
Año
geográfica
Número
criterios
Nivel de
Número de
Criterios
Criterios de
del diseño
Criterios de
aplicación
la información
administración
16. Argus Asociates Inc
Comercial
USA
S/D
5
5
G
17. Barbara
Lazewski
Universidad
USA
S/D
2
1
1
S
18. Charles R. McClure
Universidad
USA
S/D
6
2
2
2
S
19. Herbert T. Coutts
Universidad
Canadá
S/D
5
3
2
S
10.
Jakob Nielsen
Comercial
USA
S/D
10
10
S
20. Jim
Kapoun
Universidad
USA
S/D
5
5
S
21. Judith
Edwards
Universidad
Inglaterra
S/D
3
1
2
S
22. Kathy
McGreevy
Universidad
USA
S/D
7
7
S
23. Margaret
Riley
S/D
Australia
S/D
6
4
1
S
24. Sandra
Wittman
Universidad
USA
S/D
11
9
2
S
25. The Scout Proyect
Organización
USA
019942
5
2
2
1
S
26. Ester Grassian
Universidad
USA
1995
4
2
2
S
9.
Hope N. Tillman
Universidad
USA
1995
6
4
2
S
27. Robert M. Gurn
Universidad
USA
1995
4
1
3
S
23.
Toni Barry
Universidad
Australia
1995
3
3
S
28. Betsy
Richmond
Universidad
USA
1996
10
9
1
S
29. Boyd R. Collins
Universidad
USA
1996
5
3
2
S
30. Carolyn
Caywood
Universidad
USA
1996
3
1
2
S
31. Elizabeth E. Kirk
Universidad
USA
1996
6
6
S
32. Gillian
Westera
Universidad
Australia
1996
4
4
S
33. James Rettig
Universidad
USA
1996
16
12
4
S
34. Jorn
Barger
S/D
USA
1996
3253
25
S
35. Keith
Ewing
Universidad
USA
1996
6
5
1
S
36. Lida L. Larsen
Universidad
USA
1996
7
5
2
S
37. Marsha Tate
Universidad
USA
1996
5
5
S
8.
Matthew T. Ciolek
Organización
Australia
1996
7
4
3
S
38. Trudi Jacobson
Universidad
USA
1996
4
3
1
S
39. Alaistar Smith
Universidad
N. Zelanda
1997
7
4
2
1
S
40. Angelynn
King
Universidad
USA
1997
5
5
S
41. Craig Branham
Universidad
USA
1997
3
3
S
7.
Gene L. Wilkinson
Universidad
USA
1997
11
6
5
S
42. Julie
Kwan
Universidad
USA
1997
4
4
S
43. Keith
Instone
Comercial
USA
1997
104
10
S
44. Kris
Brancolini
Universidad
USA
1997
5
5
S
45. Online Writing Support Center
Universidad
USA
1997
2
2
S
46. Patrick
Ragains
Universidad
USA
1997
7
7
S
47. Robert Harris
Universidad
USA
1997
4
4
S
48. Robin
Bishop
Universidad
Canadá
1997
15
9
6
S
49. Serena
Fenton
Universidad
USA
1997
6
6
S
50. Shawn
Patterson
Universidad
USA
1997
5
5
S
51. Susan E. Beck
Universidad
USA
1997
5
5
S
52. Youngstown State University
Universidad
USA
1997
6
5
1
S
53. Alan
November
Universidad
USA
1998
3
3
S
54. Annette
Skov
Universidad
Dinamarca
1998
365
3
3
S
55. Barbara
Burd
Universidad
USA
1998
3
1
1
1
S
56. Billie
Peterson
Universidad
USA
1998
3
1
2
S
57. Gregory F. Aloia
Universidad
USA
1998
5
2
2
1
S
58. Hal P. Kirkwood, Jr,
Universidad
USA
1998
11
9
2
S
Rev. Esp. Doc. Cient., 24, 4, 2001
409
Marina Jiménez Piano
Tabla 1
Lista de criterios (continuación)
1
Área
Autor
Tipo
Año
geográfica
Número
criterios
Nivel de
Número de
Criterios
Criterios de
del diseño
Criterios de
aplicación
la información
administración
59. Jurek
Kirakowski
Comercial
Irlanda
1998
6
2
4
S
60. Kathy
Schrock
Universidad
USA
1998
3
2
1
S
61. Valparaiso
Univ.
Universidad
USA
1998
7
6
1
S
62. Virginia
Montecino
Universidad
USA
1998
9
7
2
S
11.
Brian Lavoie (OCLC)
Organización
USA
1999
19
196
S
63. Iona
College
Universidad
USA
1999
5
5
S
64. Jana
Edwards
Universidad
USA
1999
7
5
2
S
65. Joan
Ormondroyd
Universidad
USA
1999
10
10
S
66. John
Henderson
Universidad
USA
1999
4
3
1
S
67. L.Gordon-Murname
Comercial
S/D
1999
15
9
5
1
G
68. Paul
Gorski
Universidad
USA
1999
6
5
1
S
69. Sari Kalin
Comercial
USA
1999
4
4
S
70. Toni
Greer
Universidad
USA
1999
3
3
S
71. Websat
Organización
USA
1999
6
6
S
72. Ameritech
Comercial
USA
2000
5
5
S
6.
UE- funded Desire
Organización
Europa
1999
757
2
1
2
G
73. Claire Rowland
Comercial
Ingla.
2000
7
1
6
S
74. IntelliQuest
Comercial
USA
2000
3
1
2
S
5.
Lluis Codina
Universidad
España
2000
14
5
9
S
75. Steve
Cramer
Universidad
USA
2000
5
5
S
1 Sitios Web (consignado con una S) o guías o conjuntos de sitios Web (consignado con una G).
2 Los derechos de autor son de 1994-2000.
3 Se trata en realidad de una lista de errores en el diseño de páginas.
4 Son los 10 principios heurísticos del diseño de Jakob Nielsen.
5 En realidad, aunque menciona sólo tres criterios, en el desarrollo del cuestionario utiliza seis epí-
grafes que equivalen a otros tantos criterios.
6 Es un proyecto para establecer indicadores cuantitativos para web.
7 En realidad se trata de cinco tipos genéricos de criterios, subdivididos a varios niveles: si nos dete-
nemos en la primera división podemos enumerar 23 criterios; se ha optado por consignar sólo los tipos
genéricos de criterios.
sentan, y su reparto en distribución en tres apartados: contenido, diseño y administra-
ción. Por último, se ha recogido también el ámbito de aplicación, si se aplican a se-
des Web (consignado con una S) o a guías o conjuntos de sedes Web temáticas (con-
signado con una G).
En algunos casos no ha sido posible recoger la fecha porque no constaba; en otros
casos sólo se disponía de la fecha de modificación, pero no de la de creación; siem-
pre que existía se ha preferido la fecha de creación y sólo se ha recogido la de mo-
dificación última cuando no había ninguna otra. Las fechas de modificación también
plantean problemas, pues no aclaran si la modificación ha sido substancial o se ha li-
mitado a la corrección de algún error.
Se han incluido en la tabla listas de criterios amplias, que pretenden evaluar todos
los aspectos de las sedes Web, y otras que sólo se ocupan de aspectos externos o for-
males, como por ejemplo varios estudios sobre la facilidad de uso o usabilidad: estos
410
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
últimos se presentan a veces como una lista de errores que se deben evitar y son de-
sarrollados por sedes Web comerciales o especialistas procedentes de empresas de soft-
ware. Finalmente, se ha incluido de forma parcial el proyecto de la OCLC Web Cha-
racterization Metrics, pues, aunque sus criterios son fundamentalmente cuantitativos,
lo cuantitativo se convierte en cualitativo si supera un determinado umbral, como se-
ñala Codina (6).
La ausencia de una definición en cada uno de los conceptos utilizados como cri-
terios supone que en ocasiones un mismo término esté refiriéndose a dos realidades
diferentes; a veces se considera criterio algo tan genérico como el término contenido.
En este caso, ya que evidentemente no se refiere a la existencia o no de éste, impres-
cindible en cualquier sede Web, se debería aclarar a qué cualidades del contenido se
refiere, su extensión, su profundidad, su organización, etc. Además, en cualquier pá-
gina Web existe bastante variedad en el tipo de información de que consta, y sobre
todo conviene no confundir la información que contienen los marcos —básica, per-
manente y orientativa— con el contenido propiamente dicho, que dependerá, en cada
caso, del mensaje que se quiera transmitir. Algunas listas de criterios pecan de aque-
llo que se considera uno de los mayores inconveniente de la Web, y es la escasez de
los contenidos y su banalidad; muchas están planteadas como documentos efímeros
con un objetivo fundamentalmente práctico.
Figura 1
Listas de criterios por área geográfica
Del análisis de dicha tabla se pueden extraer una serie de conclusiones, como es
el predominio absoluto de las listas de los Estados Unidos, con un 78,2% del total
que, junto al 2,8% de Canadá, se convierte en 81%, frente a al 8,7% de las listas
europeas, que incluyen el proyecto DESIRE de la Unión Europea (7), y el 7,2 de Aus-
tralia y Nueva Zelanda. Por lo que se refiere al tipo de sede Web, también está claro
el predominio de las sedes Web universitarias, representadas por un 75,3% del total,
del que un 81% son universidades norteamericanas. Le siguen a distancia las sedes
comerciales, con un 13% y las organizaciones no comerciales, con el 7,2%.
Resulta interesante el análisis de las fechas de las sedes, que comienza en el año
1994 y en 1997 alcanza su cota más alta, produciéndose a partir de aquí un descenso
durante los años 1998 y 1999 que no se puede predecir aún si continuará a lo largo del
Rev. Esp. Doc. Cient., 24, 4, 2001
411
Marina Jiménez Piano
2000. También es cierto que en estos años últimos es cuando han aparecido las aporta-
ciones más esclarecedoras. Como ya se ha mencionado, llama especialmente la atención
el que casi en un 15% de los casos no aparezca la fecha o ésta sea de difícil localiza-
ción. En cualquier caso, se ha de tener en cuenta que la datación de los sedes Web no
es tan inequívoca como la de la información impresa, debido a su fácil alteración.
Figura 2
Listas de criterios por años
El número de criterios oscila entre los 25 y los 2. El número más frecuente de cri-
terios por lista es de cinco, por influencia con los criterios tradicionales de evaluación
de la información impresa. La mayor parte de las listas presenta entre 3 y 7 criterios.
Dada la falta de definición existente, se ha tomado el concepto de criterio de un modo
muy amplio. En muchos de los casos, lo único que se ha hecho es aplicar los crite-
rios tradicionales a la nueva situación, y por lo tanto no existe en estas listas de cri-
terios ninguno de aplicación específica a la Web. Otros, por el contrario se han deja-
do llevar de modo exclusivo por el especial carácter de la Web, olvidando que la
información es siempre información, no importa en que soporte o medio se difunda.
De entre todas las listas de criterios, cabe resaltar listas como la de la Unión Eu-
ropea, la de la Universidad de Georgia (8), la de la WWW Virtual Library (9), la de
Tillman (10) o Nielsen (11), la que se inscribe dentro del proyecto de la OCLC Web
Characterization Metrics (12) o la lista de criterios propuesta por Lluis Codina (6), no
sólo por ser la primera aparecida en España, sino por su valor intrínseco y por estar
respaldada por la práctica, en los Master de Artes Digitales y en el curso de postgra-
do de Documentación Digital de la Universidad Pompeu Fabra.
3 Elaboración del cuestionario
El cuestionario se ha elaborado tomando como punto de partida los criterios tra-
dicionales de selección de información impresa y los de selección de información en
línea. Para ello se han consultado alrededor de 100 sedes Web y una treintena de ar-
tículos de publicaciones periódicas que exponían criterios de evaluación y también sus
propios cuestionarios. Un factor muy importante en su redacción ha sido el de inten-
412
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
tar tener en cuenta la evolución previsible de la publicación en Internet, porque debi-
do a su dinamismo, las sedes Web presentan innovaciones constantes. Por otra parte,
al incluir en el cuestionario determinadas preguntas, se ha querido prever cuál será el
sentido de la evolución y, en caso de duda, se ha optado por incluir todas aquellas
cuestiones que se refieran a facetas que supongan una mejora en la calidad de las se-
des Web, no sólo de sus contenidos documentales, sino también de la facilidad de uso.
Tabla II
Cuestionario y ponderación
CUESTIONARIO Y PONDERACIÓN
Ponde-
N.º
Cuestiones
ración
1.1. ¿Su título es suficientemente identificativo?
3
1.2. ¿Existe alguna garantía de autenticidad, como certificaciones, etc.?
1
1.3. ¿La URL ayuda a identificar el recurso?
2
1.4. ¿Su URL es estable?
3
1.5. ¿Dispone de un sistema que avisa de la nueva URL?
3
1.6. ¿Cuenta con robots de mantenimiento de URL?
1
1.7. Tecnología
1.7.1. ¿Puede visualizarse con navegadores estándar?
3
1.7.2. ¿Se necesita un software específico para su uso?
–1
1.8. ¿Tiene un horario de acceso que limite su consulta?
–1
1.9. ¿Tiene un acceso rápido y regular ?
2
Accesibilidad
1.10. Normas de uso
1.10.1. ¿Su acceso es gratuito?
1
1.10.2. ¿Está limitado el uso a una determinada categoría de usuarios
(sólo para asociados)?
–1
1.10.3. ¿Es necesario registrarse para acceder a alguna parte del recurso?
–1
1.10.4. ¿Se avisa al usuario que sus datos están siendo registrados?
2
1.10.5. ¿Se garantiza la confidencialidad de los datos registrados?
3
2.1. ¿Refleja con claridad el tipo de audiencia al que va dirigido?
1
2.2. ¿Consta la existencia de una política en contra de material impropio
o controvertido (lenguaje obsceno, sexo explícito o violencia gratuita)?
1
2.3. ¿Está dirigido a un ámbito geográfico o lingüístico concreto?
1
Audiencia
2.4. ¿Se dirige a un sector especial de la población?
1
3. Autoridad: identificación y reputación de la fuente
3.1.1. ¿Figura como autor de todo el recurso sólo una institución?
1
3.1.2. ¿Se indica con claridad quién es el autor/es de cada página del recurso?
2
3.1.3. ¿Se consigna la filiación profesional o institucional del autor?
2
3.1.4. ¿Se indica la posición y categoría del autor dentro de la organización?
2
3.1.5. ¿Es el autor una persona de reconocido prestigio en la materia?
2
3.1.6. ¿Se indica la formación y experiencia del autor en la materia
(otras publicaciones, etc.)
2
3.1.7. ¿Se le cita al autor con frecuencia en fuentes de calidad
(impresas o electrónicas)?
2
Autoridad
3.1.8. ¿Es posible contactar con el autor a través del correo-e?
3
3.2. Control de calidad
3.2.1. ¿El recurso está avalado por una organismo de reconocido prestigio?
1
3.2.2. ¿Consta que el contenido ha sido revisado por asesores externos expertos
en la materia?
1
3.2.3. ¿Recibe el recurso enlaces desde otras páginas de calidad (Visibilidad)?
2
Rev. Esp. Doc. Cient., 24, 4, 2001
413
Marina Jiménez Piano
Tabla II
Cuestionario y ponderación (continuación)
CUESTIONARIO Y PONDERACIÓN
Ponde-
N.º
Cuestiones
ración
4.1. Validez
4.1.1.¿Se describe con detalle la metodología aplicada?
2
4.1.2 ¿Es adecuada al tema?
1
4.1.3. ¿Proporciona alguna información nueva o innovadora?
2
4.1.4. ¿Contiene resúmenes, glosarios, clasificaciones e índices temáticos y onomásticos?
1
4.1.5. ¿Utiliza algún tesauro?
1
4.1.6. ¿Se respeta el copyright?
2
4.2. Exactitud
4.2.1. ¿Confirma el recurso la información de otras fuentes?
3
4.2.2. ¿Las tesis se defienden con objetividad y moderación?
3
4.2.3. ¿ Incluye una bibliografía y unas citas que apoyen o contradigan las tesis
que se defienden?
3
4.2.4. ¿Las conclusiones se basan en estadísticas verificables?
3
4.2.5. ¿Están representadas todas las opiniones?
1
4.2.6. En temas controvertidos, ¿está clara la opinión del autor?
2
4.2.7 ¿Está el recurso patrocinado por individuos o grupos con una posición
determinada respecto a los temas tratados en él?
–1
4.2.8. ¿Tienen el autor o el patrocinador intereses comerciales o personales en el tema
–3
4.2.9. ¿La calidad es regular a lo largo de todo el documento?
2
4.2.10. ¿Se cuida la gramática y la ortografía?
2
4.2.11. ¿Hay errores tipográficos?
–1
4.3. Exhaustividad y profundidad de los contenidos
4.3.1. ¿Es exhaustivo el tratamiento del tema?
1
4.3.2. ¿Hay lagunas u omisiones evidentes en el tema?
–1
4.3.3. ¿Se adecua el nivel de profundidad a la audiencia prevista?
1
4.3.4. ¿Se indica el periodo temporal cubierto?
1
Contenido
4.3.5. ¿Menciona el área geográfica que abarca?
1
4.3.6. ¿Se observa una ampliación periódica de los contenidos?
2
4.3.7. ¿Se elimina la información obsoleta?
3
4.4. Originalidad
4.4.1. ¿Se trata de material primario?
1
4.4.2. ¿La información del recurso aparece por vez primera?
1
4.4.3. ¿Se basa el recurso en información elaborada por los autores más que en los
enlaces externos?
2
4.4.4. Se trate de información primaria o secundaria, ¿aporta un nuevo enfoque?
1
4.4.5. ¿Se trata de una información aparecida con anterioridad en otro medio o soporte?
–1
4.4.6. En caso de que admita publicidad, ¿está ésta claramente delimitada?
2
4.5. Redacción y organización intelectual
4.5.1. ¿Está el recurso bien organizado?
3
4.5.2. ¿Se divide en secciones o partes lógicas?
3
4.5.3. ¿Son descriptivos y claros los epígrafes que encabezan las secciones?
3
4.5.4. ¿Está visualmente bien organizado el recurso?
2
4.5.6. ¿Permite su descarga en formato texto?
2
4.6. Actualización del contenido
4.6.1. ¿Aparece la fecha de creación intelectual del recurso?
2
4.6.2. ¿La información ofrecida es la más actual posible?
1
4.6.3. ¿Se incluye información relevante previa a la creación del recurso?
1
4.6.4. ¿Son visibles las puestas al día?
3
4.6.5. ¿La bibliografía citada corresponde a la media de obsolescencia de la disciplina?
3
414
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
Tabla II
Cuestionario y ponderación (continuación)
CUESTIONARIO Y PONDERACIÓN
Ponde-
N.º
Cuestiones
ración
5. Coste (sólo para aquellos recursos de acceso no gratuito)
5.1. ¿Están las condiciones económicas de acceso claramente establecidas?
3
5.2. ¿Se exponen claramente los servicios que son gratuitos y los que no?
3
5.3. ¿Explica claramente los medios de pago?
2
Coste
5.4. ¿Dispone de periodos de prueba libres o gratuitos?
1
5.5. ¿Cuenta con una versión gratuita ?
1
5.6 ¿Permite licencias multiusuario?
1
6. Actualización
6.1. ¿Se menciona explícitamente de quién es la responsabilidad de las puestas
al día y corrección de errores
2
6.2. ¿Se menciona la existencia de puestas al día?
1
6.3. ¿Su regularidad está formalmente establecida?
2
6.4. En caso de no aparecer ninguna fecha ¿la fecha de modificación del directorio
es muy obsoleta?
-1
6.5. ¿Se subrayan visiblemente las novedades?
2
Actualización
6.7. ¿Existe mención a un archivo permanente o histórico para las páginas que ya no
están disponibles en el recurso?
2
6.8. ¿Se dan las normas de acceso a dicho archivo?
2
7.1. Navegación
7.1.1. ¿Es fácil navegar por el recurso?
2
7.1.2. ¿Cuenta con una tabla de contenido navegable?
2
7.1.3. ¿Dispone de un mapa sensible?
1
7.1.4. ¿Existen en cada página botones de enlaces con la página siguiente y la anterior?
2
7.1.5. ¿Hay botones de enlaces a la página de inicio y a otros puntos claves dentro
del recurso?
2
7.1.6. Si se trata de secciones extensas, ¿cuenta con enlaces internos a las distintas
subsecciones?
2
7.1.7. ¿Funcionan los enlaces, sean internos o externos?
3
7.1.8. ¿Consta la existencia de algún mecanismo de verificación de enlaces?
1
7.1.9. ¿Se ha de usar demasiado la barra de desplazamiento? (Por el excesivo
tamaño de la unidad de información)
-2
7.1.10. ¿Cuenta con un buscador propio?
1
7.2. Ayudas al usuario
7.2.1. ¿Existe un apartado correspondiente a la ayuda al usuario?
2
Diseño
7.2.2. ¿Cuenta con tutoriales?
1
7.2.3. ¿Proporciona alguna instrucción sobre el funcionamiento?
1
7.2.4. ¿Existe un teléfono o e-mail para la solución de problemas técnicos y aclaración
de dudas?
1
7.3. Uso de normas aceptadas
7.3.1. ¿Cuenta con metadatos?
2
7.3.2. ¿Usa formatos multimedia normalizados?
2
7.3.3. ¿Está escrito en HTML normalizado?
2
7.3.4. ¿Indica de que versión se trata?
1
7.3.5. ¿Contiene algún tipo de script ?
1
7.3.6. ¿Avisa de la necesidad de software adicional?
1
7.3.7. ¿Presenta algún medio de obtener dicho software?
1
7.4. Aspectos estéticos y amigabilidad
7.4.1. ¿Está el diseño visual al servicio del contenido de la información?
2
Rev. Esp. Doc. Cient., 24, 4, 2001
415
Marina Jiménez Piano
Tabla II
Cuestionario y ponderación (continuación)
CUESTIONARIO Y PONDERACIÓN
Ponde-
N.º
Cuestiones
ración
7.4.2. ¿Facilita la legibilidad y comprensión el uso del color?
2
7.4.3. ¿Se siguen los principios del diseño textual en la composición de párrafos
y epígrafes
2
7.4.4. ¿Ayudan las imágenes a la comprensión y mejor funcionamiento del recurso?
1
7.4.5. ¿Mejora la amigabilidad de la página el uso de animaciones, sonido o vídeo?
1
7.4.6. ¿Va la complejidad del diseño en detrimento de la legibilidad?
–1
7.4.7. ¿El diseño mantiene la atención y no la agota?
1
8.1. Administración del recurso
8.1.1. ¿Figura una persona o grupo de personas que se ocupan de su mantenimiento?
2
8.1.2. ¿Se refleja el hecho de disponer de una organización jerárquica, con asignación
de tareas y responsabilidades?
1
8.1.3. ¿Están asignadas las tareas de aviso de periodos de no funcionamiento,
revisión periódica de enlaces, vigilancia de los funcionamientos anómalos,
información sobre franjas horarias favorables?
1
8.1.4. ¿Se planifican las modificaciones del recurso?
1
8.1.5. ¿Se menciona la existencia de una política de gestión de documentos dentro
del recurso?
2
8.1.6. ¿Se alude a un programa y plan de migración de documentos?
1
8.1.7. ¿Cuenta con mirrors?
1
Administración
8.1.8. ¿Está el uso de los mirrors claramente indicado?
1
8.2. Valoración o evaluación
8.2.1. ¿Se observa algún modo de evaluación?
2
8.2.2. ¿Existe algún modo de recoger la opinión del usuario?
2
8.2.3. ¿Hay algún formulario para ello?
1
8.2.4. ¿Consta de algún modo la atención a las demandas y opiniones de los usuarios?
1
8.2.5. ¿Existe algún plan de calidad?
2
8.2.6. ¿Son manifiestas las mejoras y los cambios en el diseño?
2
TOTAL
212
El cuestionario consta de 125 cuestiones repartidas en 8 bloques básicos. Se ha
preferido usar el término cuestiones porque el término indicador parece circunscrito a
elementos exclusivamente cuantitativos y en este cuestionario algunos aspectos no lo
son directamente. Además de los bloques de criterios básicos como Contenido, Dise-
ño o Administración se incluyen otros cinco, que miden Accesibilidad, Audiencia, Au-
toridad, Actualización y Coste, secciones que no pueden considerarse estrictamente as-
pectos de Contenido, Diseño o Administración sino que se aplican de modo global.
Estos ocho criterios genéricos se dividen en los subapartados que se enumeran a con-
tinuación:
1. Accesibilidad (15 cuestiones)
1.1. Tecnología
1.2. Normas de uso
2. Audiencia (4 cuestiones)
3. Autoridad (11 cuestiones)
416
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
3.1. Autor/es del recurso
3.2. Control de calidad
4. Contenido (40 cuestiones)
4.1. Validez
4.2. Exactitud
4.3. Exhaustividad y profundidad
4.4. Originalidad
4.5. Redacción y organización intelectual
4.6. Actualización
5. Coste (sólo para aquellos recursos no enteramente gratuitos) (6 cuestiones)
6. Actualización (7 cuestiones)
7. Diseño (28 cuestiones)
7.1. Navegación
7.2. Ayudas al usuario
7.3. Uso de normas aceptadas
7.4. Aspectos estéticos y amigabilidad
8. Administración (14 cuestiones)
8.1. Administración del recurso
8.2. Valoración o evaluación
Tras su enumeración, en los siguientes epígrafes se definen cada uno de los apar-
tados y subapartados, describiendo las cuestiones que los componen y aclarando su
significado cuando se considera necesario.
3.1 Accesibilidad
Una información de gran calidad pero que no se difunde o limita su difusión no
logra uno de los objetivos fundamentales de toda investigación, la comunicación de
sus resultados a la comunidad científica para servir de base a nuevos estudios y con
ello al progreso, por lo que es fundamental medir tanto accesibilidad como la dispo-
nibilidad de las sedes Web para determinar su nivel cualitativo. Se entiende por ac-
cesibilidad la posibilidad de llegar a la sede Web o la facilidad con que se puede ac-
ceder a ella, en tanto que el término disponibilidad implica cuestiones como la
estabilidad de la página o su horario de apertura, e incluso la organización y aspectos
técnicos. Dentro del criterio Accesibilidad se engloban ambos conceptos y se miden
aquí, no sólo aquellos factores que posibilitan la toma de contacto y hacen posible lle-
gar a la información, sino aquéllos que facilitan su uso o disponibilidad. Incluye, por
tanto, este apartado varios tipos de elementos, tales como elementos de identificación,
de permanencia, tecnológicos y normativa de uso.
Este criterio existe en todos los cuestionarios que se han consultado, incluyendo
preguntas que se refieren tanto a aspectos generales (si es o no totalmente gratuito, si
se necesita registrarse o si ofrece facilidades a discapacitados), como tecnológicos. En
este cuestionario se incluyen en total 15 cuestiones, ocho generales, cinco sobre las
normas de acceso y dos de carácter tecnológico.
La cuestión que se refiere a las autenticaciones en el momento actual parece gra-
tuita, pues pocas páginas cuentan con ellas. Se habla fundamentalmente de la firma
Rev. Esp. Doc. Cient., 24, 4, 2001
417
Marina Jiménez Piano
digital, basada en un procedimiento criptográfico asimétrico, y de los certificados di-
gitales, que confieren validez legal a los documentos electrónicos. No obstante, se ha
incluido por el convencimiento de que cada vez será más demandada, dada la posibi-
lidad de suplantación, el crecimiento de las transacciones económicas o contractuales
y el consiguiente interés en garantizar la seguridad de los datos transmitidos.
Tres preguntas se refieren a la estabilidad y disponibilidad de la URL y dos a la
regularidad de acceso y los horarios, tratando de medir la fluidez de manejo del re-
curso, cuya deficiencia es una las mayores causas de frustración de los usuarios de la
Web. Muchas sedes Web cuentan ya con sistemas que alertan del cambio de URL,
aunque se trate de un simple enlace en la antigua dirección que apunta hacia la nue-
va; es menos frecuente la existencia de robots de mantenimiento.
Las preguntas sobre aspectos tecnológicos del acceso son muy abundantes en al-
gunos cuestionarios; en éste han quedado reducidas a dos, una sobre el uso de los na-
vegadores estándar y otra sobre la necesidad de software especial. En algunos cues-
tionarios se incluye otra acerca de la existencia de diferentes versiones para cada uno
de los dos navegadores más famosos, Explorer y Netscape, pero no se ha considera-
do sustantiva.
Las cinco cuestiones sobre las normas de uso se refieren a su limitación para un
tipo de usuario concreto y a la necesidad de registrarse para acceder a la sede Web (o
a una determinada parte de ésta) y si ofrece algún tipo de garantías de seguridad de
los datos.
3.2 Audiencia
De uno de los significados que le concede el diccionario de la Real Academia Es-
pañola, el de «conjunto de personas que atiende a un programa de radio o televisión»,
se deriva el uso que se asigna a este término en el cuestionario, que es «conjunto de
personas que se prevé que sean sujetos receptores de la información contenida en esta
sede Web».
En este apartado se intenta establecer la adecuación del contenido informativo de
la sede Web a la audiencia prevista y consta de cuatro cuestiones. Para ello, es fun-
damental un epígrafe que suele aparecer en casi todos los menús de las páginas de ini-
cio de la mayoría de las sedes Web, en el que se aclaran las intenciones de ésta, se
informa de a quién va dirigida y se da información sobre el autor, ya se trate de una
persona física o jurídica. Se incluye además una pregunta sobre la existencia de ma-
terial impropio o controvertido, que parece poco necesaria en el tipo de sedes que se
evalúa, de contenido esencialmente científico, pero que se ha preferido incluir, dada
la importancia del tema. Se habla de material impropio o controvertido refiriéndose
no sólo a sexo o violencia, sino a cualquier contenido extremo o ilegal (drogas, cul-
to satánico, xenofobia, etc.). Es un uso extendido en las bibliotecas públicas america-
nas limitar el acceso de los menores a este tipo de materiales, ya sea mediante el uso
de un software de filtrado como CyberPatrol (http://www.microsys.com/cyber) o me-
diante otros recursos.
Dos preguntas sobre si los recursos están dedicados a un sector geográfico o de
población cierran el apartado, aludiendo a sedes Web diseñadas para una comunidad
geográfica o lingüística determinada.
418
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
3.3 Autoridad: identidad y reputación de la fuente
Se utiliza aquí el término en una de las acepciones que le da el DRAE, que es el
de Crédito y fe que, por su mérito y fama, se da a una persona o cosa en determi-
nada materia. Se ocupa de temas como formación, experiencia personal, filiación ins-
titucional y publicaciones del autor y su relación con el tema del documento. Es un
apartado muy importante, dado que en el terreno de la comunicación científica es im-
prescindible conocer la fuente y su autoridad en el tema tratado. Pero en el caso de
las sedes Web es necesario, además, hacer una serie de puntualizaciones.
La mayor parte de las sedes Web, excepto las páginas personales, son obra de una
entidad u organismo y rara vez están detallados los nombres de las personas que se
ocupan de cada aspecto del desarrollo de las páginas. Incluso las páginas concretas,
es decir cada uno de los ficheros que las componen aparecen generalmente sin una fir-
ma personal. En las mejores sedes o en las más cuidadas existe un apartado general
de Créditos bastante detallado. Otra cosa distinta son las contribuciones científicas que
aparecen en las páginas, ya se trate de un artículo dentro de una revista, de una po-
nencia presentada a un congreso o una simple reseña de una obra impresa, donde ob-
viamente ha de aparecer un autor o autores, su filiación y algún mecanismo de con-
tacto, sea correo ordinario o electrónico. En algunas sedes Web existe la posibilidad,
cada vez más extendida, de enlazar con el curriculum del autor. Generalmente es di-
fícil establecer el prestigio del autor en una determinada área, su nivel científico, so-
bre todo si se trata de una materia ajena al evaluador. Para tratar de evaluar estos ele-
mentos, se utiliza el recurso de las citas recibidas, así como las cuestiones que
componen el epígrafe Control de calidad, en el que cabe destacar lo que Codina (6)
llama Visibilidad o número de enlaces externos recibidos por una sede Web.
Aunque a menudo un artículo de revista o un libro sólo sufre el control que su-
pone la edición, existe la posibilidad de utilizar instrumentos bibliométricos como el
estudio de publicación o el de citas como sistema de control de calidad. Un procedi-
miento similar, el estudio de publicación electrónica y de citas recibidas —impresas
y electrónicas— sería más objetivo para la información de la Web, pero exigiría el de-
sarrollo de un instrumento equivalente al Citation Index de toda Internet. Como men-
ciona Codina (6), muchos motores de búsqueda ofrecen la posibilidad de contabilizar
el número de enlaces recibidos por una sede.
3.4 Contenido
El recurso al diccionario no soluciona en este caso el significado del término, pues
se reduce a definirlo como Lo que se contiene dentro de una cosa, manteniendo la in-
certidumbre de qué se entiende por contenido en el ámbito documental. Este término
se define generalmente por oposición a continente o forma y en el caso de las sedes
Web equivale a información científica, en el sentido amplio expresado anteriormente.
Ayudan a centrar el término los seis subapartados en los que está dividido, que pre-
cisan que no se trata de cualquier tipo de información, sino de información que cum-
ple ciertos requisitos: información exacta, actualizada, exhaustiva, original, bien orga-
nizada y de valor intrínseco.
Es la parte central de la evaluación, y la que tiene más parecido con la evaluación
Rev. Esp. Doc. Cient., 24, 4, 2001
419
Marina Jiménez Piano
de material impreso, pues afecta al contenido de la información propiamente dicha y
no a su soporte o modo de presentación. Sin embargo, es la parte del cuestionario más
difícil de cumplimentar, en primer lugar porque trata de cuestiones obvias: cualquier
comunicación científica, aunque se trate de una comunicación escolar mínima, debe
contar con bibliografía, el tono al defender cualquier teoría científica ha de ser siem-
pre moderado y, en fin, debe tener en cuenta todas las condiciones que se exigen en
este tipo de información. Es habitual que la mayor parte de los recursos cumplan es-
tos requisitos, pero es imprescindible incluir estas preguntas para aquéllos que no los
cumplan, pues se trata de elementos básicos para determinar la calidad de cualquier
información.
En segundo lugar, en cualquier recurso suele haber bastantes piezas de información,
cada una con su nivel de validez, exactitud, etc.; se trata sobre todo de hallar la media
general o establecer cuál es el nivel mínimo de requerimientos de calidad admitido por
el administrador del recurso. En el caso de la revistas electrónicas suele ser bastante
indicativa la lectura de las normas de publicación y de todas aquellas recomendaciones
del comité editorial a los colaboradores. Este apartado se refiere al contenido científi-
co básico, es decir a artículos, comunicaciones o toda pieza de información de tamaño
aceptable y no constitutiva de los elementos administrativos o de gestión del recurso.
Pues en toda sede Web podemos distinguir entre una información básica, constituida
por unidades de información con sus correspondientes enlaces internos y externos, y
una información marco, que constituye la trama sobre la que se asienta la primera y
forma el tejido de las páginas. Dependiendo del tipo de recurso del que se trate, esta
información marco será mayor o menor; en las listas de recursos o en las bibliografí-
as será mínima, pero en las páginas de cualquier tipo de instituciones u organismos será
mayor, pues incluye además pequeñas piezas de información general o administrativa
de las propias entidades, que no deben ser evaluadas en este apartado.
Este apartado es el más amplio, compuesto por cuarenta cuestiones y seis suba-
partados: Validez, Exactitud, Exhaustividad/Profundidad, Originalidad, Organización
intelectual y Actualización.
Bajo el epígrafe Validez se evalúa si se expone la metodología de los trabajos, si
incluye información innovadora, si la información está suficientemente elaborada y
ofrece herramientas como resúmenes, índices u otros elementos que faciliten su uso y
le confieran un valor añadido. También se valora el respeto a las normas de repro-
ducción de documentos o derechos de autor.
En el siguiente subapartado —Exactitud— se pretende medir hasta qué punto la
información es exacta, es decir responde a una realidad. Por ello se ha tenido en cuen-
ta desde la bibliografía al tono moderado en la defensa de las tesis, la objetividad al
exponer los distintos puntos de vista de un tema y la expresa toma de partido en aque-
llos asuntos que impliquen subjetividad. Finalmente se intenta determinar si existe al-
gún tipo de sesgo y si la redacción descuidada o irregular puede indicar inexactitud o
incluso una alteración del texto original.
Por lo que respecta al epígrafe Exhaustividad/Profundidad, consta de siete pre-
guntas que intentan aclarar si el tema se ha estudiado adecuadamente, tanto en exten-
sión como en profundidad, y si el estudio corresponde al nivel de audiencia previsto.
Se tiene también en consideración la mención de la cobertura espacial y temporal, así
como tanto la ampliación periódica del contenido como la eliminación de la informa-
ción que haya perdido vigencia.
420
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
Bajo el epígrafe Originalidad se valora especialmente aquella información única,
que no aparece repetida en muchos lugares de la Red. También se tiene en cuenta el
que la información esté elaborada y no se reduzca a una mera lista de enlaces, ex-
cepción hecha de las listas de recursos, donde con incluir una lista organizada y de-
bidamente anotada de éstos, cumplen sobradamente su objetivo.
En cuanto al epígrafe Organización intelectual, se ha de tener en cuenta que se
quiere valorar la organización de los contenidos de las contribuciones científicas in-
cluidas dentro del recurso, y no la organización general de éste. Se mide la adecuada
división en secciones lógicas y claramente establecidas mediante títulos expresivos e
incluso su presentación visual.
También en el apartado Actualización hay que distinguir claramente entre la ac-
tualización del contenido y la del recurso. En sus preguntas se mide la consignación
de la fecha de elaboración de la comunicación, si se trata de la información más ac-
tual posible y si contiene información anterior a la creación del recurso; esta última
pregunta se ha incluido sobre todo por lo que se refiere a información más sensible al
paso del tiempo, pues en disciplinas del campo de las Humanidades, es imposible en
la mayor parte de los casos desdeñar la información histórica.
Se le asigna gran importancia a la constancia de las puestas al día, pues cualquier
contribución científica pierde vigencia enseguida, si no refleja los avances de la ma-
teria, especialmente en un medio como Internet, que facilita la actualización. Por lo
que se refiere a la caducidad de la bibliografía, en un principio se había establecido
un periodo máximo de cinco años, posteriormente se amplió a siete años, puesto que
las disciplinas comprendidas en el área de Humanidades tienen una obsolescencia me-
nor. Finalmente, teniendo en cuenta que el concepto de obsolescencia o vida media
varía según las áreas temáticas, se decidió su redacción definitiva, que tiene en cuen-
ta que materias como la Genética o la Física tienen una vida media de sólo tres años,
mientras que las Matemáticas, la Botánica o las Humanidades tienen una vida media
de alrededor de 20 y otras consideradas de carácter intermedio, como la Fisiología o
la Química, pueden tener una vida de entre 7 y 10 años, según expone Sanz (13).
3.5 Coste (para aquellos recursos no enteramente gratuitos)
Es el Gasto realizado para la obtención o adquisición de una cosa o servicio, y
son pocas las sedes Web que exigen un precio sólo para acceder a ellas. Ahora bien,
muchas exigen pago por determinados servicios u ofrecen un acceso privilegiado a
cambio de éste. Una gran parte de las sedes Web que no son gratuitas plantean la cuo-
ta como inscripción en algún tipo de sociedad.
En un principio se había dudado en incluir este apartado, pues una de las condi-
ciones para admitir un recurso era la de ser o no gratuito; finalmente se decidió ad-
mitirlo, dado que existen determinadas exenciones, como los periodos de prueba, las
versiones gratuitas de una sede de pago o la gratuidad parcial. También se valora la
oferta de diferentes tarifas o precios según se trate de usuarios particulares o institu-
cionales. En resumen, se ha incluido este apartado para tratar de evaluar, no tanto la
gratuidad o no del servicio, sino la declaración clara de las condiciones económicas o
contractuales de los distintos servicios ofertados y las facilidades para usar de ellos.
Rev. Esp. Doc. Cient., 24, 4, 2001
421
Marina Jiménez Piano
3.6 Actualización
Actualizar es según el diccionario de la RAE «hacer actual una cosa, darle actuali-
dad», sinónimo de «poner al día». Se trata no sólo de añadir información, sino de su-
primir aquélla que ha perdido actualidad o eliminar cualquier epígrafe que indique nove-
dad de la información incluida tiempo atrás. Este apartado no debe confundirse con el de
la actualidad del contenido de las contribuciones científicas: se trata de puestas al día re-
feridas a la información marco, y con él se intenta evaluar si la actualización es un co-
metido asignado dentro de una distribución de tareas, si se trata de puestas al día con una
regularidad establecida, si se avisa de la inclusión de nuevas secciones o contenidos. Una
cuestión relevante es el almacenamiento de la información histórica en un archivo per-
manente y sus normas de consulta, que permitirá entre otras cosas la reconstrucción de
la historia de los recursos. Para los casos en los cuales no figure fecha alguna de crea-
ción o modificación, se ha tenido en cuenta la fecha que suministran los ficheros HTML.
3.7 Diseño
Según el DRAE entre las acepciones de la palabra diseño se encuentra una, proyec-
to, plan y concepción original de un objeto u obra destinados a la producción en serie,
que remite al sentido que tiene en este cuestionario, pues refleja la idea de esquema pre-
vio de la sede, incluidos todos los factores de comunicación hombre máquina.
El apartado del Diseño constituye el más específico de las sedes Web, pues afec-
ta a las cuestiones más características de la información que se distribuye en el hi-
pertexto de la World Wide Web. Recoge aspectos como la Navegación, las Ayudas al
usuario, la Aplicación de normas aceptadas o la Estética y amigabilidad de la sede,
elementos todos ellos que se aplican únicamente a la información de Internet.
El aspecto de la Navegación está representado por once preguntas, un número bas-
tante elevado, con las que se ha tratado de valorar las facilidades para moverse de un
lado a otro de la información dentro de una sede Web. La Navegación representa una
de las mayores ventajas de la información de la Web y del hipertexto, despierta gran-
des expectativas de acceder rápidamente a resultados satisfactorios, y es también la
que genera mayor frustración, mayor desorientación y desbordamiento cognoscitivo,
cuando los enlaces no funcionan, o el sistema está mal diseñado.
La estructura de la sede Web, la creación y mantenimiento de los enlaces entre las dis-
tintas páginas constituye una tarea laboriosa, que sólo en parte es realizada automática-
mente, y que exige una planificación cuidadosa y un seguimiento constante. Codina, en su
artículo ya citado (6), estudia el tema dentro del apartado Macronavegación, incluyendo
en él la Luminosidad o número de enlaces externos, la calidad de los enlaces, su actuali-
zación, la descripción y selección de estos y la Visibilidad ya mencionada anteriormente.
La decisión sobre cuántos enlaces y de qué tipo se deben incluir en cada página
para evitar los problemas arriba mencionados ha llevado a la realización de muchos
estudios en los últimos años, entre los que se encuentra el realizado por Khan y Lo-
catis (14) y que llega a las siguientes conclusiones:
• En cuanto al número de enlaces y siguiendo estudios realizados previamente, es-
tablecen el número óptimo por pantalla en menos de diez y presentados en lis-
tas aparte del texto principal, no insertos dentro del párrafo. Además señalan que
existen algunas cuestiones no estudiadas, como el efecto de:
1. Enlaces anotados, listas de ítems con descripciones cortas
422
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
2. Enlaces icónicos o pictóricos
3. Indicación de que se enlaza con el mismo documento, con otro o con otro
servidor.
• La baja densidad de enlaces influye sobre todo sobre la pertinencia pues cuan-
tas más posibilidades de elección existen, mayor peligro de cometer errores.
• La diferencia entre la aparición de los enlaces en lista o dentro del párrafo es-
triba sobre todo en el nivel de esfuerzo que generan y se debe sobre todo a que
para reconocer el enlace dentro del párrafo hay que leer más texto.
El tamaño del nodo informativo, por otra parte, determina un uso mayor o menor
de la barra de desplazamiento. Los estudiosos del tema concluyen que el tamaño óp-
timo del nodo o unidad de información no debe ser mayor de una pantalla y media y
que si supera este tamaño es preferible trazar enlaces internos.
Un problema aparte es el del mantenimiento de los enlaces, que requiere o bien la
dedicación continua de un experto humano que vigile su funcionamiento, o bien la
aplicación de un programa robot (como MOMspider Web) (15). Esto justifica las pre-
guntas sobre el funcionamiento de los enlaces.
Se ha considerado muy importante la existencia de Ayudas a la navegación, ya se
trate de tabla de contenido navegable o de mapa de la sede, así como de botoneras
que incluyan botones de página anterior y siguiente, página inicial y epígrafe superior
inmediato, pues todas esas herramientas evitan la desorientación del usuario. Final-
mente, la inclusión de un buscador propio acorta el tiempo necesario para acceder a
una información determinada.
El capítulo de las Ayudas al usuario marca en muchos casos la diferencia entre las
sedes Web de calidad y las que no lo son. El cuestionario presenta en este caso cua-
tro preguntas, que van desde la mayor importancia prestada a las ayudas, con la in-
clusión de un apartado especial, a la simple existencia de un teléfono o correo elec-
trónico para la resolución de problemas de los usuarios.
Con el apartado siguiente, el de Uso de normas aceptadas, se valora la adherencia
a las normas en curso, pues se trata de uno de los problemas básicos de los sistemas
automatizados, la ausencia de compatibilidad entre los sistemas debida al incumpli-
miento de las normas o a su inexistencia. Un aspecto fundamental es el de los meta-
datos o información sobre la información, que aunque no puedan ser considerados con
propiedad normas admitidas internacionalmente, sí que constituyen un medio de re-
cuperación automática cada vez más importante. Los metadatos son una serie de eti-
quetas o campos que se insertan en la cabecera de cualquier página Web y sirven para
describir el recurso, facilitando su recuperación. Actualmente existen varios proyectos
encaminados a la normalización en este campo: en concreto el Dublin Core Metada-
ta Iniciative (disponible en: http://purl/org/dc/) es un proyecto internacional que pre-
tende normalizar los contenidos de dichas meta etiquetas.
Los aspectos de Estética y amigabilidad plantean el problema de la subjetividad
de estos valores, que se ha tratado de evitar aislando elementos concretos, como el
uso del color, el diseño visual y de párrafos, las imágenes, o las animaciones. Pero
dado que estos aspectos se resumen más que nada en una impresión estética general,
se ha cerrado el apartado con dos preguntas que pretenden medir si ésta es positiva o
negativa; se trata de las cuestiones sobre la complejidad del diseño y del diseño como
amplificador o reductor de la atención.
Rev. Esp. Doc. Cient., 24, 4, 2001
423
Marina Jiménez Piano
3.8 Administración
Este apartado se refiere sobre todo a información de gestión, administración u or-
ganización, y se debe entender como esquema organizativo no de la propia informa-
ción comunicada, sino de la gestión de ésta. Ha sido incluido como un apartado del
programa DESIRE de la UE. Este aspecto había tardado en ser tenido en cuenta in-
cluso en sedes Web de calidad, pero ha de ser considerado como una de las cuestiones
de mayor importancia en el momento de creación de una sede Web, pues consume re-
cursos económicos y humanos. En la información impresa, la gestión de la información
ya creada está en manos de organizaciones especializadas (editoriales, instituciones, etc.)
y los plazos de modificación o actualización son mucho menos limitados; la gestión de
las páginas es mucho más amplia que la que realiza un autor o un editor, pues inclu-
ye aspectos tan variados como las técnicas de previsión y aviso de las incidencias o las
políticas de selección y expurgo de los documentos. Estas funciones son las que en el
proyecto DESIRE están asignadas al llamado Administrador del Sistema, cuyo perfil
se asemeja al de los documentalistas, bibliotecarios o informadores científicos.
En el terreno de Administración del recurso propiamente dicho, existen dos cen-
tros de interés, uno de ellos en la asignación de tareas y responsabilidades, y otro en
la existencia de una previsión, planificación o política, incluyendo una política de ges-
tión de documentos. Aunque estos aspectos son difíciles de evaluar, se ha decidido in-
cluirlos, en primer lugar, por la importancia que tienen a la hora de considerar un re-
curso como de calidad, y además, porque parece seguro que en las nuevas sedes
cobrará cada vez mayor importancia y se consignará de forma explícita como un ele-
mento más de la calidad ofrecida.
Se cierra el apartado con dos preguntas sobre la existencia de mirrors e informa-
ción sobre el acceso preferible. Los mirrors sites, que se han traducido por duplica-
ción, espejo o réplica, son servidores de Internet clónicos de otro servidor original y
sirven para reducir el tiempo de acceso a servidores situados en lugares muy distan-
tes. Según señala el glosario Whatis (16), muchas casas comerciales como Netscape,
Microsoft, Sun Microsystems tienen sus mirrors desde donde se puede cargar su soft-
ware, haciéndolos funcionar como servidor «ftp». Desgraciadamente, exista o no una
sistematización de las tareas de gestión, a veces no queda más constancia que la de
unos créditos muy detallados; y en cuanto a la política de gestión de documentos, es
difícil deducirla si no existe una mención expresa, a no ser con un seguimiento ex-
haustivo de las altas y bajas de documentos. Algunas Web de calidad ya hacen men-
ción expresa de esa política, y el ejemplo de éstas hará posible la generalización de la
publicidad de estas políticas.
Cierran el cuestionario las cuestiones del subapartado de Evaluación, que implica
por parte de la sede Web un interés por conocer las opiniones de los usuarios y con-
ducir un proceso de mejora continua, que incluso pueda plasmarse en un plan de ca-
lidad, proceso que ha de estar basado en estadísticas de uso y de satisfacción, e im-
plica por tanto la valoración y el registro de las opiniones de los usuarios, como
método de retroalimentación y de mejora.
3.9 Puntuación del cuestionario
En la aplicación del cuestionario que siguió a su elaboración se estableció una pun-
tuación con asignación de 1 a 3 puntos a cada una de las cuestiones, según la impor-
424
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
tancia concedida y teniendo en cuenta otras ponderaciones, especialmente la de la lis-
ta de la Universidad de Georgia. Algunas dan lugar a respuestas negativas y se ha pre-
ferido, mejor que forzar el lenguaje convirtiéndola en positiva, asignarle valor negati-
vo (de –1 a –3). Se trata de preguntas como «¿Va la complejidad del diseño en
detrimento de la legibilidad?», cuya respuesta afirmativa supone una valoración ne-
gativa desde el punto de vista del diseño. El criterio Coste plantea el problema de com-
pensar la puntuación de las distintas cuestiones que se dirigen sólo a las sedes Web
de pago; el problema se solucionó contabilizando por separado este criterio.
4 Conclusiones
La distribución por criterios en porcentaje muestra el mayor peso atribuido a los
criterios de Contenido, Diseño y Accesibilidad, pues se trata de criterios bastante com-
plejos que incluyen múltiples facetas. Los criterios de Autoridad y Organización es-
tán representados con un porcentaje menor no porque carezcan de importancia, sino
por contener un número menor de facetas. Finalmente, los criterios de Actualización
y Audiencia son los más limitados y esto queda reflejado en el menor porcentaje que
se le asigna sobre el total del cuestionario.
Tabla III
Sitios web gratuitos: distribución por criterios
Criterios
Puntuación total
Porcentaje
Accesibilidad
28
13,93%
Audiencia
4
1,99%
Autoridad
20
9,95%
Contenido
74
36,82%
Actualización
12
5,97%
Diseño
43
21,39%
Organización
20
9,95%
Total
201
100,00%
Figura 3
Sitios Web gratuitos: Distribución por criterios
Rev. Esp. Doc. Cient., 24, 4, 2001
425
Marina Jiménez Piano
La distribución por criterios de las sedes Web de pago mantiene un equilibrio idén-
tico; el criterio Coste se incluye entre los de carácter menos complejo, instalado entre
el de Actualización y el de Audiencia.
El primer grupo de conclusiones se refiere a la elección de los criterios sobre los
que se basa la elaboración del cuestionario, que como se ha señalado en el apartado
correspondiente, no coincide en ninguno de los autores de listas de criterios. La ma-
yor parte de la bibliografía está repartida entre dos tendencias básicas y opuestas: fi-
delidad a los criterios tradicionales de información impresa o atención casi exclusiva
a las características especiales de los documentos electrónicos en red, muchas de las
cuales afectan solamente a los aspectos formales.
El conjunto de criterios seleccionados tiene como objetivo mantener una posición
ecléctica, pues el excesivo apego a los criterios aplicados a la información impresa
puede suponer el olvido de algunas características fundamentales de la información
electrónica, como pueden ser su fácil actualización o la posibilidad de lectura hiper-
textual. Por el contrario, las listas de criterios que se centran exclusivamente en los
elementos específicos de la información en red evalúan casi de forma única los as-
pectos formales, sin tener en cuenta que la información es en gran medida indepen-
diente del soporte.
En la elección de los criterios sobre los que se elabora este trabajo hay que des-
tacar la inclusión de los aspectos de gestión de las sedes Web, pues se trata de uno
de los rasgos distintivos de este tipo de información: la necesidad de diseñar una es-
tructura organizativa que mantenga y gestione las páginas. Actualmente esta faceta de
las sedes Web no es demasiado tenida en cuenta, pero lo será cada vez más, pues su-
pone una mejora clara de las páginas y por tanto un aumento de los accesos y del
aprovechamiento de los recursos.
En segundo lugar se exponen las conclusiones sobre la elaboración del cuestiona-
rio y la elección de las cuestiones que lo componen. La primera observación es que
el reparto irregular de las cuestiones en los distintos criterios es un reflejo claro, por
una parte de la importancia del criterio y por otra de su complejidad. Es evidente que
no pueden contar con el mismo número de cuestiones como los de Contenido y Au-
diencia, pero esto no se debe tanto a que este último sea un criterio de menor impor-
tancia, sino a la complejidad del criterio Contenido. Se ha admitido plenamente la fal-
Tabla IV
Sitios web de pago: distribución por criterios
Criterios
Puntuación total
Porcentaje
Accesibilidad
28
13,21%
Audiencia
4
1,89%
Autoridad
20
9,43%
Contenido
74
34,91%
Coste
11
5,19%
Actualización
12
5,66%
Diseño
43
20,28%
Organización
20
9,43%
Total
212
100,00%
426
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
Figura 4
Sitios Web de pago: distribución por criterios
ta de regularidad en el reparto de cuestiones por criterio, como un modo de atribuir-
le un peso.
De los ocho apartados correspondientes a los criterios, el del Contenido, que cons-
tituye el núcleo central de la evaluación y tradicionalmente el más estudiado, es el que
presenta mayores dificultades a la hora de su materialización. Aunque se trata de un
criterio ampliamente documentado en la bibliografía y no hay por tanto demasiadas
dificultades a la hora de establecer los subapartados, las dificultades surgen a la hora
de redactar las cuestiones, de tal manera que las respuestas sean lo más objetivas po-
sible. Para conseguirlo se ha concretado todo lo posible su enunciado y se han redu-
cido siempre a elementos objetivos fácilmente constatables.
Una característica de las sedes Web es que algunos elementos no son fácilmente
apreciables, quizás por falta de normalización o acuerdo sobre dónde deben aparecer.
En una publicación impresa, los lugares en los que aparece la bibliografía, los índices
o el pie de imprenta están plenamente fijados, aunque no siempre se respeten, y se ac-
cede de forma más inmediata a los datos o a la ausencia de éstos. En una sede Web,
por el contrario, se puede pasar bastante tiempo buscando cualquier información y no
encontrarla y paradójicamente, no poder garantizar de forma absoluta la ausencia de
ésta. No se trata sólo de acuerdo sobre los lugares de aparición de la información, sino
también de aprovechar las facilidades de los documentos electrónicos para hacer más
visible la información más vital: fechas de creación o modificación, ubicación del bus-
cador o el índice, etc.
En resumen, el cuestionario elaborado para este estudio tiene un reparto de cues-
tiones por criterio que es reflejo de la importancia y complejidad de éstos y las cues-
tiones que lo forman son lo más concretas posibles tratando de conseguir la mayor ob-
jetividad en las respuestas.
Por otra parte, este trabajo no es más que un punto de partida, a partir del cual sea
posible elaborar unas herramientas de evaluación que permitan la mejora de las sedes
ya existentes y también la creación de mejores páginas con mejores contenidos.
Rev. Esp. Doc. Cient., 24, 4, 2001
427
Marina Jiménez Piano
URL
Anexo 1
http://lrs.ed.uiuc.edu/wp/credibility/bib.html
http://www.valpo.edu/library/evaluation.html
http://library.lib.binghamton.edu/search/evaluation.html
http://servercc.oakton.edu/~wittman/find/eval.htm
http://istweb.syr.edu/~mcclure/Web.Eval.Bibl.May20.html
http://www.slis.ualberta.ca/598/robin/pap598.htm
http://www.indiana.edu/~librcsd/eval/review.html
http://www.serve.org/seir_tec/k12/webresources.html
http://library.humboldt.edu/~ccm/crithink.html
http://www.udmercy.edu/htmls/Academics/library/webog
http://www.lib.vt.edu/research/libinst/evalbiblio.html
http://www.library.cornell.edu/okuref/research/webeval.html#webliog
http://www2.widener.edu/Wolfgram-Memorial-Library/webevaluation/webstrbib.htm
http://lib.nmsu.edu/staff/susabeck/checsref.html
http://www.ukoln.ac.uk/metadata/desire/quality/bibliography.html
http://www.vuw.ac.nz/~agsmith/evaln/evaln.htm
http://chiron.valdosta.edu/dlgraf/default.htm#Bibliographic
Bibliografías sobre evaluación
Institución
University of Illinois
Valparaiso University
Binghamton University
Oakton Community College
Syracuse University
Alberta University
Indiana University
Humboldt State University
University of Detroit Mercy
Virginia Polytechnic Institute
Cornell University
Widener University
New Mexico State University
Unión Europea
Information Quality WWW
Virtual Library
S. University in Valdosta
Autores
Toni Greer, Donna Holinga,
Christy Kindel y Melissa Netz
Charles R. McClure
Robin Bishop
Emily Okada and Mary Popp
The SouthEast and Islands Regional
Technology in Education Consortium
(SEIR*TEC)
Corryn Crosby
Shawn Patterson y Robert Schroeder
Nicole Auer
Michael Engle
Alexander, Janet E. y Marsha A. Tate
Susan E. Beck
DESIRE
Alistair Smith
David Graf
428
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
Bibliografía
1. HÍPOLA, P.; VARGAS-QUESADA, B. y MONTES, A. Descripción y evaluación de agen-
tes multibuscadores. El profesional de la información, vol. 8, n. 11, nov. 1999, p. 15-24.
2. OCLC. Web Characterization Project, 2001. Disponible en: http://www.oclc.org/research/
3. AGUILLO, I. F. Internet invisible o Infranet: Definición, clasificación y evaluación. VII
Jornadas Españolas de Documentación. 2000, 19-21 octubre, Bilbao, p. 249-270.
4. OLVERA LOBO, M.ª D. Evaluación de sistemas de recuperación de información: aproxi-
maciones y nuevas tendencias. El profesional de la información, v. 8, n. 11, 1999, nov.,
p. 4-14.
5. FERNÁNDEZ MOLINA, J. C. y MOYA ANEGÓN, F. de. Los catálogos de acceso pú-
blico en línea. Málaga, Asociación Andaluza de Bibliotecarios
6. CODINA, L. Evaluación de recursos digitales en línea: conceptos, indicadores y métodos.
Revista Española de Documentación Científica, v. 23, n. 1, 2000, 9-44.
7. EUROPEAN UNION - funded Desire, Quality Selection Criteria for Subject Gateways.
1997. Disponible en: http://sosig.ac.uk/desire/qindex.html.
8. WILKINSON, G. L.; OLIVER, K. M. y BENNETT, L. T. Evaluating the quality of In-
ternet Information Source. 1997 Disponible en: http://www.edtech.vt.edu/edtech/kmoli-
ver/webeval/AACE97.html.
9. CIOLEK, T. M. y GOLTZ, I. M. Information Quality WWW Virtual Library : the Internet
Guide to Construction of Quality Online Resources. 1996. Disponible en: http://www.cio-
lek.com/WWWVL-InfoQuality.html.
10. TILLMAN, H. N. Evaluating quality on the Net. 1995. Disponible en: http://www.
tiac.net/users/hope/findqual.html.
11. NIELSEN, J. Ten Usability Heuristics, sin fecha. Disponible en: http://www.useit.com/pa-
pers/heuristic/heuristic_list.html.
12. LAVOIE, B. Web Characterization Metrics. OCLC. Versión mayo 1999. Disponible en:
http://www.oclc.org/oclc/research/projects/webstats/webmetrics/htm.
13. SANZ CASADO, E. Manual de estudios de usuarios. Madrid, Fundación Germán Sánchez
Ruipérez, 1994.
14. KHAN, K. y LOCATIS, C. Searching through Cyberspace: The Effects of Link Display
and Link Density on Information Retrieval from Hypertext on the World Wide Web. Jour-
nal of the American Society for Information Science, vol. 49, n. 2, p. 176-182.
15. FIELDING, R. T. Maintaining Distributed Hypertext Infostructures: Welcome to MOMs-
pider's Web. Procedings of the First International World-Wide Web Conference, Geneva,
1994 Disponible en: http://www.ics.uci.edu/WebSoft/MOMspider.
16. Whatis.com: The IT-Specific encyclopedia. 2000. Disponible: http://www.whatis.com/.
Bibliografía complementaria
AGUILLO CAÑO, Isidro F. Indicadores: hacia una evaluación no objetiva (cuantitativa) de
sedes web. En Actas de la VII Jornadas españolas de Documentación (FESABID 2000),
pp. 233-248.
ALOIA, G. F. Evaluation Web Sites. Illinois State University. 1998. Disponible en:
http://cube.ice.net/~edutech/floridaweb/evascale.htm.
AMERITECH. Ameritech Web Page User Interface and Design Guidelines. 2000. Disponible
en: http://www.ameritech.com/corporate/testtown/library/standard/web_guidelines/referen-
ce.html.
ARGUS ASOCIATES INC. Clearinghouse: Information Ratings System. Disponible en:
http://www.clearinghouse.net/ratings.html.
Rev. Esp. Doc. Cient., 24, 4, 2001
429
Marina Jiménez Piano
BARGER, J. HyperTerrorist Checklist of WWWeb Design Errors. 1996. Disponible en:
http://www.robotwisdom.com/web/checklist.html.
BECK, S. E. «Evaluation Criteria». The Good, The Bad & The Ugly : or Why It's a Good Idea
to Evaluate Web Source. Institute for Technology-Assisted Learning. 1997. Disponible en:
http://lib.nmsu.edu/instruction/evalcrit.html.
BISHOP, R. Web site evaluation. University of Alberta. 1997. Disponible en: http://www.
slis.ualberta.ca/598/robin/pap598.htm.
BRANCOLINI, K. y OKADA, E. Critical thinking and the World Wide Web: guide for eva-
luating a Web Page. 1997. Disponible en: http://www.indiana.edu/~librcsd/eval/.
BRANHAM, C. A Student’s Guide to Research with the WWW. Creado 1997 y mod. 1998.
Disponible en: http://www.slu.edu/departments/english/research/
BURD, B. Evaluating Internet Resources, Binghamton University. 1998. Disponible en: http://li-
brary/lib.binghamton.edu/search/evaluation.html.
CAYWOOD, C. Library Selection Criteria for WWW Resources. Public Libraries. may-jun.
1996. Disponible en: http://www.keele.ac.uk/depts/cs/Staff/Homes/Stephen/Internet/crite-
ria.htm.
CODINA, Ll. Parámetros e indicadores de calidad para la evaluación de recursos digitales. En
Actas de las VII Jornadas Españolas de Documentación (FESABID 2000), pp. 135-144.
COLLINS, B. R. Clicking on the web, Library Journal, 1996, feb. 1, p. 32-33.
COUTTS, H. T. Y TONG, J. Critical Evaluation of Resources on the Internet. Sin fecha. Dis-
ponible en: http://www.library.ualberta.ca/library_html/help/pathfinders/qual.html.
CRAMER, S. Evaluating Web Pages. Duke University Library. 2000. Disponible en:
http://www.lib.duke.edu/libguide/evaluating_web.htm.
EDWARDS, J. Tips for evaluating a World Wide Web Search. University of Florida. 1999.
Disponible en: http://www.uflib.ufl.edu/hss/ref/tips.html.
EDWARDS, J. The good, the bad and the useless: evaluating Internet resources. Disponible
en: http://www.ariadne.ac.uk/issue16/digital.
EWING, K. Evaluating Information Resources : MI 577 Information Sources and Services. St.
Cloud State University. 1996 Disponible en: http://stcloudstate.edu/cim/courses/ im577/sour-
ceval.html.
FENTON, S. Information Quality: is the truth out there? University of North Caroline. 1997.
Disponible en: http://ils.unc.edu/~fents/310/.
GORDON-MURNAME, L. Evaluating Net Evaluators. Searcher, v. 7, 1999, feb.
GORSKI, P. A multicultural Model for Evaluating Educational Web sites. 1999. Disponible en:
http://curry.edschool.virginia.edu/go/multicultural7net/comps/model.htm.
GRASSIAN, E. Thinking Critically about World Wide Web Resources. UCLA College Library.
1995. Disponible en: http://www.library.ucla.edu/libraries/college/instruct/web/critical.htm.
GREER, T. y HOLINGA, D. An educators Guide to Credibility and Web Evaluation. 1999.
Disponible en: http://lrs.ed.uiuc.edu/wp/credibility/index.html.
GURN, R. M. Measuring Information providers on the Internet. Computers in Libraries, v. 15,
n. 1, 1995,
HARRIS, R. Evaluating Internet Research Sources. Southern California College. 1997. Dispo-
nible en: http://www.sccu.edu/faculty/R_Harris/evalu8it.htm.
HENDERSON, J. ICYouSee: T is for Thinking, Ithaca College Library. 1999. Disponible en:
http://www.ithaca.edu/library/Training/hott.html.
INSTONE, K. Usability Heuristics for the Web. Webreview, oct. 1997 Disponible en: http://we-
breview.com/wr/pub/97/10/10/usability/sidebar.html.
INTELLIQUEST WEB EVALUATION SERVICES. Quantitatively Assessing Your Web Site.
2000. Disponible en: http://www.intelliquest.com/tools/wp9.asp.
IONA COLLEGE. Evaluating World Wide Web Sites. 1999. Disponible en: http://www.
iona.edu/library/resins/wwweval.htm.
430
Rev. Esp. Doc. Cient., 24, 4, 2001
Evaluación de sedes web
JACOBSON, T. y COHEN, L. Evaluating Internet Resources. 1996. Disponible en:
http://www.albany.edu/library/internet/evaluate.html.
KALIN, S. Usability: Mazed and Confused. CIO Web Busisness Magazine, apr. 1999. Dispo-
nible en: http://www.cio.com/archive/webbusiness/040199_use_content.html.
KAPOUM, J. Teaching undergrads web evaluation: a guide for librarians instruction. College
& Research Libraries News, sin fecha. Disponible en: http://www.ala.org/acr/undwebev.html.
KING, A. Caveat Surfer: End-User Research on the Web. J. Internat. Loan, Doc. Delivery and
Inf. Supp, v. 8, n. 1, 1997.
KIRAKOWSKI, J. y CLARIDGE, N. WAMMI: Website Analysis and MeasureMent Inventory
(Web Usability Questionnaire). Human Factors Research Group, 1998. Disponible en:
http://www.ucc.ie/hfrg/questionnaires/wammi/index.html.
KIRK, E. E. Evaluating information Found on the Internet. 1996. Disponible en: http://mil-
ton.mse.jhu.edu:8001/research/education/net.html.
KIRKWOOD, H. P. JR. y DOYLE, C. Computers On, Critical Thinking Off: Challenges of Tea-
ching in the Electronic Environment. Research Strategies, v. 14, n. 3, p. 184-191, summer 1996.
KWAN, J. Criteria for Evaluating Information Resources. 1997 Disponible en: http://www.
usc.edu/isd/locations/science/sci/pubs/criteval.html
LAZEWSKI, B. y HERRLING, P. Teaching Web Sites Evaluation Skills: Why we Need to Eva-
luate what we Find on the Web and How. Disponible en: http://www.library.wisc.edu/li-
braries/Steenbock/bipage/pres/evalweb/title.htm.
LARSEN, L. L. Información Literacy: The Web is not an Encyclopedia, University of Mary-
land. 1996. Disponible en: http://www.inform.umd.edu./LibInfo/literacy.
MCCLURE, C. R. y LOPATA, C. Assesing the Academic Networked Environment : strategies
and options. 1996. Disponible en: http://istweb.syr.edu/~mcclure/network.toc.html.
MCGREEVY, K. How to Evaluate Information Resources: Instructional Guides. Santa Rosa
Junior College. Sin fecha. Disponible en: http://www.santarosa.edu/library/guides/eval.html.
MONTECINO, V. Criteria to Evaluate the Credibility of World Wide Web Resources. 1998.
Disponible en: http://mason.gmu.edu/~montecino/web-eval-sites.htm.
NOVEMBER, A. The web: Teaching Zack to think, High School Principal. 1998. Disponible
en: http://www.anovember.com/articles/zack.html.
ONLINE WRITING SUPPORT CENTER. Using Cyber Sources, Devry Institutes, Phoenix.
1997. Disponible en: http://devry.phx.edu/lrnresrc/dowsc/integrty.htm.
ORMONDROYD, J. y ENGLE, M. How to Critically Analize Information Sources. 1999. Dis-
ponible en: http://www.library.cornell.edu/okref/research/skill26.htm.
PATTERSON, S. Evaluating and Citing Internet Resources. University of Detroit Mercy. 1997.
Disponible en: http://www.udmercy.edu/htmls/Academics/library/webpage.
PETERSON, B. Library Instruction Tutorials. Website Evaluation Criteria, Library Instruction
Round Table. Research Committe. 1998. Disponible en: http://diogenes.baylor.edu/ Li-
brary/LIRT/lirtcrit.html.
RAGAINS, P. y OWEN, J. Evaluating Information Sources: How can I tell if this book or ar-
ticle is any good? 1997. Disponible en: http://www.library.unr.edu/~ragains/eval.html.
RETTIG, J. Beyond «Cool». Online, sept. 1996. Disponible en: http://www.onlineinc.com/ on-
linemag/SeptOL/rettig9html.
RICHMOND, B. Ten C’s for Evaluating Internet Resources. University of Wisconsin - Eau
Claire McIntyre Library. 1996. Disponible en: http://www.uwec.edu/Admin/Library/
10cs.html.
ROWLAND, C. Usability Matters: What is good design? Webreview, marzo 2000. Disponible
en: http://webreview.com/pub/2000/03/10/feature/index3c.html.
SCHROCK, K. Separating the Wheat from the Chaff : How to Tell the Good Sites from the
Bad. Internet Trend Wacht for Libraries, v. 3, n. 2, feb.-mar. 1998. Disponible en:
http://www.itwfl.com/schrock.html.
Rev. Esp. Doc. Cient., 24, 4, 2001
431
Marina Jiménez Piano
SKOV, A. Separating the wheat from the chaff: Internet Quality. Database, v. 21, n. 4, 1998,
p. 38-40. Disponible también en: http://www.onlineinc.com/database.
SMITH, A. Criteria for evaluation of Internet Information Resources. 1997. Disponible en:
http://www.vuw.ac.nz/~agsmith/evaln.
SMITH, A. Selection criteria for Internet information resources: a Poll of members of info-
quality-I. 1999. Disponible en: http://www.vuw.ac.nz/~agsmith/evalu/poll.htm.
TATE, M. y ALEXANDER, J. Teaching Critical Evaluation Skills for World Wide Web Re-
sources. Computers in Libraries, v. 16, n. 10, nov-dic. 1996, p. 49-55. Disponible también
en: http://wwwscience.widener.edu~withers/webeval.htm.
THE SCOUT PROYECT. Scout Report Selection Criteria. 1994 The Scout Report. Disponible
en: http://scout.cs.wisc.edu/report/sr/criteria.html.
VALPARAISO UNIVERSITY MOELLERING LIBRARY. Evaluating the Quality of the World
Wide Web Resources. 1998. Disponible en: http://valp.edu/linrary/evaluation.html.
WEBSAT. Websat Process Page, NIST (National Institute of Standards and Technology), 1999.
Disponible en: http://zing.ncsl.nist.gov/webmet/sat/websat-process.html.
WESTERA, G. Evaluating the Documents you have Found on the World Wide Web, Curtin
University of Technology. 1996. Disponible en: http://www.curtin.edu.au/curtin/
library/satffpages/gwpersonal/senginesstudy/zval.htm.
WITTMAN, S. Evaluating Websites. Oakton Community College, sin fecha. Disponible en:
http://servecc.oakton.edu/~wittman/find/eval.htm.
YOUNGSTOWN STATE UNIVERSITY. Evaluating Print and Electronic Sources. Ohio Link.
1997. Disponible en: http://karn.wright.edu/~sg-ysu.eval.htm.
432
Rev. Esp. Doc. Cient., 24, 4, 2001
DIEZ AÑOS DE INVESTIGACIÓN EN LA REVISTA
ESPAÑOLA DE DOCUMENTACIÓN CIENTÍFICA
(1989-1999)
Ana Belén Ríos Hilario*
Resumen: Se analizan los métodos de investigación empleados en los artícu-
los que se han publicado en la Revista Española de Documentación Cien-
tífica (REDC) desde el año 1989 hasta 1999. Este análisis se centra en los
siguientes puntos: temática de las investigaciones, metodología, población
y muestreo, diseño (grado de experimentación, tiempo y objetivos), estra-
tegias de investigación y finalmente técnicas de obtención e interpretación
de los datos. Como conclusión más importante podemos decir que el perfil
de las investigaciones estudiadas se corresponde a un estado inicial o pre-
científico de la Biblioteconomía y la Documentación como ciencia. Sin em-
bargo, también es importante señalar que muchos de los artículos estudia-
dos, aunque utilicen como técnica de investigación el análisis bibliométrico,
proceden de otras áreas de conocimiento.
Palabras claves: investigación, biblioteconomía y documentación, Revista Es-
pañola de Documentación Científica, 1989-1999.
Abstract: Research methods used in the articles, which have been published in
the Revista Española de Documentación Científica (REDC) from 1989 to
1999 are analyzed. This analysis discusses the following points: research
topics, methodology, population and sampling, design (grade of experi-
mentation, time, and objectives), research strategies, techniques of obtaining
data and analysis of data. The most important conclusion is: Library and
Information Science is situated on earlier state or pre-scientific. However it
is important to point that many of articles studied came from other disci-
plines although they use the bibliometric analysis as research technique.
Key words: research, library and information science, Revista Española de Do-
cumentación Científica, 1989-1999.
1 Introducción
Es un hecho evidente que hoy en día ya no se cuestiona la importancia que la in-
vestigación tiene para el desarrollo de las Ciencias Documentales. Atrás quedan los
tiempos en los que, debido al carácter eminentemente práctico de la Biblioteconomía,
se ponía en duda la posibilidad de que esta disciplina pudiera ser considerada una
Ciencia en su sentido estricto y que como tal utilizara el método científico. El ejerci-
cio de la investigación en sus dos vertientes, tanto básica como aplicada, tiene como
consecuencia el progreso de la Biblioteconomía y Documentación (ByD) como Cien-
cia, así como la mejora en el desempeño laboral de sus profesionales.
Actualmente se afirma que es necesario incentivar la capacidad de investigación,
para consolidar unos hábitos científicos y de colaboración en el progreso y desarrollo
* Departamento de Biblioteconomía y Documentación. Universidad de Salamanca. Correo-e: anarihi@usal.es
Recibido: 17-10-01; 2.ª versión: 2-11-01.
Rev. Esp. Doc. Cient., 24, 4, 2000
433
Ana Belén Ríos Hilario
de la comunidad profesional, así como valorar y evaluar la realidad laboral y ocupa-
cional.
Las publicaciones periódicas se consideran las fuentes de información más ade-
cuadas tanto para la publicación de los resultados de las investigaciones, como para
la comunicación del pensamiento científico. Por estos motivos, el estudio de los artí-
culos de las revistas científicas nos permite obtener un análisis fiable de la actividad
investigadora en cualquier campo.
El objetivo principal de este estudio es realizar un análisis de los trabajos de in-
vestigación publicados en la Revista Española de Documentación Científica (REDC)
desde 1989 hasta 1999. Con él, no se pretende mostrar por quién se han llevado a
cabo las investigaciones o en dónde se han realizado éstas. En este trabajo se intenta
mostrar una radiografía del «esqueleto» de las investigaciones, es decir, detectar los
métodos empleados a la hora de elaborar un trabajo de investigación en el área de la
ByD, desde que se decide analizar un determinado fenómeno hasta la recogida e in-
terpretación de los resultados.
2 Metodología
Son varios los motivos que llevaron a realizar este estudio sobre los artículos pu-
blicados en la REDC.
En el frontispicio del primer número de la revista en el año 1977, se indicaba la
finalidad con la que surge esta publicación, pionera en la materia de la Documenta-
ción e Información Científica. Según sus responsables (1): «Nace, pues, la revista como
órgano del CENIDOC y sus institutos; pero, al mismo tiempo aspira, desde ahora, a
alcanzar una meta más ambiciosa: la de servir de vehículo de unión entre todos los
especialistas españoles, e incluso de lengua española, que trabajan en documentación
e información científica, y que encontrarán abiertas las páginas de esta revista para la
comunicación de sus experiencias».
Años más tarde, Emilio Delgado (2), afirma que la REDC es “la mejor publica-
ción española, y durante años órgano de expresión del CINDOC, la institución con el
mayor colectivo de investigadores en ByD en España hasta el nacimiento de las Es-
cuelas Universitarias de Biblioteconomía y Documentación». Por lo tanto, en ella se
aúnan los tres frentes de investigación de nuestra disciplina: los investigadores del
CINDOC (Centro de Información y Documentación Científica), los docentes y los pro-
fesionales de la Documentación.
Además, según un estudio de Félix de Moya y Jiménez Contreras (3) en el que se
analiza la citación y cocitación de las publicaciones españolas en ByD, la Revista Es-
pañola de Documentación Científica, es la que obtiene un mayor índice de impacto
(1,57) frente a otras publicaciones (revistas y actas de congresos) de esta especialidad.
El período que comprende el estudio (1989-1999) es lo suficientemente amplio
como para considerarlo significativo. Además, el año 1989 coincide con el cambio del
equipo directivo de la revista y es a finales de los ochenta cuando comienza en Es-
paña el proceso de institucionalización social de la Documentación, debido a la con-
solidación de las primeras Escuelas de Biblioteconomía españolas. Con ello se pre-
tende intentar recoger la investigación de los tres frentes anteriormente señalados. Sin
embargo, no es objeto de este estudio ver la procedencia institucional de los distintos
434
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
trabajos, lo cual ya ha sido estudiado por otros autores en investigaciones anteriores.
De la REDC solo se analizaron los artículos recogidos en la sección «Estudios y
notas» de tal revista. La definición de investigación se tomó de la revista Library and
Information Science (4), según la cual, se consideraron trabajos de investigación aque-
llos artículos que, o bien llevaron a cabo una recolección de datos (tanto cuantitativos
como cualitativos); presentaban o redefinían un nuevo modelo; o que aportaban un
avance en la definición de conceptos.
La tipología y definición de las variables fueron tomadas de los trabajos de Cea
D’Ancona (5) y Babbie (6), estudiosos de los métodos de investigación empleados en
las Ciencias Sociales.
De cada artículo se analizó cada una de las etapas que comprenden los trabajos de
investigación, desde el primer momento, en el que se decide cuál va a ser la pobla-
ción objeto de estudio y se selecciona la muestra; pasando por el diseño de investi-
gación a través del estudio de las variables: grado de experimentación, variable tiem-
po y objetivos de la investigación; hasta la definición de la estrategia de investigación
y finalmente las técnicas de obtención y análisis de los datos.
Para categoría se establecieron una serie de criterios que pasaremos a definir a con-
tinuación:
Metodología (o paradigma de investigación empleado)
Cuantitativa: Se corresponde con la epistemología positivista o la también deno-
minada dimensión estructural del análisis de la realidad social.
Cualitativa: A diferencia de la anterior, se asocia con la epistemología interpreta-
tiva, centrada en el sujeto individual y en el descubrimiento del significado, los moti-
vos y las intenciones de su acción.
Utilización de ambas metodologías: Se caracteriza por el empleo de métodos cuan-
titativos y cualitativos en una misma investigación.
Muestreo
Probabilístico: El criterio de selección de la muestra se basa en la aleatorización.
No probabilístico: La extracción de la muestra se efectúa siguiendo otros criterios
diferentes a la aleatorización.
No se realiza muestreo: El análisis se realiza sobre la totalidad de la población.
Tipo de diseño de investigación en función del:
• Grado de experimentación
Preexperimental: El investigador se limita a la observación del fenómeno que ana-
liza, sin manipulación del mismo y sin llevar a cabo ningún tipo de control.
Cuasiexperimental: Carece por lo menos de una de las tres propiedades que carac-
terizan a un experimento: manipulación, control y distribución aleatoria de los sujetos.
Rev. Esp. Doc. Cient., 24, 4, 2000
435
Ana Belén Ríos Hilario
Experimental: Consiste en la observación controlada por medio de una serie de ac-
tuaciones encaminadas al control de posibles fuentes de invalidación de las investiga-
ciones.
• Tiempo
Seccional o transversal: La recogida de información se produce en un único mo-
mento en el tiempo.
Longitudinal: Se caracteriza por plantear el análisis del problema a lo largo del
tiempo para observar su dinámica. Se subdivide en:
Longitudinal de tendencia: El estudio se enfoca a la población total para ver su
evolución.
Longitudinal de cohorte: El interés se centra en una subpoblación o cohorte.
Longitudinal de panel: Centrado en el análisis de la evolución de unos mismos in-
dividuos.
• Objetivo
Exploratorio: Pretende cubrir uno o varios de los siguientes propósitos: familiari-
zarse con el problema de investigación; verificar la factibilidad de la misma; o com-
probar las estrategias de investigación que se adecuen más a su análisis.
Descriptivo: Su finalidad es describir el fenómeno analizado.
Evaluativo: Con el se pretende alcanzar conclusiones válidas y fiables sobre la
efectividad de un programa o conjunto de actividades específicas cuya actuación se
evalúa.
Explicativo: Se intentan buscar las posibles causas o razones de los hechos, ac-
ciones, opiniones o cualquier fenómeno que se analice.
Predictivo: A través de los resultados obtenidos en la investigación se pretende
predecir cual será la evolución futura de un determinado fenómeno.
Estrategias de investigación
Fuentes documentales y estadísticas: Comprende la revisión bibliográfica sobre el
tema concreto de estudio.
Estudios de casos: En él, el investigador decide trabajar sobre una unidad de aná-
lisis (o sobre un pequeño número de ellas).
Encuesta: En algunas ocasiones el empleo de la encuesta afecta al diseño de in-
vestigación, de ahí que se considere también estrategia de investigación.
Experimento: La estrategia experimental es idealmente aquélla en que el investi-
gador busca, actuando de forma activa e intencionada sobre una variable independiente
(el estímulo), conocer sus efectos sobre una o más variables dependientes.
436
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
Obtención de datos
Documentación: Consiste en la revisión bibliográfica de investigaciones teóricas y
empíricas sobre el tema concreto de estudio.
Encuesta: Puede definirse como la aplicación de un procedimiento estandarizado
para recabar información (oral o escrita) de una muestra amplia de sujetos.
Entrevista: Es el entrevistador quien formula las preguntas y quien anota las res-
puestas realizadas por cada uno de los individuos que componen la muestra.
Cuestionario: La información se obtiene del sujeto estudiado por medio de la cum-
plimentación de una plantilla estructurada de preguntas y, en muchos casos, de posi-
bles respuestas.
Observación: Los datos son extraídos directamente por el investigador a través del
análisis del comportamiento del objeto a investigar.
Análisis de datos
Existen dos grandes familias de técnicas para analizar los datos: los estudios cua-
litativos en los cuales los datos se presentan de modo verbal, y los estudios cuantita-
tivos en los cuales los datos se presentan de modo numérico. Nosotros hemos reuni-
do las numerosas técnicas de análisis de datos en cinco grandes grupos que son:
Documental
Estadístico (univariable, bivariable, multivariable).
Estructural (análisis del discurso, etnografía, fenomenografía).
Interpretacional (construcción de teorías, descriptivo-interpretativo)
Contenido (cuantitativo y cualitativo)
Conviene aclarar que las categorías que se establecieron dentro de cada variable
no son excluyentes, de tal manera que una variable puede tomar no sólo uno sino va-
rios de los casos definidos. Así por ejemplo, una investigación específica puede per-
seguir más de un objetivo; tras la descripción de un caso particular, puede proceder a
su explicación o evaluación.
Para la asignación de materias se empleó la clasificación realizada por Álvarez-
Ossorio en 1997 (7). En ella, el autor tras analizar la clasificación temática de los 2
índices acumulativos de la revista publicados hasta ahora, agrupa en 8 grandes cate-
gorías los temas empleados en tales índices.
Tras un primer análisis de los artículos, los resultados obtenidos fueron cotejados
por un segundo investigador experto en la materia para intentar reducir los posibles
sesgos producidos en una primera observación y dotar con ello a la investigación de
una mayor fiabilidad en sus conclusiones.
La tabulación de los datos se llevó a cabo con el programa SPSS PLUS, en su ver-
sión 9.0.
De un total de 191 artículos se obtuvieron 87 trabajos de investigación cuyo aná-
lisis y resultados se muestran a continuación de un modo más detallado.
Rev. Esp. Doc. Cient., 24, 4, 2000
437
Ana Belén Ríos Hilario
3 Resultados
En primer lugar, podemos decir, ateniéndonos a las cifras anteriormente comenta-
das, que casi la mitad de los artículos que se publican en la REDC (45,5%) son tra-
bajos de investigación. Si se observa la evolución de estas investigaciones por año (fi-
gura 1), podemos decir que la media de trabajos de investigación se sitúa en un 8,7%
frente a los 16 artículos que aproximadamente publica cada año la REDC en su sec-
ción de Estudios y Notas. Destacar que en el año 1995 tan sólo se publican 5 inves-
tigaciones y es en el último año, en 1999, donde los artículos de investigación alcan-
zan su cota máxima con 11 publicaciones.
Las poblaciones estudiadas (Anexo I), entendiendo como población el conjunto de
sujetos analizados definidos en el espacio y en el tiempo, son muy diversas; sin em-
bargo podemos agruparlas en tres grandes bloques que son:
• las centradas en el análisis de documentos de todo tipo (artículos de revistas, re-
gistros bibliográficos etc.)
• las centradas en centros documentales de diversas clase (bibliotecas, centros de
documentación etc.)
• las centradas en personas (usuarios de los centros documentales o autores de los
trabajos de investigación ).
438
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
En cuanto a las materias (tabla I) el mayor porcentaje (40,2) está destinado a aque-
llos trabajos cuyos temas de investigación se centran en el Apoyo a la Información.
Le sigue de cerca las investigaciones que giran en torno a las Fuentes documentales
(33,3 %). Los demás temas se dan con una frecuencia parecida, en torno al 5 %, ex-
ceptuando la materia Generalidades sobre Ciencias de la Información que tan sólo apa-
rece en dos trabajos.
Tabla I
Materias
Materias
Frecuencia
%
Generalidades sobre las Ciencias de la Información
2
2,3
Organismos de documentación
5
5,7
Fuentes documentales
29
33,3
Sistemas y aplicaciones
4
4,6
Análisis de la información
4
4,6
Almacenamiento
4
4,6
Reproducción y difusión
4
4,6
Apoyo a la información
35
40,2
Total
87
100,0
En este apartado (tabla II), hay que destacar también un elevado número de in-
vestigaciones que ni tratan temas relacionados directamente con las Ciencias Docu-
mentales, ni están realizados por personas que trabajan en este campo. Generalmente
son trabajos que estudian una determinada disciplina según el análisis de la produc-
ción científica de la misma. En este segundo apartado, destacan los trabajos centrados
en la Medicina.
Tabla II
Disciplinas distintas de la ByD
Materias
Frecuencia
Artes plásticas
1
Bellas Artes
1
Ciencias Naturales
1
Ecología y medio ambiente
1
Economía
1
Educación
1
Física
1
Física y Química
1
Medicina
13
Negociación colectiva
1
Química
1
Tecnología e ingeniería mecánica y metalúrgica
1
Traducción
1
Total
25
Rev. Esp. Doc. Cient., 24, 4, 2000
439
Ana Belén Ríos Hilario
La metodología cuantitativa (tabla III) es prácticamente el único paradigma que se
emplea en las investigaciones con un 96,6%. Tan sólo un trabajo utiliza el método
cualitativo y en dos casos se emplea una conjunción de los paradigmas fundamenta-
les: el cuantitativo y el cualitativo.
Tabla III
Metodologías
Tipo
Frecuencia
%
Cuantitativa
84
96,6
Cualitativa
1
1,1
Ambos métodos
2
2,3
Total
87
100,0
En la mayoría de los casos no se realiza ningún tipo de muestreo (tabla IV)
(82,8%) y en aquellos casos en los que se realiza, éste es de tipo no probabilístico
(16,1%). Tan sólo en un caso se realiza un muestreo fundamentado en la aleatoriza-
ción como criterio esencial en la selección de la muestra.
Tabla IV
Muestreo
Tipo
Frecuencia
%
No se realiza muestreo
72
82,8
No probabilístico
14
16,1
Probabilístico
1
1,1
Total
87
100,0
Si nos fijamos en las distintas tipologías en el diseño de investigación podemos
observar los siguientes resultados. En primer lugar, según el grado de experimentación
(tabla V), las investigaciones analizadas emplean los diseños preexperimentales en un
alto porcentaje (95,4%), frente a los otros dos tipos de diseños, el cuasiexperimental
y el experimental, con un 2,3% respectivamente.
Tabla V
Grado de experimentación
Tipo
Frecuencia
%
Preexperimental
83
95,4
Cuasiexperimental
2
2,3
Experimental
2
2,3
Total
87
100,0
En segundo lugar, el diseño de investigación según la variable tiempo (tabla VI),
muestra un predominio de los trabajos seccionales o transversales (85,1 %). Así mis-
mo, hay que destacar la presencia de las investigaciones que realizan una investiga-
ción longitudinal de tendencia (13,8%).
440
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
Tabla VI
Variable tiempo
Tipo
Frecuencia
%
Seccional o trasversal
74
85,1
Longitudinal de tendencia
12
13,8
Longitudinal de cohorte
1
1,1
Total
87
100,0
Finalmente el último tipo de diseño se centra en los objetivos de las investigacio-
nes (tabla VII). En este caso, existe un predominio de los trabajos descriptivos (41,1%)
y de los evaluativos (31,0%). También alcanzan un destacado porcentaje aquellos tra-
bajos que presentan los dos tipos de objetivos anteriormente señalados (20,7%). Otros
objetivos apenas son apreciables, como por ejemplo el explicativo que tan sólo se pre-
senta en dos trabajos.
Tabla VII
Objetivos
Tipo
Frecuencia
%
Explorativo
3
3,4
Descriptivo
36
41,4
Evaluativo
27
31,0
Explicativo
2
2,3
Descriptivo-evaluativo
18
20,7
Explorativo-descriptivo-evaluativo
1
1,1
Total
87
100,0
En cuanto a las estrategias de investigación (tabla VIII), también existe un amplio
predominio de la documental-estadística (88,5%) frente a los otros tipos de estrategias.
Tabla VIII
Estrategias
Tipo
Frecuencia
%
Documentación/Estadística
77
88,5
Encuesta
8
9,2
Encuesta-estudio de casos
1
1,1
Documentos-encuesta-entrevista
1
1,1
Total
87
100,0
La técnica de obtención de datos más empleada es la documental (85,1%). El em-
pleo de otro tipo de técnicas apenas es significativo (tabla IX).
Rev. Esp. Doc. Cient., 24, 4, 2000
441
Ana Belén Ríos Hilario
Tabla IX
Obtención de datos
Tipo
Frecuencia
%
Documentos
74
85,1
Observación
1
1,1
Cuestionario-correo
7
8,0
Documentos-cuestionario correo
2
2,3
Entrevista-cuestionario
2
2,3
Cuestionario-entrevista-grupo de discusión
1
1,1
Total
87
100,0
Finalmente, el análisis estadístico es el principal tipo de análisis de los datos
(94,3%) frente a otros como el documental o el de contenido, con un 2,3% en ambos
casos (tabla X).
Tabla X
Análisis de datos
Tipo
Frecuencia
%
Estadístico
82
94,3
Documental
2
2,3
Análisis del contenido
2
2,3
Estadístico y análisis del contenido
1
1,1
Total
87
100,0
4 Discusión
Si tomamos como referencia principal el trabajo (8) en el que también se estudian
las metodologías de investigación, pero en las comunicaciones presentadas a las Jor-
nadas Españolas de Documentación (JED), podemos comprobar cómo el porcentaje de
las investigaciones es más elevado en la REDC (45,5%) que en las propias Jornadas
(17,5%). Esto puede ser debido a varios factores pero fundamentalmente a dos: las ca-
racterísticas diferentes que presentan los dos tipos de publicaciones objeto de análisis;
y los responsables que realizan los trabajos. Generalmente las Jornadas de FESABID
suelen ser puntos de encuentro donde los profesionales (fundamentalmente biblioteca-
rios) cuentan sus experiencias realizadas en sus centros de trabajo, presentando comu-
nicaciones puramente descriptivas. Por otro lado, el propio carácter de la REDC y la
procedencia de los autores que firman los trabajos, hace que los artículos publicados
en la misma sean de carácter más científico y que cuenten con una metodología de in-
vestigación más rigurosa. El estudio de Álvarez-Ossorio (7), en el que se analiza la pro-
cedencia institucional de los trabajos publicados en la REDC, muestra cómo el mayor
porcentaje de los autores pertenece a dos instituciones: el CINDOC y la Universidad.
La evolución del número de investigaciones a lo largo de estos diez años es cons-
tante. Según se observa en el gráfico, hasta el año 1997 prácticamente de la totalidad
de los artículos publicados al año (aproximadamente 16) casi la mitad eran investiga-
442
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
ciones. Es a partir del año 1997 cuando se observa un crecimiento paulatino hasta el
punto que, en el año 1999, la mayoría de los artículos pueden considerarse trabajos
de investigación en el sentido riguroso del término.
En el caso de las materias, hemos visto cómo dos son las materias predominantes
(Apoyo a la información y Fuentes documentales). Si se comparan estos temas con
los de las comunicaciones presentadas a las JED, se puede comprobar que nos en-
contramos con una temática totalmente diferente. Como decíamos anteriormente, esto
se justifica por la naturaleza de la REDC: en ella apenas se investiga a los servicios
bibliotecarios, tema predominante en las Jornadas. Por el contrario, en las JED son
minoritarios los trabajos de investigación dedicados a la comunicación científica.
Sin embargo, en este apartado es más importante señalar que muchos de los artí-
culos tratan más de temas sobre la producción científica en distintas disciplinas que
de lo que es la Biblioteconomía en sí. Los estudios de la producción científica médi-
ca se dan en un porcentaje elevado. Estos estudios médicos tienen su origen en los ar-
tículos publicados por los responsables del extinguido Instituto de Información y Do-
cumentación en Biomedicina, que tiene su continuación en el Índice Médico Español.
Si enlazamos este apartado con las poblaciones objeto de estudio, vemos cómo los su-
jetos analizados son en sí documentos en sus diferentes variantes, pero cuya discipli-
na principal no es la Biblioteconomía y Documentación, ni siquiera el campo de las
Ciencias Sociales y Humanidades, sino el de las Ciencias en su sentido tradicional,
fundamentalmente como ya hemos señalado las biomédicas pero también otras como
la Física, Química, Ingeniería o el Medio Ambiente. En FESABID existe una mayor
diversidad de poblaciones: aquí se estudian, por ejemplo, poblaciones formadas por
personas como pueden ser los profesionales o usuarios de un determinado centro.
La metodología o paradigma de investigación es fundamentalmente cuantitativa.
Muchas de las investigaciones son trabajos bibliométricos; el carácter cuantitativo de
este tipo de trabajos queda reflejado en la propia definición de los mismos. Emilio
Delgado (2) expresaba que precisamente esta revista «constituye el núcleo entorno al
que se organiza el llamado frente de investigación bibliométrica que se ha dedicado a
estudiar las pautas, hábitos de información y comunicación de la comunidad científi-
ca y técnica española, utilizando la REDC como vehículo para la transmisión de sus
resultados». No obstante, en los últimos años los trabajos bibliométricos se han redu-
cido debido a la apertura hacia otros campos de la ByD (fuentes documentales, orga-
nismos de documentación, sistemas y aplicaciones).
En un alto porcentaje de trabajos no se realiza ningún tipo de muestreo sobre los
sujetos estudiados, y por tanto, la investigación se centra en la totalidad de la pobla-
ción. Por otro lado, en el caso de que se proceda a la selección de una muestra, la
elección de los sujetos no se realiza al azar sino mediante el empleo de métodos en
cierto modo subjetivos por parte del equipo investigador.
Si nos fijamos en el primer apartado del diseño de investigación —el grado de ex-
perimentación— casi la totalidad de las investigaciones son preexperimentales. Esto
es un claro indicador del estado actual de la investigación en el área de la ByD. Los
diseños preexperimentales se caracterizan por la observación del fenómeno sin intro-
ducir ninguna alteración en el mismo. Esta observación se realiza en una única medi-
ción y no se lleva ningún control sobre las posibles fuentes de invalidación de la in-
vestigación, lo que influye negativamente en el grado de validez de la investigación
tanto interna como externa.
Rev. Esp. Doc. Cient., 24, 4, 2000
443
Ana Belén Ríos Hilario
Hay un predomino de los estudios seccionales-transversales. Es decir, que la ma-
yoría de las investigaciones proceden a la recogida de los datos en un único momen-
to, frente a los longitudinales que plantean el problema para estudiar el fenómeno a
lo largo del tiempo y así observar su dinámica.
Las investigaciones realizadas tienen como finalidad describir un determinado fe-
nómeno más que explicar las causas por las que se produce el mismo. Generalmente
este tipo de estudios descriptivos es el que da paso a objetivos de rango superior como
son los predictivos y evaluativos. En cuanto a los evaluativos, que también se dan en
un elevado porcentaje, se pueden definir más como un propósito de la investigación
que como un método de investigación específico.
Estos últimos puntos que hemos tratado ofrecen resultados parecidos a los que se
dan en FESABID.
La estrategia de investigación más utilizada en la REDC es, sin lugar a dudas, el
uso de fuentes documentales-estadísticas. Hay que destacar que, sobre todo en los úl-
timos artículos publicados, comienza a aparecer la encuesta como estrategia de inves-
tigación. En el estudio de Powell (9), que examina los métodos de investigación en
los artículos publicados en ByD, sucede todo lo contrario: es el método de la encues-
ta la estrategia de investigación que aparece en primer lugar. Emilio Delgado (2) que
estudia este fenómeno a través de los datos proporcionados por Cano (8), pone de ma-
nifiesto la escasa importancia que en España tenía el método empírico y que aquí, en
nuestro estudio, queda reflejada de manera palpable. Nosotros hemos englobado las
estrategias de investigación en cinco grandes grupos siguiendo el esquema creado por
Cea D’Ancona (5), y sería en el primer apartado (uso de fuentes documentales y es-
tadísticas) donde se encuadrarían los métodos biblométricos. Estos métodos son los
más utilizados en los trabajos de investigación publicados en la REDC a lo largo de
estos diez años. Por lo tanto, podríamos decir que la mayoría de las investigaciones
publicadas en la revista son trabajos basados en el análisis bibliométrico. En el estu-
dio de Cano (10) ya se resaltaba este aspecto: la autora decía que la finalidad de esta
revista no era otra que satisfacer las necesidades de información de la comunidad cien-
tífica e investigadora y por ello su prioridad han sido los problemas de la comunica-
ción científica que llevan consigo el empleo de aproximaciones bibliométricas.
La obtención de los datos, en consecuencia con el apartado anterior, viene pro-
porcionada a través del empleo del documento de modo mayoritario. Otras vías de ob-
tención de los datos es la que proporciona la encuesta, fundamentalmente la enviada
por correo frente a otros métodos de cuestionario como puede ser el cuestionario au-
toadministrado o la encuesta por teléfono, que prácticamente no han sido utilizados en
los artículos estudiados. Hay que constatar que es precisamente la encuesta el méto-
do de obtención de datos más utilizado a nivel internacional dentro de la ByD. Sin
embargo en España, y como aquí queda puesto de manifiesto, apenas se utiliza.
Finalmente, al igual que toda investigación culmina con el análisis de los datos, éste
será nuestro último punto a tratar. El análisis estadístico se da en la mayoría de los casos
propiciado por el alto porcentaje de estudios bibliométricos que anteriormente se ha seña-
lado. Como punto de referencia podemos tomar el único trabajo (11) que examina esta va-
riable y que, tras el estudio del análisis de los datos a través de las comunicaciones pre-
sentadas a FESABID, llega a la conclusión de que el 100 % de los trabajos emplean el
análisis estadístico. Por lo tanto, aquí habría que destacar la utilización de otros dos mé-
todos aunque se den de modo minoritario: el documental y el análisis de contenido.
444
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
5 Conclusiones
A través de este estudio, hemos ido analizando los distintos huesos que componen el
esqueleto de las investigaciones realizadas en el cuerpo de la Biblioteconomía y la Do-
cumentación. Se han obtenido datos interesantes y significativos que conviene destacar.
En primer lugar, comparado con otros trabajos que también estudian las metodo-
logías de investigación, el número de investigaciones publicadas en la REDC es ele-
vado, presentando un crecimiento paulatino hasta llegar a los últimos años donde prác-
ticamente todos los artículos publicados se pueden considerar trabajos de investigación
en su sentido riguroso.
Sin embargo, este dato alentador queda oscurecido en el apartado de las materias,
ya que, aunque una elevada proporción de los trabajos emplea el análisis bibliométri-
co como método de investigación, su temática principal no está relacionada con las
Ciencias Documentales sino con otras disciplinas tan dispares como pueden ser la Me-
dicina, la Economía, las Bellas Artes o el Medio Ambiente.
Por otro lado, el perfil tipo de las investigaciones analizadas presenta los siguien-
tes parámetros: las poblaciones están formadas por documentos, y estas poblaciones
en su mayoría se estudian en su totalidad sin ningún tipo de muestreo; los diseños son
preexperimentales, con un predominio de los diseños seccionales según la variable
tiempo, y en su mayoría el propósito de la investigación es descriptivo o evaluativo.
El principal paradigma de investigación es el cuantitativo y fundamentalmente se si-
gue una estrategia documental-estadística. La obtención de los datos es a través de do-
cumentos sobre los que se realiza un análisis estadístico.
También hay que decir, y en contraste con las comunicaciones presentadas a FE-
SABID, que los artículos estudiados, en líneas generales, exponen claramente la me-
todología empleada, es decir, en ellos aparecen definidos los objetivos, fuentes, mé-
todos, materiales y equipos empleados en su realización. Aunque el apartado
metodológico debe estar presente en toda investigación, muchas de las investigacio-
nes realizadas en el área de la Documentación carecen de él, lo que repercute grave-
mente en la validez de éstas, así como dificulta la reproducción y comparación de los
datos estudiados.
Todo lo anteriormente mencionado está en relación con el estado en el que en es-
tos momentos se encuentra la investigación en ByD, a la que se ha calificado en tér-
minos de «estado embrionario» según Emilio Delgado (2), «etapa precientífica» según
Frías Montoya (12) e incluso se ha empleado el calificativo de «adolescente» por otros
autores. Siguiendo con el símil empleado por Delgado, es ahora el momento en el que
la investigación en este campo crezca y madure, teniendo como consecuencia más in-
mediata la consolidación de las Ciencias de la Documentación como tal. Existen una
serie de factores que nos permiten ser optimistas. La implantación del segundo y ter-
cer ciclos de estos estudios va a producir un aumento en el número de investigacio-
nes y que éstas se realicen de modo más riguroso. El carácter que tiene la licenciatu-
ra de formadora de gestores de la información, hace que esta materia entre en contacto
con otras disciplinas (como p. ej., las Ciencias Sociales y Económicas) de las que pue-
de aprender los métodos de investigación y aplicarlos a la ByD. Por otro lado, los cur-
sos de doctorado en los que se enseñan las técnicas y se alienta a los jóvenes inves-
tigadores a la realización de trabajos científicos, tendrán en muchos casos su
culminación en la presentación de tesis doctorales.
Rev. Esp. Doc. Cient., 24, 4, 2000
445
Ana Belén Ríos Hilario
Finalmente un último apunte. Al principio de este artículo hablábamos de que ya
se había superado la época en la que se debatía la necesidad de investigar. Es ahora
el momento de plantearnos el tipo de investigación que se debe realizar de acuerdo
con las características de la propia disciplina documental. La mayoría de la gente abo-
ga por una investigación aplicada que dé soluciones a los problemas prácticos que a
diario se dan en nuestros archivos, bibliotecas y centros de documentación, aunque,
evidentemente, esta investigación aplicada tiene que estar sustentada en una investi-
gación teórica. Ambas investigaciones son necesarias y complementarias, en ningún
caso contradictorias, y su realización va a contribuir al desarrollo y consolidación de-
finitiva de las Ciencias Documentales.
Agradecimientos a Ángel Borrego por su colaboración en el análisis de los resul-
tados así como en otros aspectos de este trabajo.
Bibliografía
1. Revista Española de Documentación Científica. Madrid: Consejo Superior de Investiga-
ciones Científicas. Centro Nacional de Información y Documentación Científica. 1977, nº1.
2. DELGADO LOPÉZ-CÓZAR, Emilio. Diagnóstico de la investigación en biblioteconomía y
documentación en España (1976-1996): estado embrionario. Revista de Investigación Ibero-
americana en Ciencias de la Información y la Documentación, 2000, vol. 1, nº 1, p. 79-93.
3. MOYA ANEGÓN, F.; JIMÉNEZ CONTRERAS, E. Autores españoles más citados en Bi-
blioteconomía y Documentación. El profesional de la información, 1999, vol. 8, nº 5, p.
28-29.
4. Making the Journal’s 20th Anniversary. Library and Information Science, 1998, vol. 20,
nº 4, p. 309-320.
5. CEA D’ANCONA. Metodología cuantitativa: estrategias y técnicas de investigación so-
cial. Madrid: Síntesis, imp. 1999.
6. BABBIE, E. R. Manual práctico para la investigación social. Bilbao: Desclée de Brouwe,
D.L. 1996.
7. PÉREZ ÁLVAREZ-OSSORIO, J. R. Cobertura temática y procedencia institucional de los ar-
tículos publicados en la Revista Española de Documentación Científica en sus veinte años de
existencia. Revista Española de Documentación Científica, 1997, vol. 20, nº 3, p. 290-298.
8. RÍOS HILARIO, A. B. Metodologías, técnicas y estrategias de investigación en las Jorna-
das Españolas de Documentación Automatizada (1984-1996). VI Jornadas Españolas de
Documentación. 1998, octubre 29-31, Valencia, p. 735-743.
9. POWELL, R. R. Recent Trends in Research: a methodological essay. Library & Informa-
tion Science Research, 1999, vol. 21, nº 1, p. 91-119.
10. CANO, V. (1999). Bibliometric overview of Library and Information Science Research in
Spain. Journal of the American Society for Information Science, 1999, vol. 50, nº 8, p. 675-
680.
11. RÍOS HILARIO, A. B. Metodologías, estrategias y técnicas de investigación a través de
las Jornadas Españolas de Documentación: 1984-1998. Salamanca: Universidad de Sala-
manca, Facultad de Traducción y Documentación, 1999.
12. FRÍAS, J. A. La investigación en Biblioteconomía y Documentación a debate. Educación
y Biblioteca, 1996, nº 75, p. 17-19.
446
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
Anexo I
Poblaciones
Artículos biomédicos publicados en la Universidad de México (78-87)
Artículos científicos sobre comportamiento animal
Artículos de 3 volúmenes del repertorio de documentación médica
Artículos de investigación
Artículos de la REDC (1977-1997)
Artículos de la Revista Colombiana de Física RCF (1984-1991)
Artículos de revista sobre Bibliometría (1982-1992)
Artículos de revistas científicas españolas en Ciencia y Tecnología (1980-1989)
Artículos españoles sobre oncología (79,81,83,85)
Artículos publicados sobre el franquismo a través de las revistas españolas del ISOC
(1976-1992)
Artículos y comunicaciones sobre análisis del contenido
Base de datos sobre equipos médicos y catálogos de competidores
Bases de datos de ciencias sociales de países europeos
Bases de datos de lenguaje libre y controlado
Bases de datos del CSIC
Bases de datos iberoamericanas
Bibliotecas de Ciencias de la Salud
Bibliotecas de Ciencias de la Salud en España
Bibliotecas de hospitales españoles
Bibliotecas de tamaño medio del Reino Unido, España e Italia
Bibliotecas españolas
Bibliotecas universitarias automatizadas
Catálogos españoles en entorno WEB
Centros de documentación y bibliotecas españolas
Centros españoles de teledocumentación
Citas bibliográficas de la bibliometría brasileña (1972-1986)
Clusters (Grupos de documentos de contenido semántico similar)
Cuatro años de artículos y libros publicados por autores afiliados a la Universidad de
Alcalá
Diplomados españoles en Biblioteconomía y Documentación (1991-1992)
Documentos de patentes en el área de la perforación horizontal (1980-1994)
El tema de la RI en las bases de datos ERIC, LISA e ISA (Enero 95-Junio 97)
Estudios bibliométricos españoles en el campo de la educación
Grupos de investigación del sistema cardiovascular
Investigadores mexicanos en el campo de la bibliotecología y las ciencias de la infor-
mación
Libros que tratan sobre el alcoholismo en España
Libros y folletos españoles de Bellas Artes publicados en España (1975-1995)
Listas de encabezamientos de materia en español (BNCT, IDICT, ACC)
Literatura científica española en la comunidad médica internacional (1927-1932)
Números de las revistas JASIS, JD, LISR
Ofertas de trabajo para documentalista publicadas en diarios españoles (1984-1994)
Palabras de bases de datos bibliográficas
Rev. Esp. Doc. Cient., 24, 4, 2000
447
Ana Belén Ríos Hilario
Peticiones de documentos de las empresas farmacéuticas de la CM (1994-199)
Peticiones de revistas españolas y extranjeras a través del servicio de suministro de
documentos
Peticiones sobre educación en el Departamento de Acceso al Documento Primario
(1988)
Producción bibliográfica de los estudios de Traducción (1960-1994)
Producción científica de la Universidad Española en Física (86-88)
Producción científica de países latinoamericano a través de las revistas españolas de
Ciencia y Tecnología
Producción científica de temática latinoamericana a través de las revistas españolas de
Ciencias Sociales y Humanidades
Producción científica en Ciencias Sociales y Humanidades (referencias de artículos de
revista 1981-1990)
Producción científica en Física y Química
Producción científica entre España y los países iberoamericanos (1980-1990)
Producción científica española en documentación médica
Producción científica española en ecología y medio ambiente: 1989-1993
Producción científica española en el campo de los transplantes: 1990-1996
Producción histórica sobre la Guerra Civil española (1975-1995)
Publicaciones periódicas de las bibliotecas del CSIC en ciencias (química, física, bio-
logía), ciencias del mar y tecnología de alimentos
Publicaciones periódicas del área de las ciencias de la salud
Referencias bibliográficas de la mujer en la Guerra Civil española
Referencias bibliográficas españolas en el campo de la química (1990-1991)
Referencias bibliográficas sobre genética (1989-1995)
Referencias bibliográficas sobre patentes
Referencias de artículos científicos en seis áreas del conocimiento
Referencias de artículos publicados en la Revista Española de Enfermedades Digesti-
vas
Registros bibliográficos convertidos en las bibliotecas del CSIC
Repertorios bibliográficos españoles de artes plásticas
Responsables de los centros de información y servicios de empresas
Revistas biomédicas latinoamericanas
Revistas biomédicas nacionales en las hemerotecas nacionales
Revistas científicas de documentación en el año 1991
Revistas científicas españolas: el centro y la periferia
Revistas electrónicas en el campo de las Ciencias Sociales y las Humanidades
Revistas españolas de ByD (1975-1995)
Revistas españolas de Economía (1995-1996)
Revistas españolas de Tecnología e Ingeniería Mecánica y Metalúrgica
Revistas españolas en Ciencia y Tecnología
Revistas pedagógicas en el Departamento de acceso al documento primario del ISOC:
1985-1988
Revistas suscritas en el Centro de Documentación en Acuicultura
Servicio del catálogo colectivo de publicaciones seriadas
Tarifas de acceso a servicios y bases de datos de distintos servidores de España y del
resto del mundo
448
Rev. Esp. Doc. Cient., 24, 4, 2000
Diez años de investigación en la Revista Española de Documentación Científica (1989-1999)
Títulos de artículos científicos
Títulos de publicaciones periódicas del catálogo colectivo de la Universidad de Va-
lencia
Títulos de revista aparecidos en BBDD sobre biomedicina
Trabajos biosanitarios del BBC - suscriptores del boletín
Trabajos publicados en revistas médicas españolas
Trabajos sobre negociación colectiva y cuestiones afines antes de 1995
Usuarios portadores de determinadas necesidades de información
Webs de las Escuelas y Facultades de ByD de las Universidades
Rev. Esp. Doc. Cient., 24, 4, 2000
449
N O T I C I A S
XII JORNADAS DE BIBLIOTECAS DE ARQUITECTURA,
CONSTRUCCIÓN Y URBANISMO
El Colegio Oficial de Aparejadores y Arquitectos Técnicos de Madrid (COAATM)
ha sido el encargado en esta edición de la organización de las XII Jornadas de
Arquitectura, Construcción y Urbanismo, que se han celebrado los días 19 y 20 de
octubre de 2001, promovidas por ABBA, Asociación de Bibliotecas y Biblioteca-
rios de Arquitectura, Construcción y Urbanismo, y que vienen realizándose anual-
mente.
Bajo el título: «La Documentación de los productos y los sistemas constructi-
vos: fuentes de información», se ha planteado el problema que se manifiesta cons-
tantemente en las bibliotecas del sector, como es la búsqueda, localización y recopi-
lación tanto de la normativa, como de novedades en patentes y marcas, ensayos de
materiales de construcción y sellos de calidad, entre otros.
El programa se desarrolló con las siguientes ponencias:
— Presentación de la exposición: «La Construcción en sus textos clásicos», po-
nente Fernando Río Durán, Arquitecto.
— «El marco de protección del desarrollo técnico del diseño de productos y sis-
temas de construcción», ponente Carlos Aymat Escalada, Arquitecto Técnico
y Agente Oficial de la Propiedad Industrial.
— «Las Normas Europeas», ponente Ana María López Cano. Centro de Infor-
mación y Documentación de AENOR.
— «Tratamiento documental de normas y otros documentos en la biblioteca del
Instituto Eduardo Torroja de la Construcción : DIT, UNE y Eurocódigos», po-
nente Isabel Mendoza García. Biblioteca del Instituto Eduardo Torroja.
— «Tratamiento documental de la información recogida para el Código Técnico
de la Edificación», ponente Virtudes Azorín López. Centro de Documentación
para el Código Técnico. Instituto Eduardo Torroja.
— «El CEDEX y la documentación en los ensayos de materiales», ponente
Antonia Berjaga Peralta. Servicio de Coordinación de Bibliotecas del
CEDEX.
— «Los Artífices de la construcción», ponente Fernando Olave. Aparejador y Ar-
quitecto Técnico.
— «Nuevos sistemas de comunicación en el sector de la construcción», ponente
Amadeo de Fe Nores. Arquitecto Técnico. Colegio Oficial de Aparejadores y
Arquitectos Técnicos de Guadalajara.
— «Los portales de Internet», ponentes Comisión de Internet de ABBA.
Como complemento a estas jornadas, se ha inaugurado la exposición «Materiales
de construcción en sus textos clásicos», actividad de extensión cultural de la biblio-
teca que se inicia este año, con la que se pretende divulgar la descripción que los ma-
teriales de construcción han tenido a lo largo de la historia en los tratados de cons-
trucción.
Los asistentes también tuvieron ocasión de visitar el archivo del Palacio Real, guia-
dos por Juan José Alonso Martín, subdirector del archivo; la sala Goya de la Biblio-
Rev. Esp. Doc. Cient., 24, 4, 2001
451
Noticias
teca Nacional, acompañados por Elena de Santiago Páez, Jefe de Servicio de Dibujos
y Grabados, y realizaron una visita nocturna por el Madrid de los Austrias.
María Jesús López Manzanedo
Servicio de Coordinación de Bibliotecas
Universidad Politécnica de Madrid
IX JORNADAS DE INFORMACION Y DOCUMENTACION
EN CIENCIAS DE LA SALUD
24-26 septiembre 2001
Complejo Cultural San Francisco. Cáceres
Los profesionales de las bibliotecas y centros de documentación españoles, vincu-
lados al mundo de las Ciencias de la Salud a través de los centros hospitalarios, las
unidades de investigación, las universidades, la industria farmacéutica, y más recien-
temente las escuelas de salud de las diferentes comunidades autónomas, hemos parti-
cipado en las IX JORNADAS DE INFORMACIÓN Y DOCUMENTACIÓN EN
CIENCIAS DE LA SALUD, esta vez en tierras cacereñas, que como cada dos años
nos sirven para revisar y actualizar conocimientos y para tratar de descifrar las claves
de nuestro futuro.
El valor estratégico de nuestros centros como soportes de la práctica clínica, la
gestión, la investigación, la información al usuario y la formación en el campo de las
Ciencias de la Salud, ha sido políticamente refrendado por la presencia tanto en la
inauguración como en la conclusión de las jornadas, de las máximas autoridades au-
tonómicas y nacionales en este campo, tales como el Consejero de Sanidad de la Jun-
ta de Extremadura, D. Guillermo Fernández Vara, o el Director General del Instituto
de Salud Carlos III, D. Antonio Campos Asensio, que corroboraron este aspecto y se
comprometieron desde sus puestos a seguir apoyando todas aquellas iniciativas que
sirvan para desarrollar políticas locales, autonómicas y nacionales que respalden pro-
gramas de información y gestión científica en Ciencias de la Salud, para que el valor
añadido que el gestor de la información imprime en la cada vez más prolífica y satu-
rada red mundial, sea el marchamo de calidad que nos ayude, tanto a los profesiona-
les, investigadores, y gestores como a los «pacientes» a tener no solo más, sino cada
vez mejor información.
Los intensos días vividos han servido para detectar un alto grado de participación
tanto en el aspecto científico, con más de 50 comunicaciones presentadas y alrededor
de 15 pósters, aunque finalmente sólo pasaron la selección del comité científico 40 de
ellos, donde hemos podido observar en la mayoría una metodología y una exposición
mucho más cuidada que en eventos anteriores; como en las diferentes mesas redondas
y talleres prácticos que han captado el interés y suscitado intensos debates que han
servido para elaborar unas sustanciosas conclusiones que resumiremos a continuación.
El número de expositores de productos relacionados con nuestro entorno creció
hasta alcanzar prácticamente el doble de los que han acudido en las ocho jornadas pre-
cedentes, lo que da idea del negocio que produce el mundo de la información en sa-
lud, un negocio dominado por otro lado por las empresas extranjeras y mediatizado
452
Rev. Esp. Doc. Cient., 24, 4, 2001
Noticias
teca Nacional, acompañados por Elena de Santiago Páez, Jefe de Servicio de Dibujos
y Grabados, y realizaron una visita nocturna por el Madrid de los Austrias.
María Jesús López Manzanedo
Servicio de Coordinación de Bibliotecas
Universidad Politécnica de Madrid
IX JORNADAS DE INFORMACION Y DOCUMENTACION
EN CIENCIAS DE LA SALUD
24-26 septiembre 2001
Complejo Cultural San Francisco. Cáceres
Los profesionales de las bibliotecas y centros de documentación españoles, vincu-
lados al mundo de las Ciencias de la Salud a través de los centros hospitalarios, las
unidades de investigación, las universidades, la industria farmacéutica, y más recien-
temente las escuelas de salud de las diferentes comunidades autónomas, hemos parti-
cipado en las IX JORNADAS DE INFORMACIÓN Y DOCUMENTACIÓN EN
CIENCIAS DE LA SALUD, esta vez en tierras cacereñas, que como cada dos años
nos sirven para revisar y actualizar conocimientos y para tratar de descifrar las claves
de nuestro futuro.
El valor estratégico de nuestros centros como soportes de la práctica clínica, la
gestión, la investigación, la información al usuario y la formación en el campo de las
Ciencias de la Salud, ha sido políticamente refrendado por la presencia tanto en la
inauguración como en la conclusión de las jornadas, de las máximas autoridades au-
tonómicas y nacionales en este campo, tales como el Consejero de Sanidad de la Jun-
ta de Extremadura, D. Guillermo Fernández Vara, o el Director General del Instituto
de Salud Carlos III, D. Antonio Campos Asensio, que corroboraron este aspecto y se
comprometieron desde sus puestos a seguir apoyando todas aquellas iniciativas que
sirvan para desarrollar políticas locales, autonómicas y nacionales que respalden pro-
gramas de información y gestión científica en Ciencias de la Salud, para que el valor
añadido que el gestor de la información imprime en la cada vez más prolífica y satu-
rada red mundial, sea el marchamo de calidad que nos ayude, tanto a los profesiona-
les, investigadores, y gestores como a los «pacientes» a tener no solo más, sino cada
vez mejor información.
Los intensos días vividos han servido para detectar un alto grado de participación
tanto en el aspecto científico, con más de 50 comunicaciones presentadas y alrededor
de 15 pósters, aunque finalmente sólo pasaron la selección del comité científico 40 de
ellos, donde hemos podido observar en la mayoría una metodología y una exposición
mucho más cuidada que en eventos anteriores; como en las diferentes mesas redondas
y talleres prácticos que han captado el interés y suscitado intensos debates que han
servido para elaborar unas sustanciosas conclusiones que resumiremos a continuación.
El número de expositores de productos relacionados con nuestro entorno creció
hasta alcanzar prácticamente el doble de los que han acudido en las ocho jornadas pre-
cedentes, lo que da idea del negocio que produce el mundo de la información en sa-
lud, un negocio dominado por otro lado por las empresas extranjeras y mediatizado
452
Rev. Esp. Doc. Cient., 24, 4, 2001
Noticias
por los elevados precios marcados por los editores de las revistas y el obligado pago
en dólares que fluctúa casi siempre al alza y que encarece constantemente este tipo de
productos; de ahí la necesidad que nos planteamos de montar dos mesas redondas: una
sobre los recursos electrónicos y el punto de vista de los editores, distribuidores y
bibliotecarios, y la otra sobre los consorcios de bibliotecas, tan distintas como com-
plementarias, ya que si de la primera evidenciamos que este tipo de formatos acabará
imponiéndose en nuestras bibliotecas al formato tradicional, y que la unidad de infor-
mación podría pasar de la revista al artículo, a pesar de los inconvenientes con los que
nos enfrentamos actualmente: legales, de distribución, de tecnología insuficiente y de
la inexistencia de políticas nacionales de uso y conservación de este tipo de archivos
electrónicos; de la mesa de consorcios concluimos que la única forma de hacer frente,
tanto a los elevados costes de la literatura científica como a la gran proliferación de re-
cursos, es crear consorcios tanto nacionales como autonómicos y establecer sistemas
bibliotecarios que nos permitan compartir la información y reducir costes.
La conferencia sobre formación de profesionales bibliotecarios puso sobre la
mesa el enorme esfuerzo personal que han tenido que hacer los profesionales por adap-
tarse a los constantes cambios experimentados en nuestro entorno con las nuevas tec-
nologías, y la falta tanto de las infraestructuras en tecnología de la información y co-
municaciones que soporten y mantengan programas y servicios de gestión de la
información en las bibliotecas de Ciencias de la Salud, como de políticas que respal-
den la formación continuada que nos permitan proporcionar servicios eficaces y efi-
cientes.
Por último examinamos el universo de usuarios que diariamente soportan nues-
tros centros y sus necesidades informativas, desde las académicas o docentes como de
investigación y formación, hasta los nuevos retos como son los de la información tan-
to a los pacientes como a sus familiares, que cada vez acuden más a las bibliotecas
hospitalarias en demanda de información específica para ellos, y que nos obligarán a
elaborar productos de información a modo de los ya existentes en EE.UU.
Las numerosísimas felicitaciones que la organización de las jornadas ha recibido
por parte de los congresistas, las muchas propuestas de temas distintos a los aquí tra-
tados y el magnífico ambiente de trabajo y convivencia vividos, nos han compensado
del esfuerzo que supone llevar a buen término este tipo de eventos, pero también han
evidenciado la necesidad quizá de mantener encuentros más frecuentes y monográficos
sobre temas puntuales que no pueden ni deben esperar a ser resueltos cada dos años.
Como colofón los datos de participación fueron los siguientes:
• 210 congresistas.
• 13 ponentes.
• 45 comunicaciones.
• 10 pósters.
• 2 talleres.
• 14 expositores.
Montaña Vivas Jiménez. Bibliotecaria
Hospital San Pedro de Alcántara. Cáceres
Matilde de la Cruz Solis. Bibliotecaria
Hospital Infanta Cristina, Badajoz
Rev. Esp. Doc. Cient., 24, 4, 2001
453
Noticias
NACIMIENTO DE SPARC EUROPE
Dentro del cambiante, por no decir abiertamente revolucionario, panorama de la
edición o comunicación científica electrónica, nuevas iniciativas y proyectos surgen a
menudo, sustentados por distintos agentes, sectores o grupos que desean, por diferen-
tes motivos, ejercer alguna influencia en la futura y por ahora inestable configuración
de la que podríamos llamar, cómo no, «e-ciencia».
SPARC (Scholarly Publishing & Academics Resource Coalition) es una alianza
internacional auspiciada por la norteamericana Association of Research Libraries (ARL)
que pretende establecer una fuerte colaboración entre las bibliotecas académicas y las
sociedades o instituciones científicas. Su objetivo es desarrollar un mercado de la co-
municación científica más competitivo, capaz de afrontar el problema del elevado cos-
te de la información y ampliar drásticamente la accesibilidad y difusión de la ciencia
aprovechando los medios tecnológicos existentes. La idea es usar el potencial de com-
pra de las bibliotecas para promover la creación de productos editoriales de alta cali-
dad y bajo precio que difundan la investigación científica, tecnológica y médica revi-
sada por pares.
Entre sus actuaciones hay campañas de concienciación y propaganda («Declaring
Independence», «Create change»), acuerdos con sociedades científicas editoras para
lanzar publicaciones alternativas a las comerciales, y acciones de apoyo para desarro-
llar portales o agregaciones de información científica sin fines lucrativos (BioOne,
eScholarship, Open Archives Initiative). SPARC aporta asesoramiento técnico, cober-
tura financiera directa y un cierto compromiso de compra por parte de sus miembros
para reducir los riesgos de entrada en el mercado, todo ello dirigido a estimular la cre-
ación de sistemas de comunicación del nuevo conocimiento mejores, más rápidos, más
abiertos y económicamente sostenibles, no orientados al beneficio empresarial.
Hasta hace poco, las actividades de SPARC se concentraban sobre todo en Norte-
américa, pero dado el alcance «global» del problema, el mes de julio pasado ha sur-
gido, como una iniciativa complementaria, SPARC Europe. La asociación LIBER (Li-
gue des Bibliothèques Européennes de Recherche) acogerá como organización
«paraguas» el proyecto SPARC Europe, que cuenta asimismo de entrada con el apo-
yo de instituciones británicas como CURL, JISC y SCONUL, de UKB (Holanda) y
de otros organismos europeos. El lanzamiento de SPARC Europe ha sido realizado
por un grupo de trabajo provisional con representantes de dichas asociaciones, y está
por tanto todavía en una fase temprana de ordenación de su funcionamiento.
SPARC Europe comparte desde luego los fines y colaborará con la organización
matriz internacional de SPARC, que tiene su sede en Washington. Pero va a desarro-
llar actuaciones específicamente centradas en el ámbito de nuestro continente, bajo una
dirección europea, y está «entusiásticamente» abierta, informa, a la incorporación de
más bibliotecas académicas, organizaciones bibliotecarias e instituciones científicas de
la región.
En palabras de Elmar Mittler, Presidente de LIBER y Director de la Biblioteca de
la Universidad de Göttingen (Alemania), «SPARC Europe permitirá a las comunida-
des científica y bibliotecaria de Europa ejercer un papel asertivo al afrontar el pro-
blema de los elevados precios de las revistas».
En efecto, parece oportuno que todos los sectores implicados en la difusión del co-
454
Rev. Esp. Doc. Cient., 24, 4, 2001
nocimiento desempeñen un rol activo, y no meramente receptivo, en la conformación
de un también «nuevo orden mundial» de la ciencia, si desean tener proyección e in-
fluencia en el mismo. Es de esperar que SPARC Europe pronto cuente con participa-
ción y colaboración española. Para más información, se puede acceder a www.spar-
ceurope.org o a www.arl.org/sparce.
Javier Martínez, Biblioteca,
Universidad de Cantabria
INFORME DEL V TALLER IBEROAMERICANO
DE INDICADORES DE CIENCIA Y TECNOLOGÍA
El V Taller Iberoamericano de Indicadores de Ciencia y Tecnología se celebró en
Montevideo, del 15 al 19 de octubre de 2001, organizado por RICYT y la Dirección
de Ciencia, Tecnología e Innovación (DINACYT) del Ministerio de Cultura de Uru-
guay.
Asistieron 130 participantes, de los cuales 70 eran de América Latina. España es-
tuvo representada por 5 investigadores del CINDOC y uno del INE (Instituto Nacio-
nal de Estadística). Tuvo como particularidad que en cada sesión se presentaron gran
cantidad de ponencias previamente concertadas con sus autores, con lo que la partici-
pación libre quedó muy mermada.
Las conferencias se distribuyeron en un taller central, de tres días de duración, con
cinco sesiones; un primer taller de innovación de los países de MERCOSUR, de me-
dio día de duración y un nuevo taller, de un día, novedoso en la RICYT, dedicado ex-
clusivamente a los indicadores de género. Paralelamente al taller de género, se reali-
zó también un curso de capacitación sobre indicadores de innovación, para, entre otras
cosas, presentar el Manual de Bogotá, sobre las normas exigidas para desarrollar las
encuestas de innovación, recientemente editado, y que se puede considerar la versión
adaptada a las características de América Latina del Manual de Oslo de la OCDE.
Se presentaron también varios posters. El Taller fue abierto por el coordinador de
la RICYT, Mario Albornoz, quien destacó que los países están cada vez mejor repre-
sentados en RICYT con interlocutores profesionales. Señaló que los indicadores apor-
tados por RICYT tienen la particularidad de referirse, en su mayoría, a insumos en C
y T, y no sólo a I+D. Igualmente, resaltó que RICYT es el único repertorio de indi-
cadores que incluye datos de varias bases de datos, y no sólo del SCI, para presentar
la producción científica de todos los países iberoamericanos.
A continuación se señalan brevemente las intervenciones más importantes.
La primera sesión fue dedicada a indicadores de cultura científica e impacto
social de la ciencia y tecnología.
Se presentaron tres ponencias. Susan Cozzens, de EE.UU., defendió que en países
en vías de desarrollo el indicador que mejor refleja la situación real de su desarrollo es
el gasto en C y T «per cápita» que tiene más sentido que el indicador corrientemente
empleado del gasto en C y T como porcentaje del PIB. Adam Holbrook, de Canadá,
indicó cómo medir la innovación en las instituciones públicas, las cuales deben y pue-
den ser innovadoras, al contrario de lo que parece ser la percepción de los ciudadanos
Rev. Esp. Doc. Cient., 24, 4, 2001
455
nocimiento desempeñen un rol activo, y no meramente receptivo, en la conformación
de un también «nuevo orden mundial» de la ciencia, si desean tener proyección e in-
fluencia en el mismo. Es de esperar que SPARC Europe pronto cuente con participa-
ción y colaboración española. Para más información, se puede acceder a www.spar-
ceurope.org o a www.arl.org/sparce.
Javier Martínez, Biblioteca,
Universidad de Cantabria
INFORME DEL V TALLER IBEROAMERICANO
DE INDICADORES DE CIENCIA Y TECNOLOGÍA
El V Taller Iberoamericano de Indicadores de Ciencia y Tecnología se celebró en
Montevideo, del 15 al 19 de octubre de 2001, organizado por RICYT y la Dirección
de Ciencia, Tecnología e Innovación (DINACYT) del Ministerio de Cultura de Uru-
guay.
Asistieron 130 participantes, de los cuales 70 eran de América Latina. España es-
tuvo representada por 5 investigadores del CINDOC y uno del INE (Instituto Nacio-
nal de Estadística). Tuvo como particularidad que en cada sesión se presentaron gran
cantidad de ponencias previamente concertadas con sus autores, con lo que la partici-
pación libre quedó muy mermada.
Las conferencias se distribuyeron en un taller central, de tres días de duración, con
cinco sesiones; un primer taller de innovación de los países de MERCOSUR, de me-
dio día de duración y un nuevo taller, de un día, novedoso en la RICYT, dedicado ex-
clusivamente a los indicadores de género. Paralelamente al taller de género, se reali-
zó también un curso de capacitación sobre indicadores de innovación, para, entre otras
cosas, presentar el Manual de Bogotá, sobre las normas exigidas para desarrollar las
encuestas de innovación, recientemente editado, y que se puede considerar la versión
adaptada a las características de América Latina del Manual de Oslo de la OCDE.
Se presentaron también varios posters. El Taller fue abierto por el coordinador de
la RICYT, Mario Albornoz, quien destacó que los países están cada vez mejor repre-
sentados en RICYT con interlocutores profesionales. Señaló que los indicadores apor-
tados por RICYT tienen la particularidad de referirse, en su mayoría, a insumos en C
y T, y no sólo a I+D. Igualmente, resaltó que RICYT es el único repertorio de indi-
cadores que incluye datos de varias bases de datos, y no sólo del SCI, para presentar
la producción científica de todos los países iberoamericanos.
A continuación se señalan brevemente las intervenciones más importantes.
La primera sesión fue dedicada a indicadores de cultura científica e impacto
social de la ciencia y tecnología.
Se presentaron tres ponencias. Susan Cozzens, de EE.UU., defendió que en países
en vías de desarrollo el indicador que mejor refleja la situación real de su desarrollo es
el gasto en C y T «per cápita» que tiene más sentido que el indicador corrientemente
empleado del gasto en C y T como porcentaje del PIB. Adam Holbrook, de Canadá,
indicó cómo medir la innovación en las instituciones públicas, las cuales deben y pue-
den ser innovadoras, al contrario de lo que parece ser la percepción de los ciudadanos
Rev. Esp. Doc. Cient., 24, 4, 2001
455
Noticias
que creen que el sector público es ineficaz, poco innovador, que aporta escasa contri-
bución a la economía y es de escasa moralidad. En este sentido se debe modificar el
Manual de Oslo, que cubre la innovación en el sector privado, y enfocarlo al sector pú-
blico en su aportación a la mejora de los procesos y productos, para beneficio de los
servicios públicos (salud, educación, etc.). José Antonio López Cerezo, de la Universi-
dad de Oviedo, indicó que es necesario elaborar indicadores de la cultura científica en-
tre el público, entendida como valor de calidad, por lo que hay que acometer la gene-
ración de nuevos indicadores que midan el impacto social de la ciencia.
La segunda sesión trató sobre indicadores de ciencia y tecnología en pequeños
países.
Se presentaron cuatro ponencias. El caso de Irlanda, por Rhona Dempsey, puso de
manifiesto la decisión política de su pequeño país en los últimos años, de invertir fuer-
temente en C y T como medida para alcanzar un mayor desarrollo social y económico.
Presentó datos que así lo demostraron. Los datos de indicadores de I+D de Irlanda han
experimentado un fuerte incremento en los últimos años, lo que va en paralelo con el
desarrollo económico y social del país. Milagro Mainieri, de Panamá, explicó, sobre todo,
lo relativo a los indicadores de percepción pública de la C y T, que están tratando de
poner en marcha en su país. Wilfredo Gonzalez Rodríguez, de Cuba, presentó un estu-
dio para la evaluación de la investigación realizada en las universidades, por medio del
cómputo de publicaciones, según SCI, desarrollando un algoritmo que permite calificar
los indicadores obtenidos sobre la base de estándares de « rankings» de universidades.
Se concluye que el factor tamaño en los países no es inconveniente para producir
indicadores, lo que sí se detecta en los pequeños países es una necesidad de capacita-
ción de nuevos profesionales y de creación de nuevos indicadores.
La tercera sesión trató de indicadores de recursos humanos en ciencia y tec-
nología y de migración de científicos.
Se presentaron siete ponencias. Ibrahim Laafia, de Eurostat, indicó que el tema de
recursos humanos no está siendo bien tratado en Europa por carecer de buenas fuen-
tes (excepto en países nórdicos que tienen registros de todas las personas y sus ocu-
paciones). Jean Jonson, de la NSF, explicó con cifras los movimientos migratorios de
los estudiantes extranjeros en EE.UU., según carreras, sexo, etnias, etc., haciendo a la
educación parte de la globalización. El 30% de las estudiantes mujeres en EE.UU. son
extranjeras, y continúa habiendo diferencia de salarios entre hombres y mujeres en la
Universidad, a pesar de ser ésta un organismo público. Hernán Jaramillo, de Colom-
bia, habló de la necesaria interacción entre los recursos humanos con las instituciones
y la sociedad. El «stock» de personal existente en un país no es significativo si no se
sabe o no se puede determinar la calidad de esos especialistas. Carlos Angulo, del INE,
expuso la metodología llevada a cabo en España para la medición de recursos huma-
nos en empresas de alta tecnología, donde se pone de manifiesto que Navarra, Ara-
gón y Cantabria son regiones de alto contenido tecnológico, característica ésta no des-
cubierta anteriormente con otros indicadores. Habría que hacer un análisis más fino
teniendo en cuenta la cualificación de las personas empleadas, y se vería que las em-
presas de alta tecnología crean empleo pero para personas cualificadas principalmen-
te. Pablo Testa explicó una encuesta realizada en el año 1996 a 500 empresas vene-
zolanas sobre los recursos humanos cualificados; nivel de formación de los empleados,
tipos de profesionales en las empresas, cualificación de los profesionales, vinculación
con la universidad, etc. Se concluyó que las empresas prefieren la capacitación profe-
456
Rev. Esp. Doc. Cient., 24, 4, 2001
Noticias
sional de sus empleados antes que el desarrollo de capacidades para investigación, lo
que limita su orientación hacia la investigación. Martín Schaaper, de la OCDE, expli-
có las directrices de la OCDE para la medición de la movilidad de los recursos hu-
manos en C y T, y Sinesio Pires Ferreira, de Brasil, lo hizo para el caso brasileño, in-
dicando las bases de datos existentes sobre el tema y sus limitaciones, así como las
fuentes de información alternativas que utilizan, como pueden ser los registros admi-
nistrativos, encuestas en domicilios y empresas, etc.
La cuarta sesión se dedicó a los indicadores bibliométricos y de la sociedad de
la información.
Se presentaron cuatro ponencias. Isidro Aguillo, del CINDOC, propuso la incor-
poración de los indicadores cibermétricos al sistema de metadatos Dublín Core, que
está adquiriendo cierta relevancia entre los directorios y bases de datos de recursos de
I+D, y facilitaría la obtención automática de indicadores. A su vez, recomendó a
RICYT que incluya este tipo de indicadores en sus publicaciones anuales de indica-
dores de C y T, lo que se haría en cooperación con el CINDOC. Xavier Polanco, del
INIST, Francia, explicó el «sofware» empleado en un proyecto europeo que se está
desarrollando en colaboración con otros países, entre ellos España. Se trata de la re-
lación entre clusters y grafos para formar redes de comunidades virtuales en la socie-
dad de la información y el conocimiento, y facilitar así su análisis. María de Lourdes
Rodríguez, del OCT portugués, habló de la sociedad de la información en Portugal y
de las metodologías empleadas para su observación. Luis Plaza, del CINDOC, expli-
có cómo la ciencia básica es utilizada en el ámbito tecnológico, lo que viene deter-
minado mediante el análisis de la literatura científica citada en las patentes america-
nas. Presentó ejemplos de casos de Brasil, México y España.
La quinta sesión se enfocó a los problemas institucionales relativos a los indi-
cadores de ciencia tecnología e innovación en Iberoamérica.
Se presentaron cinco ponencias. Gonzalo Ordóñez explicó el Observatorio de C y
T recientemente creado en Colombia. Alfredo Pezo Paredes, de SECAB, habló sobre
los indicadores de C, T e I , y la especialización tecnológica. Rosa Sancho del MCYT,
explicó las nuevas directrices aprobadas por la OCDE para la obtención de indicado-
res, y las perspectivas futuras de obtención de nuevos indicadores propuestas por
OCDE, lo que enlaza con la creación de una nueva versión del Manual de Frascati,
más actualizada. Regina Gusmao y Sandra Brisolla, de FAPESP y UNICAMP, res-
pectivamente, explicaron el proyecto de creación de un observatorio brasileño de C y
T, e hicieron historia de los diversos modelos de observatorios actualmente en vigor.
Presentaron también la historia de las instituciones de Brasil que se han venido ha-
ciendo cargo de la obtención de los indicadores de C y T en ese país. Iván de la Vega,
de Venezuela explicó las grandes dificultades que tuvo que vencer para construir una
base de datos sobre información histórica, desde 1970, del Programa de Becas del CO-
NICIT, de Venezuela, debido a la falta de registros y datos al respecto.
Paralelamente a las cinco sesiones referidas se presentaron varios postes, dos de
ellos de autores españoles, M.a José Martín y Jesús Rey, del CINDOC.
I taller de indicadores de innovación en los países de Mercosur, Bolivia y Chile
A continuación del V Taller, se realizó el primer taller de indicadores de innova-
ción de los países de MERCOSUR, Bolivia y Chile, para presentar el Manual de Bo-
Rev. Esp. Doc. Cient., 24, 4, 2001
457
Noticias
gotá, editado recientemente, y donde se discutieron las experiencias nacionales de Ar-
gentina, Brasil, Bolivia, Chile y Uruguay, en materia de encuestas de innovación, y
analizar a continuación las estrategias comunes para el futuro.
I Taller de Género en C y T
Se celebró a continuación del V Taller, con mucho entusiasmo por parte de parti-
cipantes y público, la mayoría femenino. Se puso de manifiesto la discriminación que
sufre la mujer después de los estudios universitarios, en los que suele ser mayoría, por
su poca participación en puestos de responsabilidad (efecto tijera, que se da con mu-
chísima claridad también en la UE, según datos presentados).
Se presentaron siete ponencias. Marge Fauvelle, de la Comisión Europea, indica
que se debería incluir el género en las encuestas, y explicó los datos aportados por la
reciente publicación «Women in Science in Europe», que se refieren solamente al sec-
tor público, cuyos datos son más fáciles de extraer que los del sector privado. Ange-
la Hullmann, también de la Comisión Europea, explicó la base de datos que están cons-
truyendo para ayudar a detectar el sexo según el nombre propio del firmante de un
trabajo. Tienen 8.291 nombres en 6 idiomas. El problema es que sólo 1/3 de las re-
vistas primarias incluye el nombre propio del autor del trabajo. Las experiencias lati-
noamericanas fueron presentadas por Gisela Argenti, de SEGECYT de Uruguay, Ju-
dith Zubieta de México, Jane Russell de México y Daniela de Fillipo, de Argentina,
quienes debatieron la situación en sus países y propusieron una discusión más pro-
funda acerca de los indicadores que se deberían comenzar a utilizar para definir la si-
tuación discriminatoria de la mujer en la ciencia. Se demostró que cuando en un país
en vías de desarrollo el número de mujeres en instituciones públicas (universidades,
p.e.), supera al de hombres, es precisamente porque han bajado los salarios. Es decir,
es un indicador negativo de la situación del país.
Conclusiones del V Taller
Al finalizar el Taller, el coordinador de la RICYT, Mario Albornoz, presentó el
futuro de la misma, que, como siempre, está pendiente de la financiación que pueda
conseguir de las distintas instituciones que la patrocinan (CYTED, OEA, etc.). El co-
ordinador considera que, en este momento, esta red de indicadores ha madurado sufi-
cientemente como para convertirse, en un próximo futuro, en un observatorio de C y
T, respetando siempre su estructura en red entre todos los países latinoamericanos, con
el objetivo no sólo de generar indicadores, sino también de emplear éstos para estu-
dios de evaluación y prospectiva en los países miembros.
Para celebrar el próximo taller, en 2003, se presentaron las candidaturas de Pana-
má y República Dominicana, si bien el coordinador se mostró partidario de celebrar-
lo en España.
Rosa Sancho
MCYT. Madrid
458
Rev. Esp. Doc. Cient., 24, 4, 2001
I N T E R N E T
RECURSOS SOBRE PROPIEDAD INTELECTUAL
EN INTERNET
El concepto de propiedad intelectual, entendido en su sentido más amplio, englo-
baría todos los aspectos relacionados con los derechos que se obtienen de una crea-
ción, tanto en su forma original, como de sus posibles reproducciones y transforma-
ciones. En este trabajo se recopilan y analizan una serie de fuentes de información
accesibles en Internet sobre este tema. No obstante, la idea de propiedad intelectual
no coincide plenamente con la de propiedad industrial, que es mucho más compleja
debido a las cuestiones mercantiles y tecnológicas que implica cualquier creación in-
dustrial. En estas reseñas se podrán encontrar solamente webs orientados hacia los de-
rechos de autor: directorios de recursos, asociaciones que trabajan para la defensa y
aplicación de estos derechos, instituciones responsables o muy vinculadas oficialmen-
te con estos temas y recursos para la obtención de normas legales sobre propiedad in-
telectual.
Existen muchos más servidores en Internet que tratan de alguna forma estos as-
pectos. Muchos de ellos no han sido seleccionados por haberse considerado que ape-
nas aportaban información novedosa o interesante y otros fueron excluidos por estar
demasiado orientados hacia el derecho intelectual de un determinado país. Tampoco
se incluyen aquí los recursos procedentes de directorios temáticos, en los cuales se
puede encontrar información de cualquier disciplina, ni las páginas sobre propiedad
intelectual que aparecen en los servidores especializados en Derecho en general. Por
tanto, los webs analizados en estas páginas o bien son directorios de recursos relati-
vos a derecho de autor o bien pertenecen a instituciones que ofrecen información de
interés general. Por último, se han incluido sin comentarios las direcciones de las or-
ganizaciones que velan en España por la aplicación de la propiedad intelectual, ya sea
por obligación legal o para fines comerciales.
1 Directorios generales de recursos sobre propiedad intelectual
IP Menu: a global guide to intellectual propierty resources on the internet
Phillips Ormonde & Fitzpatrick
http://www.ipmenu.com
El gabinete de abogados Phillips Ormonde & Fitzpatrick, que opera en Australia
y Nueva Zelanda, está especializado en propiedad intelectual y es el responsable de
este excelente sitio web, que ellos difunden como el más completo de la red, tanto por
su estructura como por su contenido. Lo cierto es que no es habitual encontrarse con
webs tan aparentemente sencillos, pero tan bien ideados y tan útiles al mismo tiempo.
El directorio puede ser interrogado partiendo de un motor de búsqueda interno, aun-
que lo más acertado es emplear las categorías temáticas en las que distribuyen los en-
laces. El primero de estos bloques temáticos organiza los recursos por países, mante-
niendo para cada país una subdivisión similar: recursos gubernamentales, oficinas de
registro, patentes, etc. Al tratarse de un bufete de abogados, se le ha dado gran im-
portancia a aspectos industriales, por lo que varias de las secciones están dedicadas a
Rev. Esp. Doc. Cient., 24, 4, 2001
459
Internet
estos temas: patentes, marcas, diseño, empresas, tecnología, etc. Otros apartados están
relacionados con la propiedad intelectual e Internet, donde se tratan temas como los
nombres de dominio, asociaciones o software. De igual forma, se ha dedicado una se-
rie de subdirectorios a recursos especializados en algún tema relacionado con la pro-
piedad intelectual como la música o el diseño. La mayor parte de los recursos selec-
cionados en los distintos sectores de este directorio se encuentran comentados, lo cual
convierte a este servidor en un recurso telemático de gran valor.
Copyright resources on the Internet
Groton Public Schools
http://groton.k12.ct.us/mts/pt2a.htm
Formando parte del «Copyright Implementation Manual» se encuentra esta selec-
ción de recursos de Internet relacionados con el derecho de copia. El manual es un in-
tento de las Escuela Públicas Groton de recoger todo lo relacionado con el copyright
para su aplicación en esta institución. La selección de recursos se ha realizado de for-
ma cuidada y se ha estructurado de manera certera y bien organizada, aunque presen-
ta la objeción de que las páginas seleccionados son sobre todo de interés para el es-
tudio y la aplicación de los derechos de autor en Estados Unidos. Los recursos se
estructuran en una docena de apartados, entre los que se incluyen algunos como copy-
right y bibliotecas. También se recoge un bloque para los enlaces de interés general.
Se ha realizado un breve resumen indicativo del contenido y la utilidad de cada una
de las páginas recopiladas. Algunas de las secciones están centradas exclusivamente
en proyectos e iniciativas llevadas a cabo en Estados Unidos para la defensa del de-
recho de copia, como es el «Digital Millennium Copyright Act» o la «Conference on
Fair Use (CONFU)». A pesar de la orientación netamente vinculada a las circunstan-
cias y necesidades estadounidenses, este directorio es muy útil para la obtención de
recursos sobre derecho de copia en Internet.
460
Rev. Esp. Doc. Cient., 24, 4, 2001
Internet
Copyright and fair use
Stanford University Libraries
http://fairuse.stanford.edu
El servicio de bibliotecas de la Universidad de Stanford tiene un servidor dedica-
do exclusivamente al copyright, en el cual se pueden encontrar recursos locales, so-
bre todo del derecho estadounidense, pero también recursos de interés general. Esta
parte, que en el directorio aparece bajo el epígrafe «recursos en Internet», es quizá la
más útil para el usuario español, ya que aquí se recopilan informaciones sobre sitios
web del tema, listas de distribución, pautas para bibliotecas en relación al derecho de
autor y artículos relacionados con el contenido del servidor. Además de estas páginas
se incluyen enlaces a fuentes primarias, sobre todo de legislación de Estados Unidos
y webs de asociaciones y colectivos relacionados con la propiedad intelectual. En la
mayoría de los recursos que se ofrecen simplemente se da el enlace, sin explicación
alguna. La información de este servidor será especialmente útil para quien esté inte-
resado en conocer el derecho de copia en los Estados Unidos, aunque su valor decae
cuando se necesite localizar datos o legislación de otros países.
HSU library Copyright resources on the web
Humboldt State University Library
http://library.humboldt.edu/~ccm/copyrite.htm
Directorio de recursos sobre derecho de copia que se presenta en una única pági-
na estructurada en cuatro apartados: guías generales, música, permisos de copyright y
plagio. Los enlaces de cada bloque se disponen alfabéticamente, aportando únicamente
el título de la página y la dirección de la misma. En muy pocos casos se da además
información complementaria. Sin duda, se trata de un directorio de menor valor que
los anteriores, aunque puede ser útil ya que selecciona los servidores que destacan en
este campo. Otro aspecto que hace interesante esta página es que suele estar actuali-
zada, algo fundamental para cuando se trabaja con información relacionada con nor-
mas legales. Una vez más puede hacerse la crítica de que los enlaces recopilados es-
tán excesivamente centrados en la legislación y la normativa estadounidense.
Derechos de autor y propiedad intelectual
UNED - Cátedra Unesco de Educación a Distancia
http://www.uned.es/catedraunesco-ead/derechos_autor.htm
En esta página se recopila una serie de enlaces de todo tipo, con la característica
común de que todos ellos tienen alguna relación con la propiedad industrial o la inte-
lectual. Así, mezcla páginas explicativas acerca de qué es la propiedad intelectual, con
las principales de los servidores de organismos responsables o protectores de los de-
rechos de autor o con la legislación nacional, europea e internacional. Forma parte de
la colección de recursos elaborada por la cátedra de la Unesco coordinada por la Uni-
versidad Nacional de Educación a Distancia. En total se han seleccionado medio cen-
tenar de enlaces, de desigual valor informativo.
Rev. Esp. Doc. Cient., 24, 4, 2001
461
Internet
2 Organizaciones e instituciones relacionadas con la propiedad intelectual
World Intellectual Propierty Organization / Organización Mundial de la Pro-
piedad Intelectual
WIPO / OMPI
http://www.wipo.org
La Organización Mundial de la Propiedad Intelectual es uno de los organismos es-
pecializados de la ONU y en estos momentos están representados en esta institución
177 países. Entre sus funciones está la de velar por el cumplimiento de distintos tra-
tados firmados para el cumplimiento internacional de las leyes de propiedad intelec-
tual. Su servidor es un recurso de especial importancia para la obtención de informa-
ción sobre cualquier tema relacionado con la materia de esta organización. Es posible
trabajar en distintos idiomas: inglés, francés, español, árabe y ruso. Todas las páginas
se estructuran a partir de cuatro grandes apartados. En el primero se informa acerca
de la propia institución, en el segundo sobre qué es propiedad intelectual; en el terce-
ro se ofrecen los recursos de información y en el último se tratan las actividades y los
servicios de la OMPI. La sección de mayor interés en esta reseña es la destinada a re-
copilar las fuentes de información sobre propiedad intelectual. Además de las noticias
sobre los últimos documentos generados y de otros apartados de interés, en la sección
de Recursos se puede consultar la Biblioteca Digital de Propiedad Intelectual, la sec-
ción de Documentos y la Colección de Leyes Electrónicamente Accesible. Desde la
OMPI se da acceso a varias colecciones de datos sobre propiedad intelectual, entre los
que destaca la posibilidad de consultar en español, francés o inglés sus colecciones de
documentos y legislación: la base de datos CLEA, fuente de información fundamen-
tal para personas interesadas en las leyes de propiedad intelectual. Además de legis-
462
Rev. Esp. Doc. Cient., 24, 4, 2001
Internet
lación, esta base contiene tratados, información bibliográfica, textos extraídos de reu-
niones y documentos informativos en general. En el caso de España se pueden con-
sultar leyes relacionadas con propiedad, marcas, etc., así como jurisprudencia y docu-
mentos sobre derechos de autor o propiedad industrial. Otros servicios del web de esta
organización son su librería electrónica o el acceso a sus estadísticas.
Copyright / Derecho de autor
Unesco
http://www.unesco.org/culture/copyright/index.shtml
http://www.unesco.org/culture/copyright/html_sp/index_sp.shtml
La Unesco también asume competencias en relación con los derechos de autor y,
por este motivo, en su servidor pueden encontrarse informaciones de interés acerca de
este tema. Las direcciones que se apuntan al principio de este párrafo corresponden a
las páginas en inglés y en español, respectivamente. En estas líneas se comentará el
web en castellano, ya que se considera más interesante para los usuarios españoles.
Desde la página principal del sitio del derecho de autor se puede acudir directamente
a varios web interesantes, entre los que destaca la recopilación de leyes nacionales de
distintos países de todo el mundo. Otras páginas importantes son las dedicadas a do-
cumentos, como los textos de convenios y tratados firmados en torno a aspectos de la
propiedad intelectual. Está prevista también una página en la que se seleccionen re-
cursos de Internet sobre copyright y propiedad intelectual, pero en el momento de re-
dactar estas líneas aún no se encontraba operativa.
Propiedad Intelectual
MECD. Subdirección General de Propiedad Intelectual
http://www.mcu.es/Propiedad_Intelectual/indice.htm
A través de estas páginas, el Ministerio de Educación, Cultura y Deporte informa
de todo lo relativo a la propiedad intelectual en España. Más que enlaces o recursos
telemáticos lo que se puede encontrar en este servidor es información acerca de cómo
se articula este derecho en el estado español. En primer lugar se comenta la Ley de
Propiedad Intelectual, ofreciéndose un enlace para su descarga. De igual forma se dan
los datos de dónde se puede registrar una obra en las distintas provincias españolas.
Otro apartado del web está dedicado a las sociedades de gestión de derechos, qué son
y cómo es posible localizarlas. Completa este sitio la normativa estatal y la informa-
ción sobre órganos oficiales nacionales e internacionales vinculados a la propiedad in-
telectual. Desde la página principal de este web se puede consultar un directorio de
las organizaciones comentadas en los apartados anteriores, incluyendo un enlace a sus
servidores, siempre que éstos existan. Este sitio web es importante para conocer el
funcionamiento del derecho de autor en España, a pesar de que apenas aporte enlaces
externos.
Rev. Esp. Doc. Cient., 24, 4, 2001
463
Internet
Instituto de Derecho Industrial (IDIUS)
Universidad de Santiago de Compostela
http://www.usc.es/idius
El IDIUS está integrado en la Universidad de Santiago de Compostela y entre sus
objetivos está “la promoción, impulso y desarrollo del conocimiento, investigación y
difusión del Derecho de la Competencia, Propiedad Industrial e Intelectual”. Por tan-
to, sus actividades están encaminadas en este sentido, sobre todo desde un punto de
vista formativo. En su web hay una serie de apartados de interés, entre los que desta-
can el destinado a recopilar y poner en línea la información legal y aquél en el que
se seleccionan los recursos de Internet relacionados con los temas de investigación de
este instituto universitario. En la sección de los textos legales se pueden encontrar so-
bre todo normas nacionales, aunque también las principales europeas e internaciona-
les. En primer lugar se dan los textos de leyes españolas como la de patentes, marcas,
competencia, propiedad intelectual y similares. A continuación, se organizan las nor-
mativas a partir de una breve clasificación temática, con un bloque dedicado a los de-
rechos de autor. Desde la sección de recursos de internet se pueden localizar oficinas
de propiedad intelectual de todo el mundo, así como los servidores de organizaciones
e instituciones educativas y de investigación, oficinas de la competencia o revistas re-
lacionadas con la propiedad industrial e intelectual.
Grupo BPI: Bibliotecas y Propiedad Intelectual
FESABID
http://www.fesabid.org/federacion/gtrabajo.htm
El grupo de trabajo de Bibliotecas y Propiedad Intelectual es el único de los que
componen FESABID que está usando el servidor de esta federación para difundir sus
trabajos y los recursos telemáticos relacionados con su ámbito de estudio. Desde es-
tas páginas es posible conocer la actividad del grupo, consultar sus memorias de los
últimos años o descargar los documentos generados por esta sección de FESABID.
Además de la información acerca de la actividad propia, también se facilitan una se-
rie de enlaces a legislación relacionada de España, así como directivas comunitarias o
tratados internacionales. Este grupo está integrado en EBLIDA, por lo que no es de
extrañar que algunos enlaces estén dirigidos a esta asociación europea, que está muy
implicada en aspectos de copyright, en especial en lo que afecta a las bibliotecas.
European Copyright User Platform (ECUP)
EBLIDA
http://www.eblida.org/ecup/
Apoyado por EBLIDA, organización que coordina distintas iniciativas biblioteca-
rias europeas, ECUP pretende ofrecer información a los profesionales de las bibliote-
cas de Europa sobre el copyright, así como estudiar sus implicaciones en los entornos
electrónicos. En este sitio web, como es lógico, se informa de la historia, objetivos y
actividades de esta iniciativa europea. De igual forma se ponen a disposición de cual-
464
Rev. Esp. Doc. Cient., 24, 4, 2001
Internet
quier usuario de Internet los documentos generados por ECUP, así como información
bibliográfica de sus publicaciones. Otro de los apartados de este servidor es el relati-
vo a la legislación sobre derechos de autor, que se ofrece comenzando por los trata-
dos internacionales, siguiendo por las directivas comunitarias y acabando con enlaces
a las normativas nacionales, primero de los países de la Unión Europea y de otros es-
tados a continuación. ECUP mantiene una lista de distribución, de la cual se ofrecen
en este servidor los datos necesarios para conocer su orientación y para suscribirse a
la misma.
Association Internationale pour la Protection de la Propriété Intellectuelle
http://www.aippi.org
Asociación Internacional para la Protección de la Propiedad Industrial. Gru-
po Español
http://www.aippi.es
La AIPPI es una entidad privada dedicada a velar por el cumplimiento de los de-
rechos intelectuales, sobre todo los relativos a empresas. Existe una sección española
de esta institución, cuya dirección de Internet se ha dispuesto tras la URL del servi-
dor internacional. Toda la actividad de esta entidad, tanto de forma internacional como
nacional, puede ser consultada en sus páginas web, que están centradas de forma muy
evidente hacia la difusión de sus eventos y documentos. De relevante interés son las
ponencias presentadas en los distintos congresos de la asociación, las cuales pueden
ser consultadas a texto completo. Como no podía ser menos, también se dispone de
una página de enlaces, aunque el número de recursos seleccionados es más bien es-
caso, tanto en el servidor internacional como en el del grupo español.
Rev. Esp. Doc. Cient., 24, 4, 2001
465
Internet
Propiedad Intelectual
Unión Europea
http://europa.eu.int/business/es/topics/ipr/index.html
La normativa europea sobre derecho de copia y propiedad intelectual puede ser
consultada en distintas partes de su servidor; no obstante, desde la dirección que se ha
seleccionado en esta reseña se puede comprender de forma rápida cómo se articulan
estos derechos en la Unión Europea. En principio estas páginas están planteadas para
que los empresarios de los distintos estados miembros conozcan el funcionamiento de
la propiedad intelectual, tanto en el conjunto de la Unión como en cada uno de los
países que la integran. En esta página existe un enlace denominado “Visión general”,
que envía a una serie de informaciones bien estructuradas sobre propiedad intelectual:
derechos de autor y derechos afines, invenciones, marcas, diseños, piratería, etc. En
cada apartado se vuelve a dar una serie de enlaces desde los que se explicará cómo
actúa o cómo ha legislado la Unión Europea en cada aspecto relacionado con la pro-
piedad intelectual.
Intellectual Property Rights
Sistema de Información de Comercio Exterior (SICE)
http://www.sice.oas.org/Welcomes.asp
El SICE es un organismo dependiente de la Organización de Estados Americanos.
Su servidor, que puede ser consultado en español, francés, inglés y portugués, está de-
dicado a cuestiones relacionadas con el comercio exterior, entre las que se incluye la
propiedad intelectual. A pesar de que su ámbito de actuación es el continente ameri-
cano, también es útil para obtener información de otras zonas geográficas. Aparte de
información puramente comercial, tiene tres secciones relacionadas con la propiedad
intelectual: legislación nacional, directorio de autoridades en materia de propiedad in-
telectual y enlaces a los sitios web de estas entidades.
International Intellectual Property Institute
IIPI
http://www.iipi.org
El Instituto Internacional de la Propiedad Intelectual fue creado en 1998 y su ob-
jetivo es el desarrollo de actividades relacionadas con la propiedad intelectual: publi-
caciones, seminarios, conferencias, etc. En sus páginas se informa acerca de los pro-
yectos que en estos momentos está realizando, así como de sus actividades. Otras
secciones del servidor están destinadas a albergar sus documentos, que representan,
sobre todo, los puntos de vista de la organización sobre determinados temas, siempre
relacionados con la propiedad intelectual, en sentido amplio. Las páginas web del IIPI
también tienen una selección de enlaces, en donde se recogen con especial atención
las direcciones de los servidores de organizaciones e instituciones de carácter similar.
Este servidor puede ser consultado en inglés, francés, español y portugués.
466
Rev. Esp. Doc. Cient., 24, 4, 2001
Internet
3 Entidades españolas relacionadas con la protección de los derechos de autor
Existen varias entidades en España creadas en torno a los derechos de copia y de
autor. En algunos casos se trata de organismos oficiales a los cuales se les ha dado la
responsabilidad de velar por el cumplimiento de la legislación española de propiedad
industrial e intelectual. Tal es el caso de la Oficina de Patentes y Marcas y del Re-
gistro de la Propiedad Intelectual. De igual forma a lo largo de estos últimos años, han
ido apareciendo sociedades de gestión de los derechos de autor, que se unen a la tra-
dicional Sociedad General de Autores y Editores y que agrupan a los autores para de-
fender en su nombre los derechos correspondientes a los mismos, así como para co-
brar y dividir posteriormente los beneficios derivados de sus creaciones. Todos los
webs de las instituciones que a continuación se relacionan son similares, ya que se li-
mitan a ofrece información sobre las propias organizaciones. Por este motivo, se ha
preferido ofrecer únicamente un listado de estas instituciones, informando de la di-
rección del servidor principal de las mismas. Cualquier dato sobre sus actividades,
miembros y publicaciones podrá ser consultado en cada uno de los webs siguientes.
— Agencia de Protección de Datos https://www.agenciaprotecciondatos.org
— Artistas Intérpretes o Ejecutantes, Sociedad de Gestión de España (AIE).
http://www.aie.es
— Artistas Intérpretes, Sociedad de Gestión (AISGE) http://www.aigse.es
— Asociacion Española de Derechos de la Propiedad Intelectual
http://www.aedpi.com
— Centro Español de Derechos Reprográficos (CEDRO) http://www.cedro.org
— Entidad de Gestión de Derechos de los Productores Audiovisuales (EGE-
DA) http://www.egeda.es
— Oficina Española de Patentes y Marcas http://www.oepm.es
— Registro General de la Propiedad Intelectual http://www.mcu.es/Propie-
dad_Intelectual/02_regi_0.htm
— Sociedad General de Autores y Editores (SGAE) http://www.sgae.es
— Visual, Entidad de Gestión de Artistas Plásticos (VEGAP) http://www.ve-
gap.es
Ángela Sorli Rojo (CSIC, CINDOC)
José Antonio Merlo Vega (Universidad de Salamanca)
Rev. Esp. Doc. Cient., 24, 4, 2001
467
CRÍTICA DE LIBROS
STATISTICAL METHODS FOR THE INFORMATION
PROFESSIONAL.
A practical, painless approach to understanding, using,
and interpreting statistics.
Liwen Vaughan
ASIST Monograph Series. Publicada por Information Today, Inc. 2001
Se trata de una monografía escrita por Liwen Vaughan, doctora en Ciencias de la
Información y Bibliotecas por la Universidad de Western Ontario. Ha sido profesora
de estadística durante 10 años, por lo que conoce muy bien las dificultades que en-
traña esta disciplina para los alumnos de Ciencias de la Información, los cuales sue-
len adolecer de una formación matemática bastante deficiente.
La autora explica claramente los métodos estadísticos usados en la investigación
en Ciencias de la Información. Presenta siempre ejemplos sobre casos estadísticos apli-
cados al campo de las bibliotecas y la documentación. Incluye figuras y tablas muy
explicativas y de fácil comprensión y una amplia bibliografía.
Se enfoca el libro a entender la lógica y el sentido de los métodos estadísticos, sin
incidir demasiado en las fórmulas matemáticas que son, a veces, más bien un obstá-
culo para entenderlos. De tal manera que se disculpa con frecuencia, a lo largo de los
capítulos, por emplear fórmulas que pueden ser confusas, pero enseguida anima al lec-
tor al asegurar que no se debe preocupar porque el concepto lo entenderá, de inme-
diato, siguiendo la lectura.
Se centra en el significado de las estadísticas, y en cuándo y cómo se deben apli-
car, presentando claramente la forma de aplicarlas y de interpretar los resultados del
análisis estadístico.
La principal idea que trata de lanzar en el libro es que siempre es más importan-
te usar el razonamiento lógico que la deducción matemática para explicar los concep-
tos estadísticos.
También sostiene que la mayoría de los análisis estadísticos son muy sencillos y
no se requieren matemáticas avanzadas para entenderlos. Así, al contrario que en la
mayoría de los libros de estadísticas en los que se ofrecen infinidad de páginas de
ecuaciones y explicaciones matemáticas, que oscurecen la simplicidad de la lógica, en
este libro no se ven muchas ecuaciones, y las que aparecen están muy bien explica-
das.
La autora expone siempre aplicaciones reales de los métodos estadísticos, permi-
tiendo al lector comprobar cómo las estadísticas son una herramienta poderosa y re-
levante en la vida real, más que una confusa y difícil rama de las matemáticas, sólo
al alcance de los más avezados.
Trata también de que el lector confíe en la utilización de los distintos y variados
programas de ordenador que existen para hacer los cálculos matemáticos que son, a
veces, difíciles de entender. En esto se diferencia también de otros libros de esta dis-
ciplina, en los que se dedica una buena parte de sus capítulos a explicar cómo llevar
a cabo los cálculos, cuando, en definitiva, nadie hace hoy día esos cálculos a mano,
ya que resulta un trabajo bastante duro y tedioso.
Las personas que tienen un bajo nivel en matemáticas suelen ver con miedo y pre-
Rev. Esp. Doc. Cient., 24, 4, 2001
469
Crítica de libros
vención los métodos y cálculos estadísticos. Sin embargo, la agradable sorpresa des-
pués de leer el libro, es comprobar que se entienden las estadísticas “sin dolor”, y que
un tema considerado a veces misterioso y ajeno, resulta ciertamente atractivo. De ahí
el subtítulo de este libro.
En resumen, se trata de una lectura muy recomendable para los profesionales de
la documentación, porque logra romper el mito de que las estadísticas son difíciles de
entender para los no matemáticos.
Rosa Sancho
Ministerio de Ciencia y Tecnología
PROCESAMIENTO DE LA INFORMACIÓN CIENTÍFICA.
Wilfrid Lancaster y María Pinto, coords.
Madrid: Arco Libros, 2001. Colección Instrumenta Bibliológica. 279 pgs.
ISBN: 84-7635-485-1
A modo de colofón del presente año, se publica por la editorial Arco una intere-
sante y útil obra colectiva que retoma con aires renovados los diferentes procesos que
afectan a la información científica y que, como plantean sus autores, apuesta por el
procesamiento integrado de la misma. La obra, prologada por la catedrática de la Uni-
versidad de Buenos Aires Elsa Barber, se estructura en once capítulos agrupados en
cuatro apartados que analizan de forma gradual los procesos de modelización, proce-
samiento, recuperación y evaluación de la información científica.
La primera parte titulada Conocimiento, Documento e Información Científica ofre-
ce una interesante puesta al día de conceptos relativos a la generación, edición y co-
municación científica, que se complementa con originales reflexiones y adaptaciones
a nuevos contextos. El primer capítulo de Bruno Maltás revisa el concepto de ciencia,
ofreciendo una nueva definición e imagen del mismo desde una perspectiva más en-
riquecedora, a la vez que analiza la vinculación entre los resultados científicos y los
documentos científicos. El segundo capítulo de María Pinto, está dedicado a la mo-
delización del documento científico. Es interesante la propuesta sobre la necesidad de
la optimización de los procesos de creación y estructuración del documento científico
con vistas a garantizar su posterior procesamiento, recuperación y difusión. La autora
nos introduce en la nueva filosofía hiperdocumental surgida a la sombra de las nue-
vas estructuras hipertextuales cada día más en boga. El tercer y último capítulo de esta
parte, escrito por José Antonio Cordón, permite al lector un más profundo conoci-
miento de la edición científico-técnica, aportando datos significativos sobre este par-
ticular en España.
La segunda parte, que corre a cargo de María Pinto y Wilfrid Lancaster, titulada
Procesamiento y representación de la información científica, analiza en el capítulo
cuarto las bases para el procesamiento de la información, esto es, las formas, los sis-
temas de representación de la información, paradigmas y modelos que permiten la re-
presentación exhaustiva y exacta de los contenidos científicos. Su autora resalta la im-
portancia del usuario como guía para el procesamiento de la información, y cómo dicho
proceso debe ser cada vez más flexible atendiendo a la individualidad de cada situa-
470
Rev. Esp. Doc. Cient., 24, 4, 2001
Crítica de libros
vención los métodos y cálculos estadísticos. Sin embargo, la agradable sorpresa des-
pués de leer el libro, es comprobar que se entienden las estadísticas “sin dolor”, y que
un tema considerado a veces misterioso y ajeno, resulta ciertamente atractivo. De ahí
el subtítulo de este libro.
En resumen, se trata de una lectura muy recomendable para los profesionales de
la documentación, porque logra romper el mito de que las estadísticas son difíciles de
entender para los no matemáticos.
Rosa Sancho
Ministerio de Ciencia y Tecnología
PROCESAMIENTO DE LA INFORMACIÓN CIENTÍFICA.
Wilfrid Lancaster y María Pinto, coords.
Madrid: Arco Libros, 2001. Colección Instrumenta Bibliológica. 279 pgs.
ISBN: 84-7635-485-1
A modo de colofón del presente año, se publica por la editorial Arco una intere-
sante y útil obra colectiva que retoma con aires renovados los diferentes procesos que
afectan a la información científica y que, como plantean sus autores, apuesta por el
procesamiento integrado de la misma. La obra, prologada por la catedrática de la Uni-
versidad de Buenos Aires Elsa Barber, se estructura en once capítulos agrupados en
cuatro apartados que analizan de forma gradual los procesos de modelización, proce-
samiento, recuperación y evaluación de la información científica.
La primera parte titulada Conocimiento, Documento e Información Científica ofre-
ce una interesante puesta al día de conceptos relativos a la generación, edición y co-
municación científica, que se complementa con originales reflexiones y adaptaciones
a nuevos contextos. El primer capítulo de Bruno Maltás revisa el concepto de ciencia,
ofreciendo una nueva definición e imagen del mismo desde una perspectiva más en-
riquecedora, a la vez que analiza la vinculación entre los resultados científicos y los
documentos científicos. El segundo capítulo de María Pinto, está dedicado a la mo-
delización del documento científico. Es interesante la propuesta sobre la necesidad de
la optimización de los procesos de creación y estructuración del documento científico
con vistas a garantizar su posterior procesamiento, recuperación y difusión. La autora
nos introduce en la nueva filosofía hiperdocumental surgida a la sombra de las nue-
vas estructuras hipertextuales cada día más en boga. El tercer y último capítulo de esta
parte, escrito por José Antonio Cordón, permite al lector un más profundo conoci-
miento de la edición científico-técnica, aportando datos significativos sobre este par-
ticular en España.
La segunda parte, que corre a cargo de María Pinto y Wilfrid Lancaster, titulada
Procesamiento y representación de la información científica, analiza en el capítulo
cuarto las bases para el procesamiento de la información, esto es, las formas, los sis-
temas de representación de la información, paradigmas y modelos que permiten la re-
presentación exhaustiva y exacta de los contenidos científicos. Su autora resalta la im-
portancia del usuario como guía para el procesamiento de la información, y cómo dicho
proceso debe ser cada vez más flexible atendiendo a la individualidad de cada situa-
470
Rev. Esp. Doc. Cient., 24, 4, 2001
Crítica de libros
ción. Los capítulos quinto, sexto y séptimo abordan de forma profusa los procesos de
creación de resúmenes, de indización y de elaboración y mantenimiento de tesauros.
Esta información se complementa con la aportación de los nuevos métodos de trata-
miento automático de la información.
Recuperación de la información científica es el título del tercer apartado. Esta par-
te tiene una visión dual sobre el tema. Mientras el capítulo octavo, de Alejandro de la
Cueva, nos brinda la posibilidad de informarnos sobre los métodos más tradicionales
de recuperación de la información, Lancaster, en el siguiente capítulo, se ocupa de los
sistemas más avanzados.
Como punto final y siguiendo con la lógica esquemática del libro, el último apar-
tado de Evaluación y calidad, desarrollado en sendos capítulos por Cristóbal Pasadas
y María Pinto, nos introduce en los novedosos conceptos relacionados con la evalua-
ción y el análisis de la calidad tanto de los servicios de información científica como
de la representación documental.
La obra destaca por varios aspectos. En primer lugar por su riqueza paradigmati-
ca dada la procedencia multidisciplinar de sus autores. En segundo, por la enrique-
cedora actualización de los contenidos, sin menosprecio de los conceptos más clási-
cos y tradicionales del tema. En tercer lugar, por la adecuada articulación de las
diferentes aportaciones de sus autores, reflejo de una obra madura fruto de la refle-
xión y el esfuerzo. En cuarto lugar, por la sencillez y claridad de las ideas que, apo-
yadas por ilustraciones, facilita la lectura y comprensión de los conceptos. A estos ar-
gumentos es necesario añadir que el indudable prestigio y reconocimiento de sus
coordinadores y autores hacen de esta obra un necesario referente en nuestro ámbito.
Viviana Fernández Marcial
Universidad San Pablo-CEU
Rev. Esp. Doc. Cient., 24, 4, 2001
471
SECCIÓN BIBLIOGRÁFICA
Rev. Esp. Doc. Cient., 24, 4, 2001
473
Sección bibliográfica
474
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
475
Sección bibliográfica
476
Rev. Esp. Doc. Cient., 24, 4, 2001
Rev. Esp. Doc. Cient., 24, 4, 2001
477
Sección bibliográfica
478
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
479
Sección bibliográfica
480
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
481
Sección bibliográfica
482
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
483
Sección bibliográfica
484
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
485
Sección bibliográfica
486
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
487
Sección bibliográfica
488
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
489
Sección bibliográfica
490
Rev. Esp. Doc. Cient., 24, 4, 2001
Sección bibliográfica
Rev. Esp. Doc. Cient., 24, 4, 2001
491
Sección bibliográfica
492
Rev. Esp. Doc. Cient., 24, 4, 2001
Document Outline
- Tabla de Contenido.pdf
- 67-345-1-PB.pdf
- 68-348-1-PB.pdf
- 69-351-1-PB.pdf
- 70-354-1-PB.pdf
- 71-357-1-PB.pdf
- 72-360-1-PB.pdf
- 73-363-1-PB.pdf
- 74-366-1-PB.pdf
- 75-369-1-PB.pdf
- 76-384-1-PB.pdf
- 77-387-1-PB.pdf
- Bibliografía.pdf