Críticas al mundo de la ciencia. Parte I

Dice un amigo mío que la relación entre un científico y la ciencia es la única relación de amor que puede alimentarse con la crítica. Hoy quiero criticar al mundo de la ciencia, mundo al cual pertenezco y amo profundamente. Quiero avisar al lector de que estas palabras no están dirigidas contra la ciencia, y también aclararé que no soy un filósofo ni un entendido en la materia. Esta crítica está construida sobre mis ideas personales, mi experiencia y lo que he podido ver en mis pocos años como científico.

En la ciencia hay corrupción e hipocresía. No me refiero a una corrupción económica ni estructural, ni tampoco a fraudes científicos. Ese tipo de corrupción (que puede existir) es la que menos me preocupa, ya que cuando es descubierta (los fraudes científicos duran poco tiempo) sus responsables lo pierden todo. Me refiero a otro tipo de corrupción más básica. Según la RAE, corrupción es el acto de corromper, y corromper es alterar y trastrocar la forma de algo. También se dice que la ciencia es un conjunto de conocimientos obtenidos mediante la observación y el razonamiento para deducir principios generales. Vale, si nos ceñimos a ese concepto de ciencia no hay corrupción, pero me refiero al mundo que la envuelve, a los científicos y su forma de hacer ciencia. Eso es de lo que quiero hablar hoy, pero para llegar a ese punto antes tendré que explicar algunas cosas.

Los rankings de universidades

El mundo científico se mueve, muchas veces, por el prestigio acumulado. Esto es bastante curioso ya que la ciencia rechaza teóricamente los argumentos de autoridad, y se fija más en qué se está diciendo que en quién lo está diciendo. Está claro que es inherente a la condición humana fiarnos más de unas instituciones que de otras, pero esa línea, en ciencia, es difícil de determinar. Pongamos un ejemplo, ¿qué criterio aplicamos para otorgar más confianza a una universidad que a otra?

Hay universidades que, por así decirlo, tienen más prestigio que otras. Repasemos uno de los mecanismos que más reconocimiento otorga a las universidades, los rankings. La clasificación de Shanghai se trata de un ranking que dice ordenar las universidades del mundo entero según criterios académicos objetivos. Pero, ¿es una clasificación realmente válida para medir la calidad?

Que un experimento sea objetivo no quiere decir que sus conclusiones sean válidas, tal cual mostró Stephen Jay Gould en su libro La falsa medida del hombre. Gould criticaba, entre otras cosas, los test de Coeficiente Intelectual (CI). Poner un número para medir una capacidad multifactorial suele ser algo totalmente subjetivo si no se conoce bien qué factores están implicados, y hasta donde he podido averiguar inteligencia y calidad son dos términos bastante discutidos.

Os he contado el ejemplo de los CI porque medir la calidad de una universidad es algo tremendamente complejo, a muchos niveles igual de complicado que medir la inteligencia. ¿Se tiene en cuenta esa complejidad cuando se habla de ordenar de “mejor a peor” las universidades? Analicemos esa cuestión.

En los últimos años la Clasificación de Universidades de Shanghai se ha convertido en una de las más usadas, y sin ir más lejos las universidades sienten una elevada presión cada vez que salen los nuevos rankings. A su vez esa preocupación siempre tiene una elevada repercusión en los periódicos. Por ejemplo Estados Unidos está muy orgulloso de tener 16 universidades entre las veinte mejores. Reino Unido y Suiza también tienen representantes en todo lo alto. Pero Japón, solo por un puesto, no ha logrado entrar entre los veinte primeros. Una pena [1]. Pero veamos cómo se hace esta clasificación. Si buscamos un poco podemos encontrar varias fuentes que explican de qué manera se hace el ranking. Uno de los mejores que he encontrado es un texto de Arturo Quirantes [2], así que me serviré de sus datos y opiniones, los cuales explicaré e interpretaré más adelante:

A) 10% de la puntuación: Se valora haber tenido un ganador del Premio Nobel o de la Medalla Fields entre los antiguos alumnos.

B) 20% de la puntuación: Se valora tener algún ganador del premio Nobel o la Medalla Fields trabajando en la universidad.

C) 20% de la puntuación: Aquí se puntúa en función de la cantidad de artículos publicados en revistas indexadas en el Instituto para la Información Científica (ISI)

D) 20% de la nota: Se puntúa en función de la cantidad de investigadores con artículos que tengan gran número de citas

E) 20% de la nota: Se valora este apartado en función del número de artículos publicados en Scienceo Nature

F) 10% de la nota: Se valora el tamaño de la universidad.

Si analizamos todos los puntos expuestos lo primero que llama la atención es que en este índice no importa la docencia. Es decir, para medir la calidad de una universidad no importa la calidad docente, la diversidad de estudios ofrecidos ni la calidad del material universitario. Esto es bastante curioso ya que estamos valorando a una universidad, y uno de sus principales cometidos es enseñar.

Si seguimos analizando estos criterios vemos que el papel de los Nobel o la Medalla Fields está bastante sobredimensionado en los puntos A) y B), ya que no se tienen en cuenta otros galardones para otros campos del conocimiento. De hecho, incluso solo teniendo en cuenta esos dos premios se cometen sesgos importantes. Si nos fijamos en los criterios, la puntuación recibida por tener un premiado con el Nobel disminuye con el tiempo. Es decir, un ganador del año 1990 vale menos que uno del 2000. Es como si el valor del premio se fuera amortizando con el paso del tiempo, pero, ¿por qué descartar que la calidad investigadora mejora con el tiempo al atraer investigadores con mejores currículums?

Siguiendo con el papel del premio Nobel, sería interesante indicar que son unos premios sesgados a ciertos campos del conocimiento, ¿qué tendría que hacer un liquenólogo o un escritor de ciencia ficción para ganar dicho galardón? Muchos campos del conocimiento tienen serias dificultades para acceder al premio, es decir, hay muchos campos del conocimiento en los que una universidad podría destacar y no tenerse en cuenta.

Por otro lado es bastante gracioso ver cómo, en un intento de parecer objetivos, los que diseñaron el ranking cometieron errores obvios. Por ejemplo, los Nobel no solo se devalúan con el paso del tiempo tal cual indicamos antes, sino que valen menos si han obtenido el premio junto a otra persona, cosa que ocurre en los premios Nobel de ciencia pero no en los de literatura, donde el premio se otorga a una única persona. Por poner un ejemplo, Peter Higgs, el físico teórico que ha revolucionado la física de una manera indescriptible gracias a su bosón, puntuaría menos para Inglaterra que el escritor Harold Pinter, que ganó el Nobel de literatura en solitario. Por no hablar de los matemáticos, que ganan su Medalla Fields cada cuatro años y no puntúan más, ya que habrá menos galardonados con la medalla Fields que con el Nobel de medicina

Si continuamos analizando este ranking podemos deducir que una gran parte de la nota recae en el dinero que uno pueda invertir en hacer fichajes. Un ejemplo extremo sería el de dos universidades saudíes, la Rey Abdulaziz y la Rey Saud. En el año 2011 la Universidad Rey Abdulaziz no aparecía en el ranking de Shanghai y la Rey Saud tenía un puesto bajísimo, pero ahora ambas están entre las 200 mejores del mundo, ¿cómo lo han conseguido? Pagando. Han ofrecido a muchos investigadores de prestigio un contrato de profesor adjunto, el cual solamente requiere estar allí dos semanas al año [3]. Ojo, y este tipo de sesgos y corrupciones voluntarias ocurren en el índice más importante de la actualidad para medir calidad universitaria.

Vale, los premios Nobel pesan mucho, ¿pero en qué se va el resto de la puntuación? El 20% se va en el apartado C), es decir, artículos publicados en revistas indexadas. Para puntuar en el ranking se tienen en cuenta los artículos publicados el año anterior. Este apartado también presenta problemas obvios, por ejemplo el hecho de que el número de artículos publicados en revistas no refleja que estos sean de calidad ni importantes, sencillamente hay temas donde se publica más a menudo que en otros.

Si continuamos viendo las variables que se tienen en cuenta llegaremos al apartado D), es decir, un 20% de la nota recae en tener investigadores con artículos que tengan un gran número de citas. Ver el número de veces que alguien cita un artículo en trabajos externos se utiliza, muchas veces, para identificar los artículos de mayor relevancia dentro de la comunidad científica. No obstante, suponer que los investigadores más relevantes son los más citados significa no comprender bien cómo funciona la investigación científica. Si mañana un cosmólogo hace un descubrimiento relevante sobre las estrellas enanas blancas, posiblemente tendrá menos citas que alguien que haga una réplica de un experimento sobre un nuevo fármaco contra el cáncer de colon. ¿Cuál es el motivo?, que hay más gente trabajando en la bioquímica del cáncer que en las enanas blancas. Es decir, este criterio no sirve para comparar la relevancia entre diferentes campos del conocimiento, ya que el número de artículos publicados en diferentes temáticas difiere demasiado. Finalmente se termina confundiendo relevancia con citación, lo cual no siempre es cierto.

Si avanzamos un poco más por el intricado mundo del Índice Shanghai, veremos que en el apartado E) el número de artículos publicados en Science o Nature puntúan un 20%. Este es el criterio más indignante para mí. Nadie podrá negar que Science y Nature son dos de las publicaciones científicas más conocidas dentro del mundo de la ciencia. Pero Science y Nature no abarcan por igual todos los campos del conocimiento, es más, hay muchos temas que quedan totalmente excluidos. Por otro lado, las demás publicaciones científicas relevantes en el resto de campos del conocimiento no tienen ningún valor aquí. Si tu universidad ha publicado veinte artículos en la mejor revista del mundo sobre biología molecular de hongos, 30 artículos en la tercera revista más conocida del planeta, y 300 en revistas especializadas de elevado prestigio en su campo, otra universidad con un solo artículo en Science puntuaría más que tú en este apartado. Además, si el artículo publicado tiene muchos firmantes la puntuación es peor, cosa que hace que campos donde las colaboraciones son gigantescas (como por ejemplo la física de partículas) tengan poca puntuación a pesar de ser de tremenda relevancia. Por último, hay un efecto curioso en las publicaciones como Science o Nature, y es que, como comentaremos más adelante, si tu universidad tiene prestigio eso ayuda a que publiques en ambas revistas, y a su vez eso hace que tengas más prestigio. Es decir, se genera un bucle difícil de romper y que, tristemente, no es sinónimo de calidad.

Si habéis sumado todo lo anterior veréis que solo tenemos un 90%. ¿Dónde está el otro 10%? En el apartado F); el tamaño de la universidad. El criterio de Shanghai le da importancia al tamaño, siendo las universidades más pequeñas las mejor puntuadas. Suponer que una universidad es de mejor calidad si es más pequeña es una especulación con poco o ningún fundamento.

Ahora es cuando recapacito sobre todo lo anterior. Los científicos tendemos a hablar de la pureza de la ciencia, de su valor como herramienta, de su mecanismo de autocorrección, del valor social de la misma y de una serie de cosas que son muy bonitas y en las cuales creo con todo mi corazón. Pero, a pesar de ello, no puedo dejar de sentir dolor al ver la hipocresía de saber cómo se hacen los rankings y, al mismo tiempo, ver cómo se agarran a ellos las universidades y la gran mayoría de científicos para decidir quién es mejor que quién. El índice Sanghai (y todos los que he consultado) no son mucho mejores que los test CI usados para medir la inteligencia racial que criticó Stephen Jay Gould. Y sin embargo estos rankings reciben mucho crédito por parte de los mismos científicos que saben que medir la calidad de una universidad va mucho más allá.

Algunos argumentarán que medir parcialmente algo es mejor que no medirlo, pero yo opino lo contrario. Si yo me mido la longitud de la pierna y, al ver que es larga, llego a la conclusión de que puedo ser un buen saltador de pértiga, posiblemente me estaré equivocando en las conclusiones. Una mala medición puede llevarnos a conclusiones equivocadas, o lo que es peor, a maneras equivocadas de hacer las cosas: si para conseguir calidad lo que hace falta es puntuar alto en el índice Shangai, entonces, ¿por qué no seguir la estrategia de las universidades de Arabia Saudí?

Las revistas científicas

Gracias a Arturo Quirantes hemos hablado durante un buen rato de rankings de universidades, pero ahora quiero hablaros de revistas científicas. Una de las formas de medir si un investigador es de “mejor calidad” es medir el número de publicaciones que tiene en revistas de alto impacto. Pero, ¿cómo se mide el impacto de una revista?

El factor de impacto es calculado cada año por el Instituto para la Información Científica (ISI) para todas las publicaciones que tiene registradas. Estas son publicadas anualmente en un informe de citas que recibe el nombre de Journal Citation Reports. Este factor tiene una gran importancia en el mundo de la ciencia, y mi experiencia dentro de diferentes departamentos y a través de diversos investigadores es que, en muchas universidades de todo el mundo, la única obsesión es publicar artículos en revistas con un índice de impacto elevado. Para calcular este factor se tienen en cuenta datos obtenidos en dos años diferentes, pondremos un ejemplo para el índice de impacto del año 2013:

Y= Número de veces en las cuales algún artículo publicado en la revista analizada en el periodo 2011/2012 ha sido citado por otra revista en el año 2013

X= Número de artículos que se han publicado en la revista en el periodo 2011/2012.

El factor de impacto para el año 2013 se mediría haciendo el cociente entre Y y X, es decir:

Factor de Impacto 2013 para una revista = Y / X

Hay algunos tipos de artículos que se excluyen del cálculo, pero a grandes rasgos se puede resumir tal cual lo he expresado.

Unas vez más vemos que, en principio, parece un mecanismo objetivo. Pero recordemos lo que dijimos antes; que sea objetivo no quiere decir que esté bien hecho. Podemos calcular todos los índices que queramos, pero el problema es intentar asociarlos con la calidad de lo que se publica. Aquí es donde deberíamos hacernos preguntas, ¿el número de citas mide la calidad de las publicaciones? No se puede afirmar que el número de citas que tiene un trabajo mida la calidad del mismo, lo cual también es extrapolable a la revista. Además, el factor de impacto se calcula sobre la revista y no sobre el artículo, así que si como editor publicas más artículos tu revista tendrá más citas, por lo que tu índice de impacto subirá. Muchas revistas apuestan por artículos breves para tener más espacio para más artículos, y en el caso de que el investigador quiera ofrecer más datos debe hacerlo, en muchas ocasiones, en otra revista que a pesar de tener artículos más completos puntuará menos.

Por otro lado, una revista A que publique artículos que se citen igual que los de otra revista B, tendrá un índice de impacto mayor si publica más artículos. Es decir, el mecanismo se basa en la cantidad en vez de la calidad. Esto no debería de ser un problema, pero la cuestión es que el sentimiento generalizado en el mundo científico es que el índice de impacto sí que mide la calidad y credibilidad de una revista, cosa que no es cierta.

Por otro lado, si tenemos que seguir siendo objetivos al valorar el sistema de prestigio de las publicaciones científicas, deberíamos decir que el periodo para el cual se realiza el cálculo es muy corto, ¿qué hay de los artículos que se siguen citando después de lustros? Si llevan tanto tiempo citándose querrá decir que, posiblemente, no se han quedado desfasados para explicar algunas cosas, algo que habla a su favor. Todos esos artículos no cuentan para nada. Es decir, el índice además se centra en la inmediatez.

No obstante a mi juicio hay un fallo mucho más grave. No se puede analizar la ciencia como si de una máquina de crear publicaciones se tratara, sencillamente porque las diferentes áreas científicas tienen diferente ritmo de publicación y diferente cantidad de producción. Y no es porque los científicos de esas áreas sean incompetentes o vagos, es porque sus áreas temáticas exigen esos tiempos y plazos. Esto quiere decir que una revista que trate sobre un tema con ritmos de publicación más rápidos tendrá un índice de impacto superior. Si tienes la suerte de tener una revista médica tu índice de impacto será alto, y no porque sea mejor, sencillamente por ser una revista médica. Ahora bien, si tienes la mejor revista sobre matemáticas y tienes estudios de última frontera sobre teoría de números, solamente por estar englobada dentro del área de las matemáticas tu índice de impacto será menor.

Es decir, los mecanismos que usamos los científicos para medir la calidad de las publicaciones están excesivamente sesgados e introducen distorsiones que afectan a la esencia misma de la ciencia, y por ende es un mecanismo corrupto, ya que crea la falsa ilusión de un prestigio, fundamentado principalmente en la cantidad y la inmediatez, lo cual no tiene por qué tener un reflejo en la calidad.

Hemos hablado de los mecanismos que se usan para medir la calidad científica de las revistas, pero ahora toca hablar de algo que afecta a cómo funcionan las revistas en sí mismas, ¿quién publica en estas revistas?

Cuando un grupo de investigación hace un estudio y quiere publicarlo, ese grupo prepara un artículo científico. Una vez que la revista recibe el artículo decide qué hacer con él: si decide que tiene la calidad suficiente entonces pasa a la siguiente parte del proceso, que es la revisión del artículo por grupos independientes al que ha realizado el estudio. Si esos grupos consideran que el experimento está bien realizado, en ese caso el artículo se publica, pero si hay que hacer correcciones se reenvía el texto a los autores con las anotaciones pertinentes. Entonces el proceso comienza de nuevo. Hasta aquí todo parece bastante claro, objetivo y razonable. El problema está en uno de los pasos que hemos comentado: cuando la revista decide si seguir adelante con el artículo. Podría ser que el estudio careciera de algún control básico que no se ha realizado, o que esté mal estructurado o que falten partes obvias. En ese caso la revista diría que no puede publicarlo y no pasaría a la fase de revisión, ¿pero hay otros motivos para decidir si alguien publica o no?

Existe una realidad poco comentada oficialmente, pero que es evidente cuando uno habla con cualquier investigador científico: la afiliación desde donde uno escribe tiene mucho que ver con quién publica en las revistas. Me explicaré. En igualdad de condiciones, e incluso en inferioridad, las revistas de alto impacto tienden a publicar los artículos mandados por las universidades más prestigiosas. Siento no poder dar datos concretos, pero aquí voy a tener que recurrir a lo que me han dicho la mayor parte de investigadores a los cuales he preguntado en estos meses. Muchos de ellos me han afirmado que, durante sus estancias en universidades más prestigiosas, han publicado artículos en revistas de alto impacto a pesar de que, como autores del trabajo, sabían que anteriormente esas mismas revistas les habían rechazado investigaciones mejor realizadas. Esto podría parecer un caso de ejemplificación anecdótica, pero puedo afirmar que me han contado esta misma historia en el último mes cinco investigadores diferentes. Por otro lado, no es ningún secreto que muchos investigadores, por rencillas personales, no pueden publicar en algunas revistas, de hecho Craig Venter afirmaba estar vetado en algunas publicaciones por sus problemas con James Watson (Life Decoded: My Genome: My Life). Ocurre también lo contrario, y yo mismo he oído a gente decir que si mandaba su artículo a una determinada revista se lo publicarían porque conocían al editor. Es decir, el lugar desde donde uno manda el artículo y la persona que lo manda es bastante decisivo a la hora de publicar, ¿cuántas veces hemos oído que una revista ha publicado un artículo poco riguroso únicamente por el firmante principal del mismo?

Esto podría parecer bastante grave de por sí, pero encima el problema se retroalimenta a sí mismo. No he hablado de los rankings de universidades por casualidad. Cuando una universidad ya tiene un prestigio ganado (principalmente gracias a publicaciones de alto impacto y por tener investigadores reconocidos en sus filas) se le pone mucho más fácil publicar en revistas de alto impacto, y esto, a su vez, le ayuda a la institución a subir puestos en el ranking. Encima, cuando ya hay científicos que se consideran consagrados, muchos de los criterios para publicar en revistas se relajan, y eso ayuda aún más a aumentar su calificación en los rankings de científicos y en los de universidades.

Mucha gente podrá decir que aunque el sistema no sea perfecto sirve para medir algo, pero sospecho que si el sistema no se cambia es porque beneficia a mucha gente. Me explicaré. Hay pequeños controles que servirían para solucionar el problema, y todo ello sin ningún coste económico para las revistas y las universidades. ¿Por qué no se utiliza un control de ciego para decidir quién publica en las revistas? Es decir, que cuando un grupo de investigación envíe un artículo para ser revisado, antes de llegar al equipo editorial los nombres y la afiliación sean eliminados, para que estos datos no afecten a la decisión de publicar. Supongo que este ejemplo será en realidad más complicado de aplicar, pero me niego a pensar que hemos sido capaces de aterrizar en Marte pero no podemos encontrar un mecanismo de publicaciones mejor.

Conclusión

Continuamente se habla de la calidad en la producción científica, de las publicaciones de alto impacto, de los índices de citación y de elementos que, a juicio de muchos científicos, tienen mucho valor. Y al mismo tiempo, sabiendo que el valor real de esos números no tiene nada que ver con la calidad, se permite que se decidan presupuestos en función de esos rankings que no significan lo que dicen. Gran parte de la comunidad científica admite un sistema viciado de otorgamiento de calidad, el cual produce que, muchas veces, se deriven fondos de unos campos del conocimiento a otros, olvidando bloques enteros en la distribución de presupuestos. Si no me creéis preguntad al departamento de botánica, paleontología o zoología más cercano.

Desconozco si algún lector opina que he sido excesivamente crítico o que mis apreciaciones se desvían de la realidad mayoritaria. Después de haber hablado con científicos de muchas partes de España y Europa es la realidad de la que he sido consciente. Además, el razonamiento de los criterios que siguen los rankings y los índices de impacto me llevan a afirmar que, estos errores en la medida de conceptos como calidad científica, nos han llevado a distorsionar la esencia misma de la ciencia, abocándonos a un sistema de autoridad y prestigio que nada tiene que ver con la búsqueda del conocimiento. Creo que llegados a este punto, la comunidad científica debe preguntarse si estamos haciendo las cosas bien.

Sé que, hagamos las cosas bien o mal, la ciencia sobrevivirá a nuestras malas prácticas. La ciencia es demasiado potente para poder ser destruida por nosotros, es algo mucho más grande que los egos de los científicos que la practicamos. Pero no nos engañemos, importa mucho la manera en la cual hacemos ciencia. Menguele hacia estudios científicos, y si bien creo que es un ejemplo extremo, también opino que sirve para ilustrar una realidad: no es deseable cualquier forma de hacer ciencia.

Nosotros podemos elegir alzar la voz, criticar a nuestra amada ciencia, porque tal cual dije al principio de este ensayo, la relación entre un científico y la ciencia es la única relación de amor que puede alimentarse con la crítica. Deseo un sistema que realmente nos permita saber la calidad real de las universidades, y también deseo que se valorare realmente la producción científica, pero no deseo un sistema que piensa que cualquier mecanismo es válido, porque eso nos aboca a lo que vivimos actualmente, una ciencia que tiene una doble vara de medir: por un lado tenemos al fiero pero hermoso método científico, y por otro lado la falaz forma de medir palabras como calidad o prestigio.

[1] Índice Shanghai

[2] Naukas

[3] Science Mag