Los estudios que se replican se citan a menudo, por supuesto; el problema es que los estudios que no logran replicarse se citan más o menos con la misma frecuencia.

La explicación más plausible es que los científicos no leen los estudios que citan. Al menos, los estudios del ámbito de las ciencias sociales.

Reproducibilidad

La reproducibilidad es la capacidad de un ensayo o experimento de ser reproducido o replicado por otros, en particular, por la comunidad científica. La reproducibilidad es uno de los pilares del método científico, siendo la falsabilidad el otro. De este modo, si los investigadores citan indistintamente los estudios que logran replicarse como los que no, tenemos un problema.

Es lo que nos sugieren los datos recogidos por Replication Markets, una parte del programa SCORE de DARPA, cuyo objetivo es evaluar la confiabilidad de la investigación en ciencias sociales.

Los estudios se obtuvieron de todas las disciplinas de las ciencias sociales (economía, psicología, sociología, gestión, etc.) y se publicaron entre 2009 y 2018.

Si se citan los estudios de forma tan poco crítica, hemos de entender que los investigadores no se leen en profundidad dichos estudios porque, bien, quizá muchos se autoengañan o están cruzados de sesgos, pero: ¿qué están haciendo los editores y revisores?

Cualquiera que sea la explicación, el hecho es que el sistema académico no asigna citas de calidad, es decir, a estudios fundamentalmente ciertos. Esto es malo no solo por el efecto directo de basar la investigación adicional en resultados falsos, sino también porque distorsiona los incentivos que enfrentan los científico: si nadie citara estudios débiles o falsos, no tendríamos tantos de ellos. Recompensar el impacto sin tener en cuenta la verdad conduce inevitablemente al desastre.

De hecho, ni siquiera ceñirnos a las revistas con un alto índice de impacto nos libra de esta lacra. La reputación de la revista es, sencillamente, irrelevante. Porque, de nuevo, si los científicos fueran más cuidadosos con lo que citan, las revistas a su vez serían más cuidadosas con lo que publican.

El problema, naturalmente, es sistémico. Los autores son solo un pequeño engranaje en la vasta máquina de producción científica. Para que este material sea financiado, generado, publicado y eventualmente recompensado, se requiere la complicidad de las agencias de financiación, los editores de revistas, los revisores y los comités de contratación.

Nadie se beneficia realmente del estado actual de las cosas, pero no se puede pedir a individuos aislados que sacrifiquen sus carreras por el 'bien común': las únicas soluciones viables son de arriba hacia abajo.

Aspirar a que todos los puestos de trabajo estén equilibrados políticamente es una entelequia, al igual que lo es el pretender que haya la misma proporción de sexos, etnia, altura, belleza o cualquier otro rasgo que consideremos que quien lo detenta puede sentirse discriminado (a no ser que implementemos políticas totalitarias para que eso ocurra).

Sin embargo, empieza a resultar preocupante que en el campo de la educación, donde los educandos deben recibir el máximo de puntos de vista para que su juicio se afine, el profesorado esté tendiendo de forma generalizada a ser de izquierdas, sobre todo en las humanidades y las ciencias sociales.

Eje derechas-izquierdas

Hasta cierto punto, que haya mayoría de izquierdas entre el profesorado es deseable a fin de garantizar la desconfirmación institucionalizada en cualquier campo que aborde temas politizados, y eso es lo que ha sucedido en la mayor parte del siglo XX: la proporción fue de dos o tres a uno.

En Xataka Ciencia

Éstas son las razones por las que la izquierda y la derecha denigran a la ciencia

No obstante, las cosas empezaron a cambiar a finales de la década de 1990, cuando los profesores de la "gran generación" empezaron a jubilarse y fueron sustituidos por los miembros de la generación baby boom, tal y como denuncia Jonathan Haidt en su libro La transformación de la mente, hasta que en 2011 la proporción había llegado hasta los cinco a uno:

Los profesores de la gran generación eran predominantemente varones blancos que habían luchado en la Segunda Guerra Mundial, a los que se estimuló para que realizaran estudios superiores por medio de unas leyes diseñadas para ayudarlos en el período de posguerra. La ola de académicos incluía a muchos republicanos y conservadores. Entre los profesores del baby boom, en cambio, había una mayor diversidad de razas y sexos, pero menor en sus tendencias políticas. Muchos de ellos estaban influidos por la gran ola de protestas sociales de la década de 1960.

En algunos campos del saber, la falta de proporcionalidad política es abismal: en humanidades y ciencias sociales, por ejemplo, sobrepasan a los diez a uno, y el desequilibrio es mayor en las universidades más prestigiosas. Ello no solo compromete la eduación abierta a las ideas diversas (los estudiantes se autodefinen cada vez como más de izquierdas), sino que perjudica la calidad y el rigor de la investigación académica.

En Xataka Ciencia

La pérdida de periódicos locales está alimentando la polarización política, según un estudio

El único campo de todas las humanidades y ciencias sociales donde consta que existe suficiente diversidad política para permitir la desconfirmación institucionalizada es el de la economía, donde la proporción entre izquierda y derecha, hallada por un estudio de los registros de voto de los profesores, era comparativamente baja: cuatro a uno.

Por supuesto, uno puede imaginar que alguien de izquierdas también es capaz de ser honesto intelectualmente para presentar ideas de derechas a sus alumnos, pero entonces estamos infravalorando los sesgos inconscientes de todos los seres humanos, amén de que, como escribió John Stuart Mill en Sobre la libertad a propósito de que las ideas conservadoras deben poder ser explicadas por conservadores: "Debes conocerlos en su forma más plausible y persuasiva".

Habida cuenta de que en política hay pocas verdades incontrovertibles, pues dependiendo del contexto y el problema que debe abordarse resulta más eficaz un tipo de idea frente a otra, lo peor que puede pasarle a las nuevas generaciones es que solo analicen el mundo desde la óptica de un único ojo, como tuertos intelectuales, en vez de la visión tridimensional que proporcionan los dos ojos.

Como os adelantaba en la anterior entrega de este artículo doble, el psicólogo Philip Tetlock, el miembro más joven de un comité de las National Academy of Sciences, emprendió en 1984 una investigación sobre los conocimientos y el juicio de los expertos.

Para ello, definió las posibles respuestas soviéticas a la agresiva actitud de la administración Reagan en la guerra fría. ¿Iba Reagan a poner en evidencia su incapacidad o iba a provocar una respuesta letal? Lo que descubrió a primera vista es que los pensadores más influyentes sobre la guerra fría se contradecían unos con otros.

Durante 20 años, Tetlock continuó estudiando la cuestión, eligiendo a casi 300 expertos (generalmente asesores en cuestiones políticas y económicas): politólogos, ecoomistas, abogados, diplomáticos, etc. Había desde periodistas hasta profesores universitarios. Más de la mitad eran doctores. Tal y como lo explica Tim Harford en su libro Adáptate:

El método de Tetlock para evaluar la calidad de sus opiniones era hacer que los expertos concretaran: les pedía que hicieran predicciones precisas y cuantificables (contestando entre unos y otros hasta un total de 27.450 preguntas) y luego esperaba a ver si se cumplían. Rara vez. Los expertos fallaban y su incapacidad de predecir el futuro es un síntoma de su fracaso a la hora de comprender plenamente las complejidades del presente.

Obviamente, eso no quiere decir que las cosas nos irían mejor si nuestro presidente del Gobierno fuera un chimpancé (aunque quién sabe). La lección que debemos aprender de la investigación de Tetlock es que no deberíamos creer que los expertos siempre están seguros de lo que deben hacer (aunque lo parezca). Que los expertos saben más que nosotros, pero no mucho más. Y que los expertos aún ignoran mucho más de lo que admiten (sobre todo en en ámbito de las ciencias sociales).

Y tened especial precaución con los expertos que aparecen en los medios de comunicación:

Uno de los descubrimientos más deliciosos de Tetlock fue que los expertos más famosos (los que más tiempo aparecían disertando por televisión) eran especialmente incompetentes.

Otra forma de detectar expertos poco fiables es evaluar su capacidad para cambiar de opinión. Popularmente, se considera que tener fama de cambiar de opinión te convierte en un “veleta”, en alguien que no tiene las cosas demasiado claras (de hecho, fue esa la razón que principalmente hizo ganar las elecciones a George W. Bush, que prometió “mantener el rumbo”, frente a John Kerry). Sin embargo, ocurre que es justo lo contrario: un experto fiable es el que admite sus errores y corrige el rumbo continuamente, en base a las nuevas circunstancias o los nuevos inputs.

El método ensayo-error es más efectivo que la verdad revelada e inmutable (de ahí la escasa habilidad de las religiones para producir conocimiento válido frente al método científico). La flexibilidad y la capacidad de tener diversos enfoques sobre un mismo asunto deberían ser en realidad los mayores dones de un experto. Se debe cometer un incómodo número de errores y aprender de ellos, en vez de ocultarlos y negar su existencia, incluso a nosotros mismos.

En la política británica predomina una actitud semejante. Es famosa la frase de Margaret Thatcher “Gira quien quiere. La dama no está por girar”. Tony Blair estaba orgulloso de no tener marcha atrás. Nadie compraría un coche sin marcha atrás o que no girara, por eso no se entiende qué tienen de deseables dichas cualidades en dos primeros ministros. Pero los electores británicos premiaron respectivamente a Thatcher y Blair por su autoproclamada falta de adaptabilidad con tres victorias consecutivas en las elecciones generales.

Los seres humanos creemos saber más de lo que realmente sabemos. También tendemos a creer que somos capaces de reducir la complejidad del mundo (social, psicológico, financiero, histórico) a unas simples fórmulas que en realidad jamás predicen casi nada, pues casi todo lo que vemos está supeditado a fuerzas que se nos escapan.

Pero, entre los seres humanos, hay una serie de elementos que aún exacerban más estos defectos: los llamados expertos.

Con todo, el daño que producen los expertos no solo se debe a la actividad de los propios expertos sino a nuestra tendencia a darles mayor importancia, a confiar casi ciegamente en ellos. Porque nos encanta los tangible, la confirmación, lo explicable, lo estereotipado, lo teatral, lo romántico, lo pomposo, la verborrea, la Harvard Business School, el Premio Nobel y, sobre todo, la narración; que todo se nos explique en forma de fábula o cuento para que nuestro sistema crítico quede todavía más inerme de lo habitual.

Si ahora echamos un ojo a las declaraciones de expertos en economía, por ejemplo, descubriremos que individuos con el mismo nivel de formación no solo opinan cosas distintas sobre la estrategia que debemos seguir para salir de la crisis financiera, sino que vierten opiniones diametralmente opuestas.

Los científicos sociales no parecen haber avanzado demasiado en el asunto de moderar los conflictos étnicos o en optimizar el comercio mundial, a pesar de que son problemas urgentes y los científicos sociales disponen de ingentes medios para conseguirlo. Comparemos estos avances con las ciencias médicas: también se enfrentan a problemas urgentes y disponen de medios poderosos. Pero la ciencia médica avanza de una forma espectacular, no ya en décadas, sino en lustros.

La razón no estriba en que las ciencias médicas sean mejores que las ciencias sociales, sino más bien que la medicina es más sencilla que la sociología. Las ciencias naturales se enfrentan a problemas más simples que los problemas a los que se enfrentan las ciencias sociales.

Lo cual relega a muchos expertos en diversas disciplinas a la categoría de engañabobos inconscientes; lo que Nietzsche llamaba Bildungsphilisters o zafios doctos, ignorantes que se escudan en los títulos académicos pero que carecen de erudición verdadera por su falta de curiosidad y humildad y su estrechura de miras.

Pero los peores somos nosotros: que seguimos depositando más fe en ellos de la que realmente merecen. Ya no digamos la confianza que depositamos en nuestros líderes (que finalmente se dejan asesorar por consejeros expertos, en el mejor de los casos, o deciden por sí mismos, en el peor).

Una de las personas que más ha profundizado acerca de las limitaciones de los expertos es la llevada a cabo por un psicólogo llamado Philip Tetlock, del que os hablaré en la segunda parte de este artículo.

Ésta es la gran paradoja de las ciencias sociales: que son más difíciles pero parecen más fáciles que la física o la química. Como dice Edward O. Wilson, esta familiaridad confiere comodidad, y la comodidad engendra descuido y error.

La mayoría de personas cree saber cómo piensa, también como piensan los demás, e incluso cómo evolucionan las instituciones. Pero se equivocan. Su conocimiento se basa en la psicología popular o casera, la comprensión de la naturaleza humana mediante el sentido común (que Einstein definía como todo lo que se ha aprendido hasta los dieciocho años), atravesada por conceptos erróneos y sólo algo más avanzados que las ideas que emplearon ya los filósofos griegos.

Hasta los teóricos sociales avanzados enfocan sus estudios de esta forma, mediante la intuición o la intuición de los que le precedieron, pero ignorando soberanamente, casi con orgullo, los hallazgos de la psicología científica y de la biología.

Ésta es parte de la razón, por ejemplo, por la que los científicos sociales sobrestimaron la fuerza del régimen comunista y subestimaron la fuerza de la hostilidad étnica.

Y es que muchos científicos sociales, sobre todo antropólogos y sociólogos culturales que identifican cada cultura como una entidad única, han llegado incluso a adoptar la posición postmodernista extrema de que la ciencia sólo es otra manera de pensar, una respetable subcultura intelectual en compañía de muchas otras.

Las ciencias sociales todavía no han urdido una red de explicación causal que corte con éxito a través de los niveles de organización que van desde la sociedad a la mente y al cerebro. Por ello carecen de lo que puede llamarse una verdadera teoría científica.

La principal razón es que incluye poco esfuerzo para explicar los fenómenos mediante redes de causación que recorran niveles adyacentes de organización. El análisis es lateral, no vertical.

Via | Consilience Edward O. Wilson

Los científicos sociales también tienen mucha información almacenada y grandes herramientas estadísticas refinadas para sus análisis. Pero los científicos sociales, en general, rechazan la idea de la ordenación jerárquica del conocimiento que une y guía a las ciencias naturales.

Dice Edward O. Wilson:

Divididos en cuadros independientes, resaltan la precisión en palabras dentro de su especialidad pero raramente hablan el mismo lenguaje técnico de una especialidad a otra. Muchos de ellos, incluso, disfrutan de la atmósfera global de caos que resulta, confundiéndola con el fermento creativo. (…) En la actualidad, varias facciones están a favor de posiciones ideológicas que van desde el capitalismo del laissez faire hasta el socialismo radical, mientras que unos cuantos promueven versiones de relativismo postmdernista, que cuestionan la idea misma del propio conocimiento objetivo.

Basta con bucear en cualquier libro de divulgación de ciencia social para advertir una cosa interesante: lo que allí se dice todavía depende demasiado de los grandes maestros originales, se acude a menudo a fuentes pretéritas, lo cual evidencia dos síntomas negativos: el de la falacia de autoridad y el de que no hay progreso. Kant decía tal, Virgilio decía pascual son frases que se usan hoy en día, en el siglo XXI, para enfrentarnos a problemas complejos de los que Kant o Virgilio no tenían ni idea o, sencillamente, ignoraban mucho de lo que hoy se ha descubierto.

Por el contrario, el progreso de una disciplina científica puede medirse por lo rápidamente que sus fundadores son olvidados.

Con esto no quiero decir que las ciencias sociales no hayan progresado en muchos aspectos. Pero todavía tienen unas ideas del estudio del comportamiento social similares a las que tenían las culturas antiguas respecto a la explicación del funcionamiento del universo: mucha mitología esgrimida con convicción, oscurantismo y cierta consistencia interna.

Difícil resulta encontrar todavía hoy a un científico social que haya sabido encajar sus narraciones en las realidades físicas de la biología humana y de la psicología.

Thomas Hobbes decía que el hombre es un lobo para el hombre. Rousseau, que el hombre es bueno por naturaleza, y que es la sociedad quien lo corrompe. Opiniones y más opiniones que, sin embargo, no suelen hallarse con tanta alegría en las ciencias naturales. Opiniones que ignoraban de plano el ADN, la selección natural o las neuronas espejo.

La razón de que ocurra esto no es que los científicos sociales sean tontos, sino que no se han dado cuenta de que las ciencias sociales son mucho más complejas que las ciencias naturales. Y nuestra ignorancia sobre ellas es aún abismal. Rasgo que nos pasa desapercibido porque todos podemos hablar de ellas con otras personas, incluso en el ascensor. Pero buscad en un bar cuánta gente está hablando de fotones, gluones o los radicales sulfuros.

Ahora probad a escuchar en cualquier bar cómo se debe arreglar la crisis económica. O cómo se debe combatir la delincuencia en la calle.

El otro día, en uno de tantos debates radiofónicos sobre la crisis económica global, escuché cómo se enfrentaban dos catedráticos de economía. La pregunta que les había formulado el presentador era sencilla: ante lo visto, ¿qué resulta más seguro? ¿Abrir un plan de pensiones privado o confiar que en que el Estado nos ofrecerá pensiones de jubilación?

No sólo dijeron cosas distintas. Sencillamente opinaban cosas diametralmente opuestas. El presentador, abrumado, asumió que si dos catedráticos estaban en desacuerdo en un aspecto tan esencial de la economía, ¿qué sería del ciudadano de a pie?

A menudo, la gente no se pone de acuerdo al definir lo que es una ciencia y lo que no lo es. ¿Basta con que la antropología, la sociología, la psicología, la economía o las políticas estén inscritas en las llamadas “ciencias sociales” para ser realmente eso, ciencias? ¿Las ciencias naturales poseen características cualitativamente distintas a las ciencias sociales?

Lo cierto es que la mayoría de gente espera que las ciencias sociales sirvan para comprender su vida y gestionar su futuro, y relegan las ciencias naturales como la biología o la física para cuestiones menos prácticas.

Sin embargo, las ciencias sociales basan gran parte de su interés en predecir acontecimientos a fin de gobernarlos, y ese objetivo titánico lo están haciendo desde tiempos inmemoriales desconectados casi totalmente de las ciencias naturales. Los resultados, hasta ahora, son bastante pobres.

Los científicos sociales no parecen haber avanzado demasiado en el asunto de moderar los conflictos étnicos o en optimizar el comercio mundial, a pesar de que son problemas urgentes y los científicos sociales disponen de ingentes medios para conseguirlo.

Comparemos estos avances con las ciencias médicas: también se enfrentan a problemas urgentes y disponen de medios poderosos. Pero la ciencia médica avanza de una forma espectacular, no ya en décadas, sino en lustros.

¿Por qué existe esta diferencia tan abismal? ¿Por qué las ciencias médicas curan enfermedades cada vez más complejas y las ciencias sociales parece que dan vueltas sobre las mismas cuestiones una y otra vez, sin ponerse nunca de acuerdo a nivel global?

La razón no estriba en que las ciencias médicas sean mejores que las ciencias sociales, sino más bien que la medicina es más sencilla que la sociología. Las ciencias naturales se enfrentan a problemas más simples que los problemas a los que se enfrentan las ciencias sociales.

Ello origina otro fenómeno que actúa como obstáculo insalvable para las ciencias sociales. Por ejemplo, los científicos médicos construyen sobre unos cimientos coherentes de biología molecular y celular, persiguen los elementos de la salud y la enfermedad hasta el nivel último de la química biofísica…

El éxito de sus proyectos individuales depende de la fidelidad de su diseño experimental a principios fundamentales, que los investigadores se esfuerzan por hacer consistentes a todos los niveles de la organización biológica, paso a paso, desde el organismo completo a la molécula.

Continuaremos en la próxima entrega de este artículo.