Por Rafael Porzecanski ///
Vivimos rodeados de encuestas. Tenemos encuestas sobre actitudes democráticas, sobre identidades deportivas y continuidades de directores técnicos, sobre los más íntimos deseos y prácticas sexuales, sobre alimentación, sobre obesidad y sobre hambre, sobre machismo, racismo y el ismo que se nos antoje. Como nunca antes, gráficos y porcentajes deambulan entre nosotros como si fuesen un integrante más de nuestras respectivas familias. Sin embargo, muchos de esos matemáticos frutos de la investigación social lucen cada vez más sospechosos y cada vez menos confiables.
“Lo que podemos hacer, además de reconocer nuestros errores y pedir disculpas, es hacer los deberes, tratar de aprender del fracaso y tratar de mejorar”. Esta disculpa, portadora de una brutal honestidad, pertenece al recientemente desaparecido Luis Eduardo González durante una entrevista con el periodista Aldo Silva, al día siguiente de la primera vuelta de las elecciones presidenciales uruguayas de 2014. La valiente autocrítica de González era entendible y pertinente; tanto su empresa (Cifra) como las demás encuestadoras nacionales habían errado en varios de sus pronósticos más importantes, fundamentalmente por subestimar la votación frentista. Así, en lugar del pronosticado parlamento sin mayorías y un supuesto escenario de balotaje competitivo, los resultados electorales le dieron al Frente Amplio su tan ansiada mayoría legislativa y lo posicionaron de cara a una fácil victoria en la segunda vuelta.
Sin que signifique un consuelo, esta clase de graves desaciertos no son monopolio de las consultoras uruguayas. Hace pocos días, Colombia fue escenario de errores aún más groseros. En los días previos a la realización del plebiscito por el acuerdo de paz entre el Gobierno colombiano y las FARC, todas las consultoras marcaron un cómodo triunfo del “Si”. Según una medición de finales de setiembre, Ipsos Napoleón Franco otorgaba al “Si” el 66 % de los votos, mientras que la empresa Polimétrica le asignaba un 62 % y Datexco un 55 %. Los resultados, en cambio, arrojaron un triunfo exiguo del “No” con poco más del 50 % en el marco de una también sorpresiva baja tasa de participación (cerca de dos tercios de los electores se quedaron en sus casas ese domingo crucial para la suerte del pueblo colombiano). En el primer mundo, en tanto, las cosas no funcionan demasiado mejor. En Reino Unido, por ejemplo, el triunfo del Brexit no fue previsto por casi ninguna encuesta y algunas incluso estimaron la victoria de la opción de permanencia en la Unión Europea por varios puntos de ventaja.
En cuestiones electorales, los errores y horrores de las empresas encuestadoras salen fácilmente a la luz pues se cotejan con la voluntad popular en las urnas. Sin embargo, seguramente en muchos otros temas las cifras que consumimos y digerimos como si fuesen la más pura verdad adolecen de los mismos pecados y las mismas falacias. Así, cabría preguntarse cuánto se ajustan a la realidad los números que emergen de instrumentos ampliamente conocidos y masticados por el público como ser el Latinobarómetro (que hace poco nos asustó al revelar que los uruguayos somos más autoritarios que otrora) o la Encuesta Mundial de Valores (que el año pasado nos afirmó que cada vez culpamos más a los pobres de su pobreza).
En cualquier curso serio de metodología de investigación en ciencias sociales, hay una palabra clave sobre la que se machaca constantemente: “validez”. Para convertirse en una fuente genuina de saber, una encuesta debe ser válida en dos aspectos centrales. De un lado, sus instrumentos empleados deben medir lo que se proponen y no algo diferente. A este requisito se le llama “validez interna”. Si una pregunta es mal formulada o incorrectamente interpretada por el entrevistado, la información recolectada carecerá de validez interna. Al mismo tiempo, como las encuestas usualmente trabajan con pequeñas muestras de la población estudiada (son excepcionales los censos), se presenta también el requisito de la “validez externa”: que los resultados pertenecientes a la muestra sean generalizables al resto de la población. Una de las grandes ventajas que otorgan las encuestas es que, gracias a las propiedades de la estadística, cuentan con el potencial de estudiar a millones de personas apelando a los datos de unos pocos miles (o incluso cientos) de casos, con márgenes de errores bajos y niveles de confianza elevados. Sin embargo, construir una muestra estadísticamente representativa y, sobre todo, asegurarse que la población seleccionada acepte participar de la encuesta y responda honestamente las preguntas formuladas, constituye un reto extremadamente exigente y raramente conseguido.
Probablemente, las encuestadoras de aquí y allá están fallando en los dos aspectos de validez mencionados. En las elecciones sin voto obligatorio, por ejemplo, las consultoras siguen sin poder encontrar un instrumento de estimación fiable de la conducta que efectivamente adoptará el elector al llegar el día de la votación. En Uruguay, por ejemplo, son ampliamente conocidos los múltiples problemas de predicción para las elecciones internas en los partidos políticos (única instancia del ciclo electoral donde el voto no es obligatorio). Allí hay un claro problema de validez interna: muchos electores dicen que harán una cosa pero terminan finalmente haciendo algo muy diferente, comenzando por el hecho de concurrir o no a votar.
En tanto, los problemas de generalización de resultados parecen a esta altura un mal endémico en casi todas las instancias de opinión pública. Una dificultad particularmente acuciante son las altas tasas de rechazo cada vez que las consultoras golpean las puertas o hacen sonar las líneas telefónicas de los hogares seleccionados. Hablamos aquí de casos que declinan participar de la encuesta o que no logran ser efectivamente contactados, demandando así su sustitución por un hogar o persona que no integraba la muestra original. Aunque las encuestadoras locales han manejado con bastante opacidad las cifras vinculadas al “rechazo” y los métodos concretos aplicados para combatirlo (como ser la ponderación de los datos), varios expertos como Fernanda Boidi o Ignacio Zuasnabar reconocen que allí se encuentra una de las grandes fuentes de la mala praxis encuestadora contemporánea.
Uno de los principales problemas de vivir bajo una fiebre “encuestológica” repleta de porcentajes inexactos (o incluso apócrifos) es evidente: construimos expectativas y adoptamos cursos de acción sobre la base de escenarios inexistentes. El reciente caso colombiano, por ejemplo, deja flotando dos preguntas clave al respecto. Primero: ¿cuántos colombianos que hubiesen votado el “Si” en caso de haber concurrido a las urnas prefirieron la comodidad de sus hogares al constatar que las encuestas anunciaban un cómodo triunfo de dicha opción? Y segundo: ¿qué hubiesen hecho las elites políticas (en especial aquellas que apoyaron el proceso de paz) en caso de haber sabido que existía una paridad mucho mayor entre las dos alternativas?
Las soluciones a los problemas mencionados están lejos de vislumbrarse en el horizonte. Naturalmente, la consigna no debería ser volverse un ludita de las encuestas pues, bien utilizadas, constituyen un formidable instrumento de saber social. Sin embargo, la evidencia ya es suficientemente concluyente como para demandarnos, en tanto ciudadanos, una actitud cautelosa frente a esos porcentajes que llueven reiteradamente desde el cielo mediático. Entre los números mágicos supuestamente paridos por la opinión pública y la realidad misma existe, a veces, un auténtico abismo.
***
Segunda mirada es el blog de Rafael Porzecanski en EnPerspectiva.net. Actualiza el sábado en forma quincenal.
