CIENCIAS SOCIALES HOY – Weblog

Actualidad sobre política, sociología, economia, cultura…

P. Navia y C. Huneeus: debate sobre encuestas y presidenciales en Chile…

leave a comment »

17 de Diciembre de 2009

La predicción del CERC y la transparencia metodológica

avatar

Patricio Navia
Director del Magíster en Opinión Pública, UDP
http://www.referente.cl
 

En su columna publicada ayer en El Mostrador, “La predicción electoral del CERC”, Carlos Huneeus incurre en varios errores metodológicos y empíricos. Además, usa cifras equivocadas para atribuirse una capacidad de predicción superior. Un análisis más honesto de los datos muestra que otras encuestas tuvieron la misma capacidad de predicción que CERC, usando métodos estadísticos más rigurosos y más transparentes. La “predicción” de CERC -cuyo informe ni siquiera publicó los resultados de la pregunta sobre intención de voto- no fue más acertada que los resultados de otras encuestas.

Probablemente sin tener la intención de inducir al engaño, Huneeus presenta un cuadro que compara la predicción del CERC con resultados de encuestas realizadas varias semanas y meses antes de la elección. La predicción de CERC excluye votos nulos, blancos y abstencionistas. La votación por los 4 candidatos suma 100%. Ya que las otras encuestas sí reportan nulos, blancos, abstencionistas e indecisos, los votos válidos suman menos de 100. En el caso de la CEP de octubre, suman 86%. Pero, en la elección, los porcentajes se calculan excluyendo nulos, blancos y abstencionistas. Los resultados que muestro en la tabla inferior normalizan los resultados de esas encuestas al 100% para hacerlas comparables a la predicción de Huneeus.

La predicción del CERC no tiene mejores resultados que la encuesta CEP -realizada dos meses antes- cuya metodología es más transparente.  No hay necesidad de usar la “fórmula del éxito” de la que habla Huneeus. Basta con eliminar los votos indecisos, blancos, nulos y abstencionistas y se llega al mismo resultado. No se necesita ser “ingeniero de la Universidad de Chile y con un Doctorado en Economía de una universidad de los EE.UU.” (y además hijo del propio Huneeus) para saber que el día de la elección sólo se contabilizan votos válidamente emitidos para calcular los porcentajes. Con esto no digo que Huneeus no tenga una fórmula secreta. Solo digo que con un pequeño ajuste aritmético se llega al mismo resultado a partir de la encuesta CEP de octubre (o incluso usando la encuesta UDP de septiembre o la de El Mercurio de diciembre).

Por otro lado, sólo aquellas encuestas que se realizan sobre una muestra probabilística pueden calcular estadísticamente el margen de error. Como correctamente señala Huneeus, las muestras por cuotas se pueden realizar de forma mucho más rápida. Uno puede hacer una encuesta pocos días antes de la elección, como lo hizo Huneeus. Pero lo que se gana en tiempo se pierde en rigurosidad metodológica. La gente ciertamente puede aprovechar el conocimiento que entregan encuestas de muestras por cuotas, pero debe estar consciente de sus limitaciones y potenciales problemas. Lo mismo con las encuestas telefónicas. Tienen fortalezas, pero también debilidades. La clave está en ser lo suficientemente transparente para reconocer fortalezas y subrayar las debilidades de tal forma que la opinión pública decida qué tanto peso darle a cada encuesta.

Huneeus tiene todo el derecho de entrar al campo minado de la predicción electoral. Pero debe entender que, al hacerlo, abandona la esfera de las ciencias sociales y se adentra en el más peligroso mundo de la opinión pública, la política y las estrategias de campaña.

Lo que el CERC equivocadamente señala como ganancia a partir de una predicción que usa una “fórmula secreta” es sustancialmente inferior a lo que se pierde por falta de transparencia y por poca rendición de cuentas. Al no hacer pública ni la metodología, ni el cuestionario, ni la base de datos -ni por cierto el financiamiento de la encuesta-, el CERC se pone en la vereda equivocada ante una sociedad civil que demanda más transparencia.

Finalmente, la tarea de un encuestador no es predecir resultados electorales. Su tarea es producir encuestas que tengan rigurosidad metodológica y empírica, que se sustenten sobre sólidos fundamentos teóricos, que sigan protocolos establecidos (por ejemplo, evitando preguntas sesgadas, como las que hizo CERC) y que puedan ser sometidas a la implacable evaluación de sus pares en la profesión y al escrutinio de la opinión pública. Las “predicciones” a partir de fórmulas secretas corresponden más al terreno de los adivinos, futurólogos y “pundits” -usualmente traducido como opinólogo- que al de la disciplina de la opinión pública en las ciencias sociales. Siendo alguien que regularmente cruza desde la vereda de la ciencia social a aquella de la deliberación pública, me parece especialmente importante transparentar cuándo estamos haciendo ciencias sociales y cuándo estamos haciendo otras cosas.

Huneeus tiene todo el derecho de entrar al campo minado de la predicción electoral. Pero debe entender que, al hacerlo, abandona la esfera de las ciencias sociales y se adentra en el más peligroso mundo de la opinión pública, la política y las estrategias de campaña.

NAVIA-ELECCIONES 20091

Los resultados de las encuestas están normalizados de forma que excluyan votos nulos, blancos, indecisos y abstencionistas. El % bajo la suma de votos indica la cantidad de encuestados que contestó válidamente la pregunta sobre intención de voto. En el caso de CERC, ese dato no fue publicado.

Borrando con el codo lo escrito ayer

avatar

Carlos Huneeus
Director del Centro de Estudios de la Realidad Contemporánea (CERC).
http://www.cerc.cl/

 

Un profesor universitario que escribe regularmente en la prensa debe ser coherente con sus escritos académicos, sin contradecirse, reaccionando a las luces y sombras de la coyuntura o a sus antipatías personales. Y cuando escribe prolíficamente, debe ser aún más cuidadoso.

Patricio Navia, “director del magister en opinión pública” de la Universidad Diego Portales (UDP) arremete nuevamente contra el CERC, desconociendo nuestra capacidad de predicción del resultado de la elección presidencial del 13 de Diciembre, que expliqué a los lectores de El Mostrador en una columna anterior . Los lectores juzgarán por si mismo la calidad del desempeño del CERC.

Afirma que el CERC no fue el único que predijo el resultado, pues también lo habría hecho el Centro de Estudios Públicos (CEP), con una encuesta hecha en octubre. Sin embargo, no se entiende por qué defiende las encuestas del CEP y no hace lo mismo con la encuesta realizada por su Universidad, la Diego Portales (UDP), cuyos resultados, filtrados antes a los medios, entregó él mismo en una conferencia de prensa, anunciando con bombos y platillos que Sebastián Piñera tenía un 30% en Septiembre, cuando se hizo el trabajo de campo.

Navia hace manipulación estadística con los resultados del CEP, sacando los no sabe/no responde. Se transforma en general después de la batalla. El encuestador debe hacer predicciones antes y no  después de las elecciones.

Semejante ejercicio cae en el ámbito de la ciencia ficción y se podría aplicar a la historia, por ejemplo, analizando el Golpe de Estado del 11 de septiembre de 1973 sacando el bombardeo de La Moneda.

Esta afirmación es aún más pintoresca, porque quiere decir que dos meses antes de las elecciones estaba definido el resultado de los comicios, por lo cual se infiere que la campaña electoral no sirvió para nada, así como tampoco tuvo efectos  electorales la franja y el debate televisivo.  Sería interesante que Navia desarrollara estas ideas –incluyendo la manipulación estadística antes indicada- en un artículo que enviara a alguna revista académica en los EE.UU.

Navia quema vestiduras por  la supuesta falta de “transparencia” del CERC, pero no tiene similar postura antes otras encuestas, que dieron resultados que se encontraban bastante alejados de la realidad y que no se atrevieron a hacerlas hasta el final.

Hay diversas metodologías para estudiar la opinión pública;  Navia piensa lo contrario, cree poseer la verdad sobre ello y la quiere imponer. La considera la mejor porque permite “calcular el margen de error”. Yo considero que la metodología empleada por el CERC es la adecuada y los resultados lo confirman. Puede discrepar de mi, pero no necesita descalificarme. La tolerancia y el pluralismo deben imperar en el trabajo académico y en los artículos de prensa.

Navia quema vestiduras por  la supuesta falta de “transparencia” del CERC, pero no tiene similar postura antes otras encuestas, que dieron resultados que se encontraban bastante alejados de la realidad y que no se atrevieron a hacerlas hasta el final. En verdad, hace una defensa corporativa de esas encuestas, algunas de las cuales pueden ser calificadas de truchas.

En su obsesión por desacreditar al CERC, Navia recurre a un pésimo argumento, pues escribe que “la tarea  de un encuestador no es predecir resultados electorales”. Ahora borra con el codo lo que antes escribió con la mano. En efecto, en su capítulo sobre las encuestas en Chile, en un libro editado por John G. Geer (“Public Opinion and Polling around the word”, 2004) sostuvo exactamente lo contrario: “La confiabilidad de la industria de las encuestas está definida por cuán certera es la predicción electoral”.

Esta posición la reiteró en una entrevista a un diario de la capital un año más tarde: “Sería útil que los medios saquen información sobre qué predijeron esas empresas (de encuestas) en las elecciones anteriores y qué tan bien les fue. Es obligación moral de los medios verificar si son tan creíbles o no” (“Patricio Navia: Es deber moral de los medios decir que algunas encuestas no son creíbles”, LUN, 18.6.2005).

Ahora cambia de opinión, sosteniendo una tesis diametralmente distinta: la tarea del encuestador  “es producir encuestas que tengan rigurosidad metodológica y empírica, que se sustenten sobre sólidos fundamentos teóricos”. ¿Cómo se mide cada una de estas condiciones? ¿Quién y cómo determina el cumplimiento de tales condiciones? ¿Qué significa “sólidos argumentos teóricos”?  Navia nos lleva a un campo vago, lleno de subjetividades, en que la definición de su calidad la hace un tercero (Patricio Navia), que tiene la capacidad para arreglar los resultados después de los comicios.  Similar argumento en otra disciplina significaría que el deber del médico no es sanar al enfermo, sino que actuar con “sólidos argumentos teóricos”.

El cientista social puede y debe predecir, como lo hacen los colegas de otras disciplinas y ello se consigue, por supuesto, con encuestas que tengan “rigurosidad metodológica y empírica (y) se sustenten sobre sólidos fundamentos teóricos”. Así son las encuestas del CERC. El estudio de la opinión pública es un campo de la ciencia política y la sociología política, que requiere años de estudio y el trabajo de muchas personas. Cuando se trabaja con rigor y se aprende de la práctica, especialmente de los errores, es posible predecir. Es lo que hemos hecho en el CERC.

Reitero lo que escribí en mi columna: el hábito no hace al monje. Las cinco encuestas hechas por la UDP en cinco años son apenas la quinta parte del trabajo del CERC en el mismo período y están muy lejos de los 134 estudios que hemos realizado en 24 años. Hemos monitoreado la opinión pública desde 1985, en pleno régimen militar, durante la transición y la consolidación de la democracia, para conocer sus cambios y continuidades, reuniendo información sobre múltiples temas, como la confianza en las instituciones y en las élites, los apoyos a la democracia, la memoria del Golpe de Estado de 1973 y el régimen militar, las bases sociales de los partidos, los liderazgos, la evaluación del sistema económico, las principales preocupaciones ciudadanas, etc., formando un banco de datos único en Chile. El CERC, como otros centros privados de investigación, demostró que era posible estudiar la opinión pública bajo un régimen militar, objetivo cuestionado por académicos de universidades de los EE.UU., que sostuvieron que ello sólo se podía hacer en democracia.

No puedo ni quiero impedir que el profesor y columnista tenga sesgos contra el CERC y mi persona desde hace años. Su actitud va más allá del legítimo y necesario ámbito del debate de ideas. Puede seguir desconociendo mi trabajo de un cuarto de siglo, ignorar los libros sobre la opinión pública chilena, los artículos académicos o mis logros científicos. Puede también continuar arremetiendo en mi contra a través de los medios de comunicación. Pero eso no lo convierte en experto en opinión pública.

Pobres estudiantes que aspiran postular al “magíster en opinión pública” de la Universidad Diego Portales (UDP), dirigido por un profesor que sólo valora lo propio y aquello hecho por quienes piensan como él.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: