El título del texto no es una confesión sino una expresión dirigida a Leo Zuckermann por su artículo publicado en nexos en marzo de 2012. En esa colaboración, Leo propone una “calificación” a las empresas encuestadoras y expone un método muy oportuno aunque no sea novedoso (después de cada elección federal surgen calificaciones de este tipo). Este método consiste simplemente en comparar los últimos datos publicados por cada empresa con el resultado de la elección a la que se referían, al final le otorga una “calificación” que depende totalmente de la forma en que pronosticó o se acercó al resultado electoral.
No quiero abundar en los argumentos ya muchas veces expuestos sobre la nula capacidad de las encuestas para pronosticar, tales como que las cosas cambian, ya sea por las movilizaciones, el 11 de marzo o la Guardería ABC, o en que la preferencia no es voto ni el ciudadano es votante, en que uno de cada ocho votantes toman su decisión al final, etcétera. No se trata de explicar por qué no pueden pronosticar sino de exponer la debilidad de quedarse sólo con esa visión cuando se evalúa a las encuestadoras.
Tal vez debo iniciar reconociendo en Leo Zuckermann no sólo a un amigo sino a una autoridad técnica, ética y profesional para cuestionar y exigir a las encuestas una rendición de cuentas. Mi primer contacto con él fue a fines de los años ochenta, precisamente diseñando y analizando encuestas, desde entonces y por más de 20 años hemos platicado de este y muchos otros temas, coincidiendo casi siempre, pero no hoy. Puntualizo mi posición: (1) coincido en la necesidad de evaluar o calificar; (2) acepto que existen algunos analistas, periodistas y muchas personas que quieren ver a las encuestas como pronósticos y (3) rechazo que la calificación elimine cualquier otra variable al evaluar a una empresa y se limite tal vez a la única característica que no aducen tener las encuestas, el pronóstico, dejando fuera a todas las demás y ricos atributos y requisitos técnicos y legales.
La evaluación que Leo propone tiene problemas metodológicos aunque menores, fáciles de corregir (como el tomar encuestas colocadas en un desplegado partidista cerca de la elección aunque su levantamiento fue varios meses antes), así que el punto es mostrar el problema conceptual que significa quedarse en su propuesta.
Cuando la medida para calificar a una empresa que expone resultados electorales se restringe a la distancia de su última publicación con la distribución final de votos, se mandan algunas de las siguientes señales:
Mensajes equivocados que se pueden interpretar si se califica a las encuestas sólo por su capacidad predictiva
a) “Atínale” en la última encuesta, no me importa lo que publiques durante la campaña, eso no lo evaluaré, si le “atinas” al final saldrás con alta calificación.
b) No te preocupes por cumplir la ley, ni la ética, ni una metodología científica, lo que importa es que tu último resultado se acerque a la elección, si le “atinas” al final saldrás con alta calificación.
c) No me importa si lo que publicas es resultado de procesar la encuesta o si hiciste algún “cuchareo” o “adivinanza” personal, lo que importa es que pronostiques bien, si le “atinas” al final saldrás con alta calificación.
d) Deja de decir cómo están hoy las preferencias, no importa para tu calificación y hasta te puede perjudicar si hay cambios; quiero que digas cómo se van a distribuir los votos en la elección, no midas situación actual de las preferencias; proyecta el resultado final aunque no tenga que ver con lo que hoy pasa, no me importa quién va ganando sino quién ganará; modela, adivina, la encuesta no importa pero sí el pronóstico, si le “atinas” al final saldrás con alta calificación.
Es evidente lo absurdo de cada uno de los enunciados anteriores y podría poner otros parecidos pero es que a eso se reduce la “calificación” cuando para hacerla sólo importa que el resultado de la encuesta se acerque al de la elección, método que por cierto podría ser aplaudido por algunos analistas, periodistas e incluso uno que otro encuestador pero que sería motivo de mofa en cualquier congreso de estadística (¿se va a cambiar el concepto de precisión para una encuesta?).
Para quien gusta de las analogías, lo anterior sería como exigirle a un meteorólogo el pronóstico del clima sin más elementos que un termómetro y un pluviómetro, se restringiría a decir, por ejemplo, “la próxima semana hará calor y no lloverá”; pero afortunadamente cuenta con imágenes satelitales y con modelos de pronóstico que utilizan otras variables y así es más preciso en sus previsiones (y aún puede “fallar”). Las encuestas son como el termómetro y debemos exigirles la temperatura que existe cuando se mide, solamente ésa.
Existen, eso sí, muchos modelos matemáticos o estadísticos para hacer pronósticos, su función es precisamente esa: pronosticar. Y para hacerlo en materia de elecciones necesitan insumos: uno de ellos, sólo uno, seguramente son las encuestas, pero también utilizan otros como el dinero del que cada candidato dispone, los spots que utilizará, la población gobernada, sus propuestas de campaña, la aprobación del gobierno, problemáticas y hasta conocimiento de fortalezas y debilidades, ésas son el equivalente a las imágenes satelitales que utiliza el meteorólogo, pero ellas no deben afectar la medida de su termómetro, al que no le exige que adivine la temperatura futura, sería absurdo. La pregunta entonces debe ser: ¿Es la encuesta en sí misma un modelo de pronóstico o sólo es un insumo para quienes quieren usar verdaderos modelos?
Una concesión que he hecho y en la que he coincidido con Leo Zuckermann es que aunque las encuestas no pronostiquen sí nos plantean escenarios probables o permiten establecer “momios”. Su método parece no recordar que sólo son eso. Por ejemplo, si las encuestas le dan momios de 70/30 para alguna opción partidista en cada una de 10 elecciones (es decir, 70% de probabilidad de ganar y 30% de perder) y el resultado es que ese partido gana siete y pierde tres, la estimación fue 100% correcta, pero en su “calificación” reportaría “fallas” de 30%, no me parece una evaluación lógica para una buena estimación de los escenarios probables.
Como mencioné al principio, coincido, y mucho, con la necesidad de rendir cuentas de su trabajo a las empresas encuestadoras. Pero no coincido en utilizar al pronóstico como la única medida para hacerlo, ni siquiera como la principal, y lo digo sabiendo que para la mayoría ésa es la parte visible, medible y cuestionable de las encuestas. Una empresa que se dedica a pulsar y a difundir la opinión pública tiene muchas formas de evaluarse, que si bien para algunos son poco interesantes sí podrían considerarse para construir un índice o una calificación. Este tipo de medidas se utiliza, por ejemplo, para evaluar transparencia, calidad y otras características cuando se contratan servicios, van algunas ideas a evaluar:
Características o condiciones que podrían evaluarse a los encuestadores para crear un índice de calidad de su trabajo
1) Cumple la empresa en todos los casos con los requerimientos legales en materia de publicación de encuestas.
2) Tiene una página de internet propia donde se exponga la metodología con fácil acceso y con todos los requerimientos de la autoridad.
3) Se presenta la empresa en foros gremiales a defender su trabajo ante sus pares.
4) Pertenece la empresa o sus directivos a asociaciones donde el requisito sea el cumplimiento de un código ético.
5) Tiene experiencia la empresa o el investigador.
6) En la empresa existe un área de diseño con conocimientos de estadística y de otras materias que garantice que los estudios tengan un mínimo rigor científico
7) Tiene o está en proceso de tener alguna certificación externa a la calidad de su trabajo.
8) Como variable importante puede considerarse su historial en encuestas de salida y de conteos rápidos, donde se mide la capacidad estadística de una empresa ya que se miden votos, votantes y resultados en el momento de la elección.
Nótese que no se exige ser independiente, ni ser empresa grande, ni trabajar para clientes importantes, ni utilizar diseños muestrales muy complejos, solamente son requerimientos mínimos que deben cumplirse para hacer buenas encuestas. Si además se quiere utilizar una variable adicional sobre la historia de los escenarios que han planteado, adelante, pero no debe ser ni la única ni la principal. Al no considerar las variables que se listan u otras similares se corre el riesgo de calificar como buenas a membretes falsos que publican en periodos electorales (existen) o a empresas donde el rigor metodológico importa poco pero que tuvieron un golpe de suerte al “atinarle” en una publicación. Este tipo de evaluaciones que ponderan muchas variables son utilizadas, por ejemplo, en el Banco Mundial al seleccionar a sus proveedores.
Insisto en lo válido y lo oportuno del planteamiento de Leo Zuckermann, pero considero que se fue por el camino fácil al ver a las encuestas como pronósticos, el día que esa percepción se generalice seguro surgirán algunos despistados que pidan prohibirlas y otros a los que se les ocurra que las elecciones ya no son necesarias.
Roy Campos. Presidente de Consulta Mitofsky.
Tal vez debo iniciar reconociendo en Leo Zuckermann no sólo a un amigo sino a una autoridad técnica, ética y profesional para cuestionar y exigir a las encuestas una rendición de cuentas. Mi primer contacto con él fue a fines de los años ochenta, precisamente diseñando y analizando encuestas, desde entonces y por más de 20 años hemos platicado de este y muchos otros temas, coincidiendo casi siempre, pero no hoy. Puntualizo mi posición: (1) coincido en la necesidad de evaluar o calificar; (2) acepto que existen algunos analistas, periodistas y muchas personas que quieren ver a las encuestas como pronósticos y (3) rechazo que la calificación elimine cualquier otra variable al evaluar a una empresa y se limite tal vez a la única característica que no aducen tener las encuestas, el pronóstico, dejando fuera a todas las demás y ricos atributos y requisitos técnicos y legales.
La evaluación que Leo propone tiene problemas metodológicos aunque menores, fáciles de corregir (como el tomar encuestas colocadas en un desplegado partidista cerca de la elección aunque su levantamiento fue varios meses antes), así que el punto es mostrar el problema conceptual que significa quedarse en su propuesta.
Cuando la medida para calificar a una empresa que expone resultados electorales se restringe a la distancia de su última publicación con la distribución final de votos, se mandan algunas de las siguientes señales:
Mensajes equivocados que se pueden interpretar si se califica a las encuestas sólo por su capacidad predictiva
a) “Atínale” en la última encuesta, no me importa lo que publiques durante la campaña, eso no lo evaluaré, si le “atinas” al final saldrás con alta calificación.
b) No te preocupes por cumplir la ley, ni la ética, ni una metodología científica, lo que importa es que tu último resultado se acerque a la elección, si le “atinas” al final saldrás con alta calificación.
c) No me importa si lo que publicas es resultado de procesar la encuesta o si hiciste algún “cuchareo” o “adivinanza” personal, lo que importa es que pronostiques bien, si le “atinas” al final saldrás con alta calificación.
d) Deja de decir cómo están hoy las preferencias, no importa para tu calificación y hasta te puede perjudicar si hay cambios; quiero que digas cómo se van a distribuir los votos en la elección, no midas situación actual de las preferencias; proyecta el resultado final aunque no tenga que ver con lo que hoy pasa, no me importa quién va ganando sino quién ganará; modela, adivina, la encuesta no importa pero sí el pronóstico, si le “atinas” al final saldrás con alta calificación.
Es evidente lo absurdo de cada uno de los enunciados anteriores y podría poner otros parecidos pero es que a eso se reduce la “calificación” cuando para hacerla sólo importa que el resultado de la encuesta se acerque al de la elección, método que por cierto podría ser aplaudido por algunos analistas, periodistas e incluso uno que otro encuestador pero que sería motivo de mofa en cualquier congreso de estadística (¿se va a cambiar el concepto de precisión para una encuesta?).
Para quien gusta de las analogías, lo anterior sería como exigirle a un meteorólogo el pronóstico del clima sin más elementos que un termómetro y un pluviómetro, se restringiría a decir, por ejemplo, “la próxima semana hará calor y no lloverá”; pero afortunadamente cuenta con imágenes satelitales y con modelos de pronóstico que utilizan otras variables y así es más preciso en sus previsiones (y aún puede “fallar”). Las encuestas son como el termómetro y debemos exigirles la temperatura que existe cuando se mide, solamente ésa.
Existen, eso sí, muchos modelos matemáticos o estadísticos para hacer pronósticos, su función es precisamente esa: pronosticar. Y para hacerlo en materia de elecciones necesitan insumos: uno de ellos, sólo uno, seguramente son las encuestas, pero también utilizan otros como el dinero del que cada candidato dispone, los spots que utilizará, la población gobernada, sus propuestas de campaña, la aprobación del gobierno, problemáticas y hasta conocimiento de fortalezas y debilidades, ésas son el equivalente a las imágenes satelitales que utiliza el meteorólogo, pero ellas no deben afectar la medida de su termómetro, al que no le exige que adivine la temperatura futura, sería absurdo. La pregunta entonces debe ser: ¿Es la encuesta en sí misma un modelo de pronóstico o sólo es un insumo para quienes quieren usar verdaderos modelos?
Una concesión que he hecho y en la que he coincidido con Leo Zuckermann es que aunque las encuestas no pronostiquen sí nos plantean escenarios probables o permiten establecer “momios”. Su método parece no recordar que sólo son eso. Por ejemplo, si las encuestas le dan momios de 70/30 para alguna opción partidista en cada una de 10 elecciones (es decir, 70% de probabilidad de ganar y 30% de perder) y el resultado es que ese partido gana siete y pierde tres, la estimación fue 100% correcta, pero en su “calificación” reportaría “fallas” de 30%, no me parece una evaluación lógica para una buena estimación de los escenarios probables.
Como mencioné al principio, coincido, y mucho, con la necesidad de rendir cuentas de su trabajo a las empresas encuestadoras. Pero no coincido en utilizar al pronóstico como la única medida para hacerlo, ni siquiera como la principal, y lo digo sabiendo que para la mayoría ésa es la parte visible, medible y cuestionable de las encuestas. Una empresa que se dedica a pulsar y a difundir la opinión pública tiene muchas formas de evaluarse, que si bien para algunos son poco interesantes sí podrían considerarse para construir un índice o una calificación. Este tipo de medidas se utiliza, por ejemplo, para evaluar transparencia, calidad y otras características cuando se contratan servicios, van algunas ideas a evaluar:
Características o condiciones que podrían evaluarse a los encuestadores para crear un índice de calidad de su trabajo
1) Cumple la empresa en todos los casos con los requerimientos legales en materia de publicación de encuestas.
2) Tiene una página de internet propia donde se exponga la metodología con fácil acceso y con todos los requerimientos de la autoridad.
3) Se presenta la empresa en foros gremiales a defender su trabajo ante sus pares.
4) Pertenece la empresa o sus directivos a asociaciones donde el requisito sea el cumplimiento de un código ético.
5) Tiene experiencia la empresa o el investigador.
6) En la empresa existe un área de diseño con conocimientos de estadística y de otras materias que garantice que los estudios tengan un mínimo rigor científico
7) Tiene o está en proceso de tener alguna certificación externa a la calidad de su trabajo.
8) Como variable importante puede considerarse su historial en encuestas de salida y de conteos rápidos, donde se mide la capacidad estadística de una empresa ya que se miden votos, votantes y resultados en el momento de la elección.
Nótese que no se exige ser independiente, ni ser empresa grande, ni trabajar para clientes importantes, ni utilizar diseños muestrales muy complejos, solamente son requerimientos mínimos que deben cumplirse para hacer buenas encuestas. Si además se quiere utilizar una variable adicional sobre la historia de los escenarios que han planteado, adelante, pero no debe ser ni la única ni la principal. Al no considerar las variables que se listan u otras similares se corre el riesgo de calificar como buenas a membretes falsos que publican en periodos electorales (existen) o a empresas donde el rigor metodológico importa poco pero que tuvieron un golpe de suerte al “atinarle” en una publicación. Este tipo de evaluaciones que ponderan muchas variables son utilizadas, por ejemplo, en el Banco Mundial al seleccionar a sus proveedores.
Insisto en lo válido y lo oportuno del planteamiento de Leo Zuckermann, pero considero que se fue por el camino fácil al ver a las encuestas como pronósticos, el día que esa percepción se generalice seguro surgirán algunos despistados que pidan prohibirlas y otros a los que se les ocurra que las elecciones ya no son necesarias.
Roy Campos. Presidente de Consulta Mitofsky.
No hay comentarios:
Publicar un comentario
Por favor, sean civilizados.