Polémica sobre desigualdad y encuestas de hogares: Comentarios de Francke y Matuk

A partir del post que escribiera criticando a Raul Mauro y su réplica, Pedro Francke y Farid Matuk han hecho comentarios interesantes que responderé en otro post. Aquí pongo sus comentarios para los interesados.

Stanislao

Pedro Francke

Hola Stany. Algunos comentarios:

Tus càlculos sobre el tamaño de muestra y sus efectos sobre la confiabilidad de las cifras, comparando INEI e Ipsos-Apoyo solo tratan el problema del llamado "error muestral". El punto planteado por Mauro, como por otros (incluyendo yo mismo), es que existe un importante "error no muestral": simplemente los muy ricos no contestan la encuesta, por lo cual aun cuando en el procedimiento de la encuesta sean reemplazados por otros, ese reemplazo es "sesgado" y los resultados no son confiables. Por tratarse de un error no muestral, no hay forma de establecer un paràmetro de confiabilidad de los datos.

El problema es que en todos los calculos usuales de la pobreza, incluyendo los ùltimos que escribiste y pusiste en tu blog, suponen implìcitamente otra hipòtesis no falseable (hasta donde yo conozco para el Perù): que los errores no muestrales son cero.

No tenemos una forma exacta de calcular el tamaño de este error no muestral, aunque una aproximacion simple indica que el consumo total privado segun las encuestas de hogares solo llega a un 60 a 70% del consumo privado de las Cuentas Nacionales. Es evidente que el error no muestral es muy grande, aunque no sabemos a que grupo social corresponde el consumo "faltante". Creo que esta evidencia es suficiente para demostrar que el supuesto "error no muestral = 0" es falsa.

¿Es entonces cientifico suponer que, si bien hay un error no muestral, ese error no muestral seria el mismo a lo largo del tiempo y por lo tanto no cambia la direccion de las variaciones en la distirbucion? Tampoco, si comparas como evoluciona la suma del consumo privado de las ENAHO con las Cuentas nacionales, veràs que tampoco hay una relaciòn estable.

Finalmente, sabemos que en los ùltimos 3 años solo las empresas mineras han elevado sus ganancias en mas de 15 mil millones de soles anuales. He comparado en varios articulos la relacion entre eso y los aumentos de consumo de todos los pobres, y estas sobreganancias son 8 veces màs. Mi hipòtesis es que eso ha modificado sustancialmente la distribuciòn del ingreso en el Perù (aunque en parte se refiere en estricto a rentas de actores del exterior que no se consideran parte del ingreso nacional). Esas ganancias de un centenar de familias no està registrado en las ENAHOs, lo que es obvio si uno compara como evolucionan los ingresos del percentil superior en las ENAHO.

¿Podrìas producir evidencia que contradiga mi hipòtesis?

Farid Matuk

Hola Stanislao:

Escribí unos comentarios a la nota de Raúl en su blog, y los copie en MacroPerú.

Respecto a los tamaños de muestra, la ENAHO es alrededor de 20,000 al año desde el 2001, y Lima tiene 1,600 y los departamentos 600.

Como he afirmado numerosas veces, comparar Ginis en términos absolutos sin intervalos de confianza, es comparar ruido con ruido.

Por ello el Montecarlo que haces con 3,000 simulaciones me suena perfectamente razonable.

El otro tema es que el estrato A de Apoyo es 5%, que si la memoria no me falla es el porcentaje de los hogares que tenían automóbil en el censo de 1961, y que Webb lo tomó como umbral, creo recordar que justamente su definición de clase media era ese 5%.

Una base de datos mas interesante, que tiene un sesgo a priori, es el millón de hogares que el MEF encargo a CUANTO entrevistar para el SISFOH. Algunos análisis están incluidos en el último MMM:

Saludos, Farid

Postdata. Respecto a la manipulación de datos de la pobreza por parte del INEI creo que es fehaciente, por ejemplo:

1) En el 2006 la poblacion de referencia fue ubicada entre el 20% y 50% de la muestra y en 2007 entre el 18% y 48% de la muestra.

2) La imputación de no respuesta se efectuó únicamente para los cuatro primeros meses de 2006

3) Los resultados publicados para 2004-2005-2006-2007 no son replicables, y por ello carecen de transparencia.

Una versada contrarréplica desde el margen sobre relativismo, desigualdad y encuestas de hogares

Raúl Mauro ha escrito una respuesta a mi post anterior aquí:
http://politekon-peru.blogspot.com/2008/09/versos-apasionados-al-margen-sin.html
Más allá de la ironía, aquí van mis respuestas a sus comentarios:

1. Respecto a los errores de interpretación, debo anotar que utilice esa frase no para referirme a Mauro en particular, sino más bien a Campodónico y a Manrique, quienes también escribieron al respecto y que espero comentar. La idea básica tiene que ver con la forma en que se lee la evidencia, y que es un error obvio cuando, por ejemplo, Campodónico utiliza los datos de 3 periodos para evaluar el patrón distributivo de un modelo que se instauró hace 18 años en el país. Sin embargo, el relativismo en el que incurre Mauro es sorprendente:
“La realidad puede tener múltiples interpretaciones y todas pueden ser igualmente válidas y cada quien tiene libertad para suscribir, o discrepar porque hay libertad para hacerlo”.
Depende de la epistemología que se tenga detrás. En mi concepción, el relativismo epistemológico y posmoderno es una estafa. El filosofo argentino Mario Bunge llamaba, hace poco, a criticar “… el posmodernismo por renunciar a los valores de la ilustración, empezando por la racionalidad, el escepticismo moderado (metodológico), la objetividad, la búsqueda de la verdad y la propiedad común del conocimiento básico (a diferencia del técnico). Es preciso denunciar el posmodernismo como una estafa cultural que, de triunfar, nos retrotraería un milenio. En los recintos académicos no hay que tolerar a los enemigos de la razón y la objetividad, tales como el irracionalismo, el relativismo, la filosofía confesional y la llamada «filosofía feminista»….” Ser, saber y hacer. Editorial Paidos, 2002.

Mauro esta en todo su derecho de tomar la postura que estime conveniente. Pero ello no le da derecho a emitir juicios ligeros respecto al trabajo que realizan los profesionales que trabajan en el INEI en la producción de estadísticas. Tiene que poder demostrar lo que afirma.

2. Sobre la politización del INEI es importante notar a que no estamos refiriendo con ello. Concuerdo en que lo ideal sería un INEI que funcione con un directorio elegido como en el BCR. Pero ese no es el punto que pretendía abordar con mi crítica. En el fondo, mi crítica tiene que ver con la facilidad que mucha gente en el Perú pone en cuestión la honestidad profesional y calidad académica de la gente que trabaja o asesoran a instituciones como el INEI. Ello fue notorio en la reciente discusión sobre las cifras de pobreza, en donde con mucha facilidad gente como Hildebrandt o Wiener se mandaron con comentarios insultantes contra el INEI y que de paso trataban muy mal a gente que colaboró en la producción de las estadísticas. Es parte de esa detestable costumbre muy peruana de pensar que eres culpable a menos que sea capaz de demostrar tu inocencia. Como las cifras no son lo que uno espera en función a creencias e ideología, entonces las cifras deben haber sido manipuladas.

Ahora, Mauro tiene una serie de razones para dudar de las cifras del INEI. Coincido con el que en muchos aspectos uno puede formularse reparos respecto a la calidad de los productos estadísticos del INEI. Personalmente, me he encontrado muchas veces con problemas de consistencia en las encuestas de hogares, como por ejemplo los datos de educación de la ENAHO del 2005. Sin embargo, de ahí a decir que esto es producto de una manipulación interesada hecha con el propósito de favorecer a los que están en el poder, me parece exagerado y malintencionado. Más aun cuando el INEI es, en mi opinión, uno de los institutos de estadística más transparentes de la región. De ahí, que podamos detectar las falencias de las que Raúl habla en su post. En los últimos dos años trabaje con encuestas de hogares de 18 países de la región desde el puesto de Junior Professional Associate para el Departamento de Desarrollo Humano para América Latina del Banco Mundial en Washington y el INEI es el único instituto de estadística que pone a disposición de los usuarios las rutinas utilizadas para el computo de indicadores así como todos los códigos de las variables calculadas a partir de los datos originales recogidos en el campo. En la mayoría de los casos, los institutos de estadística apenas si ponen a disposición de los usuarios las bases de datos y los cuestionarios. Muchas veces, aun siendo funcionario del Banco Mundial, tuve que lidiar con funcionarios de los institutos de estadística que ponían reparos a pedidos de acceder a los códigos para el cómputo de las variables agregadas de las encuestas, como por ejemplo el gasto. Es por esa razón que las acusaciones ligeras de manipulación como las que formula Mauro me parecen fuera de lugar.

Por si fuera poco, el INEI permitió la auditoria de sus cifras de pobreza por parte de un comité de expertos del BID y del Banco Mundial, así como de académicos peruanos. Más allá de las típicas discusiones metodológicas, lo cierto es que no escuche ningún reparo serio de ningún miembro del comité. Y no me imagino a Javier Herrera del IRD de Francia o a Renos Vakis del Banco Mundial poniendo en riesgo su prestigio académico y profesional para favorecer al APRA. ¿Un poco difícil, no?

3. El tercer contra-argumento de Raúl tiene que ver con la comparación entre las encuestas del INEI y la de Apoyo. Dice Raúl que estas son inconmensurables. Creo que el argumento es parcialmente cierto, pues puede argumentarse que existirían diferencias importantes en su diseño. Pero tengo la impresión de que Raúl exagera. Uno podría plantear también que las encuestas de empleo y las de niveles de vida son inconmensurables puyes tienen objetivos distintos, pero lo cierto es que, en tanto ambas recogen información sobre las condiciones de vida de la gente -aunque con diferente énfasis e intereses- tienen algún nivel de comparabilidad que sería preciso determinar a partir de un análisis de la documentación sobre los aspectos metodológicos de ambas encuestas. Dicha análisis comparado no es posible en este caso porque dicha información está disponible para el caso de la ENAHO pero no para la encuesta de Apoyo. Pero, mas allá de lo anterior, lo que argumente en mi post anterior es que, dada sus características, difícilmente la encuesta de Apoyo, por más énfasis que tenga en capturar los niveles de vida del los ricos, puede ser un mejor instrumento que la ENAHO debido a su tamaño de muestra. Dado que la característica relevante es compartida por un segmento muy reducido de la población (5 % según Apoyo, que más o menos concuerda con estimaciones que hiciera el profesor Figueroa en su libro Reformas en Sociedades Desiguales), los resultados son muy sensibles al tamaño de la muestra. En las simulaciones que hice mostraba como el margen de error es importante cuando el atributo de interés (en este caso la riqueza) y la muestra son muy pequeños.

Finalmente, quiero hacer notar que no me anima ningún tipo de fanatismo a la hora de formular críticas como esta. Tomen nota que no he defendido ninguna “verdad” en mi crítica; lo único que hecho es hacer notar que no se puede formular hipótesis tan fuertes con evidencia tan débil. En ese sentido, he hecho precisamente lo contrario de lo que Mauro me acusa.