martes, 9 de septiembre de 2008

El Morsa, la punta del Iceberg y el sesgo por omisión de variables relevantes

Acabo de notar que Roberto Bustamante me menciona de paso en un post reciente sobre la tirante relación entre la Municipalidad de Lima y dos de las más reconocidas universidades públicas del país. Confieso que luego de leerlo bien, no entiendo a que se refiere Roberto ni mucho menos porque me menciona y sin embargo me acusa de solo ver “la punta del iceberg” y de carecer de un “análisis sistémico”. En sus palabras:
“Además, el sistema público de educación superior tiene otros filtros que niegan la posibilidad que sea un espacio para la ciudadanía en general. Stanislao Maldonado lo graficó hace poco en su blog. Para él, en la práctica se trataría de un subsidio. Ciertamente, si se ve la punta del iceberg, no se ve el todo, y creo que ese análisis más sistémico le falta a Maldonado.” La Municipalidad de Lima y las Universidades Públicas.

En un principio pensé que lo que quería decir Roberto es que existirían otros factores importantes que yo no estaría considerando en mi análisis sobre la gratuidad de la educación superior pública, tal y como lo discuto aquí y aquí. Por lo general, cuando uno deja de lado ciertos factores en un análisis no ocurre necesariamente porque no nos hayamos percatado de ellos. Puede ocurrir que simplemente no nos parecen importantes y por esa razón hacemos abstracción de ellos. Puede ser lícito mirar solamente la punta del iceberg si es que ello es lo que estimamos relevante y dejar de lado cualquier otro factor. Sin embargo, desde que el Morsa no menciona cuales son los factores que el estima relevantes y que yo no incluí en mi discusión sobre el tema, no tengo la menor idea de lo que está hablando.

Esto me recuerda un poco al error típico de estudiante de econometría respecto al número de variables a incluir en una especificación econométrica. Es común escuchar, durante la presentación de un paper o en una discusión en clase, alguna crítica respecto a porque tal o cual variable no fue incluida en el análisis. El asunto no radica en señalar la no inclusión de una variable, sino más bien en demostrar porque su no inclusión estaría llevando a un potencial sesgo en nuestros resultados. Si la variable en mención no está correlacionada con alguna de las otras variables incluidas en nuestra especificación, no afectaría en nada nuestro análisis y esta iría a parar en el término de error. Si, por el contrario, dicha correlación existe estaríamos ante un potencial problema de endogeneidad y nuestro análisis estaría sesgado.

En resumen, lo que el Morsa tendría que demostrar es como la no inclusión en mi análisis de las variables que el estima relevantes (las cuales no tengo la mas mínima idea de cuales son) estaría sesgando mi análisis. Decir que mi análisis es incompleto sin demostrar cuál es el sesgo inducido para la omisión de dichas variables, es por decirlo menos, arriesgado.

7 comentarios:

Carlos dijo...

El sesgo más común es creer que más variables es mejor.

Es un error típico, sí; pero creo que ello puede interpretarse también como un intento -inefectivo, pero intento al menos- de no caer en sesgo de variables omitidas. A mi parecer, esa podría ser la noción básica detrás del error que lo lleva a ser tan común.

Lamentablemente es un error costoso ya que solo termina agregando ruido al análisis, al costo de perder rigurosidad y convertirlo en opinología de manga ancha (lo cual es una opción abierta y válida también, siempre y cuando se le reconozca como tal y no se le intente hacer pasar por ciencia...).

No todas las personas tienen una actitud científica al analizar un problema. Ello proviene del carácter y la cosmovisión de las personas, y quizá más aún en nuestro caso, de nuestro entrenamiento como investigadores científicos. En este caso, por las entradas previas al tema por parte de Bustamante, me atrevería a decir que su actitud hacia el tema conlleva más una cuestión de partidismo que de busqueda de la verdad. Tiene un sentido común del asunto y está aferrado a él. Esta en su derecho pero me parece muy arrogante su alución a una supuesta "falta de análisis sistemico".

La situación me recuerda estas líneas de un viejo post de G. Mankiw:

In my view, a lot of non-economics social science is straight advocacy. There is an important role for advocacy. It may influence policy more than science. But the nature of advocacy is to simplify and ignore nuance and confounding. But our (economists) beef with advocacy isn't its lack of nuance. We just get really upset when advocacy masquerades as science.

http://gregmankiw.blogspot.com/2007/08/sociology-of-economics.html

Roberto dijo...

Equivocados los dos. :) No creo que haya un análisis sesgado. ¿Comprensión de lectura dijo alguien?

1. Creo que el análisis de Maldonado es interesante y abre muchas preguntas: ¿Qué está pasando para que la educación superior pública termine siendo un servicio usado mayoritariamente por ciertos niveles socioeconómicos con ingresos medios y no bajos? ¿Por qué no funciona la "gratuidad de la enseñanza"? Pienso en varias hipótesis, desde la existencia de filtros (academias, centros preuniversitarios), el pobre nivel de enseñanza secundario en el interior el país, etc. Pienso, por lo tanto, que el post de Maldonado es, entonces, la punta del Iceberg, de algo mucho mayor. Creo que sería bien osado pensar que con el post referido ya se acabó la discusión. Al contrario, agradezco la serie de preguntas que ahora tengo, justo a partir del análisis que hace y que me parece valioso leerlo y releerlo. En serio, y sin cacha alguna.

2. ¿Partidarizado? No, tampoco. Mi afán es la búsqueda de la verdad. Considero mis posts más que elementos acabados, una suerte de beta permanente, ensayos e hipótesis que voy afinando a medida que la gente comenta (como Carlos, que varias veces me ha corregido algún tropiezo, lo cual también agradezco) o escribe en otros lados.

Tranquilidad, que sé que hay mucha mala onda en la blogósfera, pero eso de ponerse a dar moral lectures, no corre.

Espero que esto acabe con cualquier malentendido.

Saludos.

Stanislao dijo...

Estimados, gracias a los dos por sus comentarios. Sin embargo Roberto, aun sigo intrigado respecto al sentido de tu post. Ojo, toma nota que no me estoy tomando nada de esto personal. Igual como en las discusiones en la lista de RA, quiero ver cuales son tus argumentos y, de ser el caso, cual es tu evidencia.

Saludos

Roberto dijo...

Stanislao, como te decía, el sentido del post tiene que ver con la serie de preguntas que abre la evidencia que encuentras, sobre quiénes están haciendo uso de la educación pública universitaria. No son preguntas sobre la evidencia o la metodología que usas, lo que sería además absurdo, sino sobre los por qués de la situación: ¿Qué sucede para que la composición social de la educación universitaria sea de tal o cual modo? ¿Qué mecanismos de discriminación -en el sentido más amplio de la palabra- operan para que la composición económica sea tal como la presentas? ¿Acceso al lenguaje, al mundo letrado, etc.?

Por eso decía que esa presentación de datos es la punta de un iceberg gigante, donde muchas cosas están conectadas. A eso me refería con que faltaba una visión más sistémica, interdisciplinaria si vale también el término.

Eso :)

Y el libro "Asesinato en el margen" es divertido. Lo leí hace una pila de años. Divertida forma de introducir a un público mayor algunas teorías económicas.

Saludos

Rodrigo Velit dijo...

Para mantener y eliminar una variable existe la elección del nivel de significación y el estadístico de prueba, ¿no? El resto es sesgo político...

Un tal Lucas dijo...

Carlos, la cita que pones del blog de Mankiw no es del mismo Mankiw, sino de una cita incluida en un email que un lector le escribió a Mankiw.

Carlos dijo...

Roberto: Digo partidismo en el sentido que advocas abiertamente por un ideal que has delineado y está presente a lo largo de tus diferentes entradas sobre el tema. El tono normativo es recurrente y se hace más evidente aún cuando lo asocias a lo público en general.

En ese sentido, decía que no buscas la verdad en tanto no hay intento de aproximar la realidad subyacente para decir qué hace la educación ni cómo lo hace sin emitir un juicio, sino vinculándolo siempre a un análisis de porqué es o no es lo que supuestamente debería ser.

Mi comentario es descriptivo sin emitir juicio o valoración. No he dicho que este bien o este mal per se, solo que no se le debe hacer pasar por análisis científico, riguro o "sístemico". En ese sentido tu aclaración es pertinente.

Sobre lo de "moral lecture", que cada quien concluya quien es el "moral lecturer" en este caso en particular.

Lucas: La cita efectivamente es de un economista consultado por el lector de Mankiw. No es de Mankiw himself. Vale la aclaración.