Claves para una evaluación

1. Medir para transformar

Hace más de una década, Esther Duflo recordaba en su discurso de aceptación del Nobel que la lucha contra la pobreza “no se ganará en una sola gran batalla, sino en una serie de pequeños triunfos” y que esos triunfos solo pueden identificarse si cultivamos la costumbre de medir con cuidado cada intervención NobelPrize.org. Hoy esa reflexión resulta ineludible para cualquier científico social: la escasez de recursos y la urgencia de los problemas exigen saber con precisión qué funciona y qué no. Las evaluaciones de impacto rigurosas son el puente entre la buena voluntad y la efectividad; permiten depurar programas ineficaces, escalar los exitosos y, sobre todo, generar aprendizajes que trascienden un proyecto puntual. Sin cifras confiables navegamos a ciegas; con evidencia, en cambio, ajustamos el rumbo y multiplicamos los beneficios sociales.

2. Inferencia causal: la importancia de una buena teoría

La guía de EGAP “10 Things to Know About Causal Inference” insiste en que ningún método compensa la falta de una teoría clara sobre cómo la intervención debería producir cambios. Diseñar un contrafactual creíble (mediante asignación aleatoria o estrategias cuasi- experimentales) es el corazón del ejercicio: sin él, solo describimos correlaciones. Pero tampoco basta con aleatorizar; hace falta blindar la validez interna vigilando el balance inicial de los grupos, documentar las pérdidas muestrales y garantizar la potencia estadística para distinguir entre ausencia de efecto y ausencia de evidencia. Además, una mirada atenta a la heterogeneidad de impactos evita soluciones “promedio” que reproducen desigualdades, y prepara el terreno para la validez externa al comparar resultados con ejemplos en otros contextos. La transparencia (pre‑registro, análisis abierto y reporte de nulos) es la coraza ética que mantiene a raya el sesgo de confirmación.

3. Mecanismos: entender el por qué detrás del qué

Probar que algo funciona es apenas el inicio; comprender por qué lo hace es lo que permite replicar y adaptar la intervención cuando el contexto cambia. La guía “10  Things  to  Know  About  Mechanisms” recuerda que las hipótesis deben formularse antes de la recolección de datos y traducirse en variables medibles. Medir el mecanismo con instrumentos validados (y en el momento oportuno del proceso causal) evita confundir ruido con señal. Podemos descubrir qué parte exacta del programa provoca el cambio probando sus componentes por separado, juntos o en diferentes etapas. Además, si buscamos y no encontramos efectos en lugares donde no deberían aparecer, eso le da aún más solidez a nuestra explicación. Cuando varios mecanismos operan simultáneamente, la triangulación de métodos (encuestas, etnografías, registros administrativos o sensores) permiten dar matices que un solo enfoque pasaría por alto. Describir la implementación en detalle completa el rompecabezas, pues sin el “cómo” no hay aprendizaje transferible.

4. El diseño de buenas encuestas

Incluso el diseño causal más elegante se cae si los instrumentos de medición son débiles. “10 Things to Know About Survey Design” sintetiza las mejores prácticas para que cada pregunta genere información confiable y comparable. La claridad y la simplicidad (una idea por pregunta, lenguaje libre de jerga) reducen ambigüedades; un orden lógico y filtros bien pensados mantienen la atención y evitan sesgos de orden. La estrategia de recolección de datos exige sus propias consideraciones: entrevistas cara a cara requieren enumeradores bien entrenados para minimizar la influencia del entrevistador, mientras que formularios en línea exigen considerar brechas de acceso y alfabetización digital. El pilotaje y los ensayos de campo, lejos de ser un trámite, son el laboratorio donde se detectan malentendidos que podrían acabar con la precisión del estudio. Un marco muestral documentado, la publicación de cuestionarios y la protección rigurosa de datos coronan el proceso con transparencia y ética.

5. Hacia una comunidad de evaluadores en la filantropía

En América Latina se invierten miles de millones de dólares en proyectos sociales y de filantropía, pero las pruebas de qué tan bien funcionan están dispersas por todas partes. Necesitamos una comunidad de evaluadores nueva, más activa: un espacio donde evaluadores de universidades, fundaciones y gobiernos pongan sus hallazgos sobre la mesa, aprendan juntos metodologías más frescas y tejan alianzas para diseñar y medir programas realmente innovadores. Con esa red (que comparta datos abiertos, hable seguido de enfoques nuevos, compare resultados entre países y aproveche herramientas como IA y sensores remotos) aprenderíamos más rápido, subiríamos la vara de calidad y formaríamos a la próxima generación de especialistas que de verdad muevan los indicadores sociales. 

En OnceOnce estamos pensando en cómo armar esa red. Hablemos si estás interesado en hacer parte de esta comunidad.