Library

Resource

Análisis de costo-efectividad

Puede el análisis de costo-efectividad ayudar en la prevención del VIH?

¿por qué invertir en la prevención?

La prevención del VIH sigue siendo nuestra mejor esperanza en la lucha contra la epidemia del VIH/SIDA. Se calcula que el costo de la atención médica y otros cuidados para una sola persona VIH+ es de $195,000 (en dólares estadunidenses) durante el transcurso de su vida.¹ Dadas las 40,000 nuevas infecciones que ocurren cada año, el cuidado de todas las personas que se infecten solamente este año costará más de 6 mil millones de dólares.² Al evitar el contagio, la prevención del VIH no sólo salva vidas y retrasa la epidemia, sino que también reduce el número de personas que requieren atención médica costosa para combatir su enfermedad del VIH. El costo de la epidemia del SIDA no se mide en dólares solamente, sino en el sufrimiento y la muerte de amigos, familiares y seres queridos. Lo que la sociedad pierde no se puede medir. Se ha perdido productividad y creatividad así como el dinero gastado en servicios médicos y sociales. El SIDA tiene un alto costo para la sociedad, ya que afecta principalmente a adultos jóvenes que están en la mejor edad para trabajar y tener hijos. En los EEUU en 1998, entre las personas de 25-44 años, el VIH fue la quinta causa de muerte, la primera causa de muerte para hombres afroamericanos y la tercera para mujeres afroamericanas.³

¿qué es el análisis de costo-efectividad?

El término análisis de costo-efectividad se refiere al análisis económico de una intervención. En la prevención del VIH, el costo de cada infección que se evite representa una medida de costo-efectividad. Aquí entran en juego varios factores: el costo de la intervención, el número de personas alcanzadas, sus conductas riesgosas e incidencia de VIH, y la eficacia de la intervención para cambiar la conducta. El propósito del análisis de costo-efectividad es cuantificar cómo estos factores se combinan para determinar el valor general de un programa. El análisis de costo-efectividad puede determinar si una intervención reduce costos (el costo por infección evitada es inferior al costo del tratamiento y cuidado de por vida de la persona con VIH/SIDA) o si es costo-efectiva (es decir el costo por infección evitada es favorable en comparación con otros servicios de salud como los programas para dejar de fumar o detectar la diabetes). Muchas veces las organizaciones comunitarias, los grupos de planificación comunitaria y los departamentos de salud tienen la difícil tarea de escoger, entre una amplia gama de estrategias para evitar el VIH, aquellas intervenciones que se ajusten mejor a las necesidades de los grupos de mayor riesgo en su comunidad. Conocer la costo-efectividad de los programas puede ayudarles a decidir cómo salvar el mayor número de vidas con recursos limitados.⁴

¿cuáles son las limitaciones?

El análisis de costo-efectividad es una consideración importante, pero es sólo uno de muchos factores que deben tenerse en cuenta al tomar decisiones programáticas. Los modelos de costo-efectividad no toman todo en cuenta. A veces omiten factores importantes pero difíciles de cuantificar como la estabilidad familiar, el estigma relacionado con el VIH y la justicia social. Además de ayudar a los clientes a reducir su riesgo de contraer el VIH, muchas intervenciones también los ayudan a conseguir vivienda estable, dejar relaciones abusivas o ingresar a programas para dejar las drogas. Esto no es fácil de medir usando los modelos de costo-efectividad. Los cálculos de costo-efectividad de los programas de prevención del VIH no se pueden generalizar fácilmente, pues dependen de tasas de infección y conductas arriesgadas que pueden variar mucho entre grupos y comunidades. A diferencia de una cirugía, que tiene las mismas posibilidades de obtener buenos resultados en Cleveland que en Dallas, la eficacia de los programas de prevención del VIH puede variar de acuerdo con las características de la epidemia en una comunidad en riesgo.⁵ Cada vez más se les pide a los programas de prevención del VIH que “comprueben su valía” demostrando que reducen costos o que son costo-efectivos. El hecho de que un programa no le ahorre dinero a la sociedad no significa sea inadecuado o innecesario. Un programa que no ahorra dinero puede seguir siendo costo-efectivo; o bien, puede ser un servicio que la sociedad necesita y desea aún cuando no reduzca costos ni sea costo-efectivo.

¿qué programas son costo-efectivos?

Se ha comprobado la costo-efectividad de varias estrategias de intervención para usuarios de drogas inyectables: el intercambio de jeringas (unos $4,000-40,000 por infección de VIH evitada, o IVE), pruebas del VIH y consejería ($5,000-10,000 por IVE) y tratamiento de la drogadicción ($40,000 por IVE, una cifra que tal vez no incluya otros beneficios importantes como la reducción de la delincuencia).⁶ El proyecto LIGHT, un ensayo clínico de prevención del VIH con selección al azar y un grupo de control que se realizó en varios sitios, puso a prueba una intervención de siete sesiones de grupo. El proyecto LIGHT encontró que la intervención de varias sesiones fue más eficaz para reducir el riesgo sexual comparada con la de ver una sola vez un video de una hora. Sin embargo, la intervención de siete sesiones también fue la más costosa de implementar. El análisis de costo- efectividad demostró que la intervención de varias sesiones no sólo fue más eficaz que la sesión de video para reducir el riesgo, sino que también fue la más costo-efectiva.⁷ Safer Choices (Opciones Más Seguras) es un programa escolar para prevenir el VIH, las ETS y el embarazo. Este programa logró un incremento del 15% en el uso de condones y un incremento del 11% del uso de métodos anticonceptivos entre los estudiantes sexualmente activos. Al evitar casos de VIH, clamidia, gonorrea, enfermedad pélvica inflamatoria y embarazo, Safer Choices ahorró $2.65 en costos médicos y sociales por cada dólar gastado en el programa.⁸ El proyecto Mpowerment es una intervención comunitaria dirigida por y para hombres jóvenes gay y bisexuales. Mpowerment se realizó en una ciudad mediana con pocos casos de VIH. Los jóvenes emplearon el fortalecimiento comunitario y la influencia de pares para cambiar las normas de la comunidad homosexual. El programa resultó ser costo-efectivo a pesar de tener componentes que consumen muchos recursos como el personal, el alquiler de un espacio y el tiempo dedicado a la organización de funciones sociales. Se calcula que Mpowerment evitó 5-6 infecciones de VIH durante el transcurso de 5 años, con un costo por IVE de $14,600-18,300.⁹ En los países en vías de desarrollo, donde hay una enorme necesidad de campañas agresivas de prevención del VIH, se ha comprobado que las intervenciones son costo-efectivas. Esto se debe a la gravedad de la epidemia y a los bajos costos de los programas y de personal en estos países. Algunos cálculos de intervenciones costo-efectivas incluyen: control de ETS entre trabajadores sexuales comerciales ($8-10 por IVE), promoción del uso de condones femeninos entre mujeres con alto riesgo (reduce costos), pruebas del VIH y consejería hechas en forma voluntaria (unos $70 por IVE en parejas VIH-discordantes, $300 en general), control comunitaria de ETS ($350 por IVE) y reducción con nevirapina de la transmisión madre-a-hijo ($300-500 por IVE).¹⁰

¿qué demuestra el análisis de costo-efectividad?

Suponiendo que todos los otros factores sean iguales, las intervenciones dirigidas a áreas de alta seroprevalencia tienden a ser más costo-efectivas que otras intervenciones no dirigidas.
Bajo costo no significa costo-efectivo. Si un cliente necesita una intervención intensiva, gastar el dinero en esa intervención podría ser la opción más costo-efectiva a largo plazo.
Alcanzar a más clientes por la misma cantidad de dinero no necesariamente produce el mejor resultado. Repartir folletos a todo mundo genera pocos cambios de comportamiento. En cambio, se pueden producir cambios de conducta notables al trabajar intensivamente con personas de alto riesgo en cómo usar condones correctamente, cómo hablar con sus parejas sexuales sobre su deseo de protegerse en el sexo y a que reconozcan y eviten situaciones riesgosas.¹¹

¿qué queda por hacer?

Los análisis de costo-efectividad pueden ayudar a determinar cómo salvar el máximo número de vidas con fondos limitados. De no tomarse en cuenta la información sobre estos análisis, se puede malgastar los escasos fondos de prevención y por lo tanto perder la oportunidad de salvar vidas.¹² Con este fin, se necesitan modelos más sencillos de costo-efectividad y mejor asistencia técnica para ayudar a quienes toman las decisiones sobre la salud pública a sacar el mejor provecho de ésta información.¹³

¿quién lo dice?

1. Holtgrave DR, Pinkerton SD. Updates of cost of illness and quality of life estimates for use in economic evaluations of HIV prevention programs. Journal of Acquired Immune Deficiency Syndromes. 1997;16:54-62. 2. Holtgrave DR, Pinkerton SD. The economics of HIV primary prevention. In JL Peterson & RJ DiClemente (eds). Handbook of HIV Prevention. New York: Plenum Press, 2000; 285-296. 3. Centers for Disease Control and Prevention. Mortality slide series.https://www.cdc.gov/hiv/library/slidesets/index.html. 4. Kahn JG. The cost-effectiveness of HIV prevention targeting: how much more bang for the buck? American Journal of Public Health. 1996;86:1709-1712. 5. Pinkerton SD, Johnson-Masotti AP, Holtgrave DR, et al. Using cost-effective league tables to compare interventions to prevent sexual transmission of HIV. AIDS. 2001;15:917-928. 6. Kahn JG. Economic evaluation of primary HIV prevention in intravenous drug users. In Holtgrave DR, ed. Handbook of Economic Evaluation of HIV Prevention Programs. New York:Plenum Press, 1998. 7. Pinkerton SD, Holtgrave DR, Johnson-Masotti AP, et al. Cost-effectiveness of the NIMH Multisite HIV Prevention intervention. AIDS and Behavior. 2002;6:83-96. 8. Wang LY, Davis M, Robin L, et al. Economic evaluation of Safer Choices. Archives of Pediatric and Adolescent Medicine. 200;154:1017-1024. 9. Kahn JG, Kegeles SM, Hays R, et al. Cost-effectiveness of the Mpowerment Project, a community-level intervention for young gay men. Journal of Acquired Immune Deficiency Syndromes. 2001;27:482-491. 10. Marseille EA, Hofmann PB, Kahn JG. HIV prevention should be funded before HAART in Sub-Saharan Africa. Lancet. In press 11. Centers for Disease Control and Prevention. Compendium of HIV Prevention Interventions with Evidence of Effectiveness. November 1999. 12. Institute of Medicine. No time to lose – getting more from HIV prevention. Washington, DC: National Academy Press; 2000. 13. Pinkerton SD, Holtgrave DR. A method for evaluating the economic efficiency of HIV behavioral risk reduction interventions. AIDS & Behavior. 1998;2:189-201.

Otras lecturas:

DR Holtgrave (ed). Handbook of Economic Evaluation of HIV Prevention Programs. New York: Plenum Publishers, 1998. Gold MR, Siegel JE, Russell LB, Weinstein MC (eds). Cost- effectiveness in Health and Medicine. New York: Oxford University Press, 1996.

Preparado por James G. Kahn*, Steven D. Pinkerton**, David R. Holtgrave*** *Institute for Health Policy Studies, UCSF; **Center for AIDS Intervention Research, Medical College of Wisconsin; ***Rollins School of Public Health, Emory University Tradución Rocky Schnaath Abril 2002. Hoja Informativa 12SR

Resource

Evaluation

How does evaluation help in HIV prevention?

what is evaluation?

Most HIV prevention service providers conduct evaluation and data collection activities on a regular basis, although they may not consider it evaluation. Writing case notes during a prevention case management session, discussing client feedback on program services, watching needle exchange in action, taking notes at staff meetings: these are all examples of “informal” data collection that happen every day. The evaluation provides systems for collecting data and then helps providers make sense of the data they collect so that they can use it in their work. Evaluation can help providers increase their knowledge, better understand the populations they serve, improve programs, and make decisions. Evaluation is a way to identify program strengths and areas for improvement.¹ It is a way for service providers to be responsible to the communities in which they work, to show accountability to funders, and to ensure that programs have the intended result. Evaluation can be integrated into all phases of planning and implementing an intervention:

Before (formative evaluation, needs assessment): To understand the context of the lives of community members and what puts them at risk, how they avoid risk, and what kinds of resources they need to reduce risk and maintain health and wellness. This can help shape the program and provide baseline data to help measure any change.
During (process monitoring and evaluation, quality assurance): To find out what actually occurs in practice and if the program is operating as planned; document interactions with participants; discover which components work best and if the program meets the needs of the participants. This can help develop any changes to the program.
After (outcome and impact evaluation): To determine what, if any, effect (short and long-term) the program has had on the participants, their partners/families, program staff, and the community. At this time, program staff can reassess their objectives and use findings to further refine their programs.

why do evaluation?

Evaluation can help agencies work more efficiently and improve their programs. It is not a substitute for staff and providers’ experience and knowledge but can offer complementary information. Using systematic data collection to design an intervention or program can help agencies make smart choices about what elements to incorporate and what behaviors, influences, and life issues to address.¹ Evaluation can help agencies successfully compete for funds and be precise in seeking funding. Funders often require agencies to show that they have systematically thought through current and proposed interventions.² Evaluation can also help agency staff know exactly what services best serve their program participants so that they don’t respond to all grant proposals, but only ones that specifically relate to their participants’ needs.¹

what’s a good evaluation question?

Good evaluation questions come from well-written program objectives that are both realistic and measurable. When agencies design program activities based on the desired outcome (example: conduct outreach—increase the number of women tested for HIV), forming an evaluation is much easier.³ It is hard to evaluate programs that lack direction. The mark of a good evaluation question is that you care about the answer. Is it more helpful to know the number of condoms handed out in a month, or what clients do with the condoms after they take them? A good question should also be answerable. Many agencies may want to know if their programs are effective, but broad questions like that may require more time, money, and staff than are possible. For example, instead of asking, “Has our agency lowered HIV rates among gay men?” a more helpful and more easily answerable question might be, “Have the men who attended our living room discussion program reduced their use of methamphetamine or increased their use of condoms?”

what are perceptions of evaluation?

A common perception of evaluation is that it is only used by funders to pass judgment, to “prove” that a program worked or failed. It is no wonder that many agencies are wary of the idea of evaluation.^4,5 Yet evaluation is a way for providers to know for themselves what works, what doesn’t work, what adjustments might improve their program, and whether what they are doing makes a difference for their clients and community. Another perception of evaluation is that it is often “done to” an agency. However, evaluation can be incorporated into regular program planning and all agency members can be active participants. This strengthens the process and ensures that results will be understood and used. Evaluators, front line staff, representative community members or program participants should be included in all phases: designing evaluation questions, reviewing forms or guides, discussing results, and brainstorming action points.⁶

how is an evaluation conducted?

There are many ways for agencies to conduct the evaluation. One way is to train staff in evaluation or hire an internal staff person with experience doing research to be in charge of evaluation and data. This approach may work best at a large agency with many resources. For example, AIDS Project Los Angeles’s evaluation team worked with their Commercial Sex Venues (CSV) initiative to design and evaluate risk-reduction activities in nine CSVs in Los Angeles County. Program and evaluation staff collaboratively developed and implemented formative research, pre/post evaluations, outreach forms, program evaluation and an annual needs assessment of patrons. CSV patrons reported decreased unprotected sex in CSVs at a one-year follow-up.⁷ Another example is for an agency to hire an external evaluator either for a one-time or ongoing evaluation. This approach can be less expensive than hiring a staff person, can build agency capacity to conduct some aspects of evaluation internally, and may be perceived by funders as having less bias than an internal evaluator. Agencies have had both positive and negative experiences with external evaluators. These evaluations are more likely to be successful when there is a strong partnership; agreement about roles, responsibilities, and expectations; and a dedication to collaboration between the evaluator and the agency. When hiring an evaluator, agencies can look for someone with a history of successful collaboration, extensive skills and experience with evaluation in a service setting, and knowledge or experience with the program population.⁸ A third example is for an agency and a local evaluator to work collaboratively to develop evaluation approaches and build agency capacity. Chicago HIV Prevention and Adolescent Mental Health Project (CHAMP), is a long-term collaboration between researchers at the University of Chicago and parents, schools, and community agencies. Together, they have designed, implemented, and evaluated an HIV prevention program for Black youth and families. The collaboration began in 1995 and continues today.⁹ As HIV prevention service providers have become more involved in the evaluation, technical assistance, and capacity building assistance (CBA) programs for providers have increased. The Centers for Disease Control and Prevention (CDC) has funded capacity building that integrates program planning, monitoring, and evaluation activities in agencies. A national network of CBA providers builds organizational, HIV prevention program and evaluation capacity in agencies that serve Asian & Pacific Islanders, Latino/as, American Indians/Alaska Natives, and African Americans.¹⁰

what still needs to be done?

Without specific time and money set aside, evaluation can get lost in the crisis-oriented world of client services. Agencies should be encouraged to foster an atmosphere of learning along with service provision. Agencies can write evaluation time into job descriptions and allow time for staff to read and discuss what they’ve learned in regular meetings. Funders need to cover all costs related to evaluation so that it can be appropriately staffed. Often-overlooked costs include staff time and training, data entry, data analysis, write-up of findings, and dissemination costs. Making sure that evaluation findings are shared is crucial. Agency staff needs to write about their findings and present them at regional and national conferences. Funders need to share reports with agencies and other funders and synthesize the lessons learned for all their grantees. Health departments can organize regional report-backs and encourage networking among agencies with similar evaluation needs.

Says who?

1. Gandelman AA, DeSantis LM, Rietmeijer CA. Assessing community needs and agency capacity—an integral part of implementing effective evidence-based interventions. AIDS Education and Prevention. 2006;18:32-43. 2. Holtgrave DR, Gilliam A, Gentry D et al. Evaluating HIV prevention efforts to reduce new infections and ensure accountability. AIDS Education and Prevention. 2002;14SA:1- 3. Nu’Man J, King W, Bhalakia A, et al. A framework for building organizational capacity integrating planning, monitoring, and evaluation. Journal of Public Health Management and Practice. 2007;Suppl:S24-32. 4. Kegeles SM, Rebchook GM. Challenges and facilitators to building program evaluation capacity among community-based organizations. AIDS Education and Prevention. 2005;17:284-299. 5. Napp D, Gibbs D, Jolly D, et al. Evaluation barriers and facilitators among community-based HIV prevention programs. AIDS Education and Prevention. 2002;14:38-48. 6. Gilliam A, Davis D, Barrington T, et al. The value of engaging stakeholders in planning and implementing evaluations. AIDS Education and Prevention. 2002;14:5-17. 7. Mutchler M, Colemon L. A model for community-based participatory evaluation: Benefits, challenges, and lessons of evaluating HIV prevention in commercial sex venues. Presented at the 2005 Nat’l HIV Prevention Conf, Atlanta, GA. #M3-D0601. 8. Center for AIDS Prevention Studies. Working Together: A Guide to Collaborative Research in HIV Prevention. 2001. 9. Baptiste DR, Paikoff RL, McKay MM, et al. Collaborating with an urban community to develop an HIV and AIDS prevention program for black youth and families. Behavior Modification. 2005;29:370-416. 10. Taveras S, Duncan T, Gentry D, et al. The evolution of the CDC HIV Prevention Capacity-building Assistance Initiative. Journal of Public Health Management & Practice. 2007;13S:S8-S15.

Evaluation resources:

Manuals

Good Questions, Better Answers: A Formative Research Handbook
Program Evaluation, NMAC

Researchers

Behavioral and Social Science Volunteer Program (BSSV)

Training

STD/HIV Prevention Training Centers

Tools

AETC National Evaluation Center
American Evaluation Association
CDC Program Evaluation Resources
The Community Toolbox
Virtual Program Evaluation Consultant (VPEC)

*All websites accessed 10/2007

Prepared by Dara Coan,* Oscar Macias,* Janet Myers,** Kevin Khamarko*** *San Francisco Public Health Department, **CAPS, ***AETC Evaluation Center December 2007. Fact Sheet #44ER Special thanks to the following reviewers of this fact sheet: Carl Bell, Alice Gandelman, Ellen Goldstein, Carol Kong, Gene Shelley, Stacy Vogan, Duane Wilkerson. Reproduction of this text is encouraged; however, copies may not be sold, and the University of California San Francisco should be cited as the source. Fact Sheets are also available in Spanish. To receive Fact Sheets via e-mail, send an e-mail to [email protected] with the message “subscribe CAPSFS first name last name.” ©December 2007, University of CA.

Resource

Evaluación

¿Cómo ayuda la evaluación en la prevención del VIH?

¿qué es la evaluación?

La mayoría de los proveedores de servicios de prevención del VIH realizan actividades periódicas de evaluación y recolección de datos, aunque tal vez no consideren que sea una evaluación. Tomar notas durante reuniones de manejo de casos de prevención, comentar las opiniones de los clientes sobre los servicios que han recibido, observar un sitio de intercambio de jeringas, tomar notas en juntas del personal: todos son ejemplos de la recolección “informal” de datos que sucede a diario. La evaluación provee sistemas para obtener datos, luego ayuda a los proveedores a entenderlos y aplicarlos en el trabajo. La evaluación puede profundizar los conocimientos de los proveedores, su entendimiento de los grupos poblacionales que sirven, aumentar la eficacia de los programas que ofrecen y las decisiones que se toman. La evaluación es una manera de identificar los puntos programáticos fuertes y débiles¹ y facilita que los programas obtengan los resultados que desean. También permite que los proveedores se responsabilicen ante las comunidades en que trabajan y ante las entidades que los financian. La evaluación puede integrarse en todas las fases de planificación y ejecución de una intervención.

Antes (evaluación formativa, valoración de necesidades): Para entender el contexto de las vidas de los miembros de la comunidad y lo que los pone en riesgo, cómo evitan el riesgo o qué recursos necesitan para reducirlo y mantener la salud y el bienestar. Esto puede ayudar a darle forma al programa y proveer datos basales que ayuden a medir cualquier cambio.
Durante (monitoreo y evaluación del proceso, control de calidad): Para averiguar exactamente qué sucede en la práctica y si el programa opera tal y como fue planeado; para documentar las interacciones con los participantes; para identificar los componentes que sirven mejor y para saber si el programa satisface las necesidades de los participantes. Esta información puede ayudar a desarrollar cambios al programa.
Después (evaluación del impacto y los resultados): Para determinar si el programa tuvo algún efecto a corto y a largo plazo sobre los participantes, sus parejas y familias, sobre el personal del programa y la comunidad. En ese momento, el personal puede reevaluar los objetivos del programa y aprovechar los datos obtenidos para refinar más los programas.

¿por qué hay que evaluar?

La evaluación puede aumentar la eficiencia y la calidad de los programas. No sustituye la experiencia ni los conocimientos del personal pero sí puede brindar información complementaria. El uso de datos recolectados sistemáticamente para el diseño de una intervención o programa puede ayudar a tomar decisiones inteligentes sobre qué elementos incorporar y qué conductas, influencias y circunstancias de vida se deben tomar en cuenta.¹ La evaluación puede ayudar a las organizaciones a solicitar fondos con mayor éxito, claridad y precisión. Muchos financiadores requieren que los solicitantes demuestren que han pensado sistemáticamente en las intervenciones que brindan actualmente y las que proponen.² La evaluación también puede ayudar a identificar exactamente qué servicios benefician más a los participantes, lo cual permite que en vez de responder a toda convocatoria de financiación, se trabaje sólo en las que concretamente respondan a las necesidades de los participantes.¹

¿cuál es una buena pregunta de evaluación?

Las buenas preguntas de evaluación se derivan de objetivos programáticos bien formulados que sean realistas y medibles. Al diseñar actividades programáticas basadas en un resultado deseado (por ejemplo: realizar extensión comunitaria para aumentar el número de mujeres que reciben la prueba del VIH), es mucho más fácil articular la evaluación.⁴ Por el contrario, es difícil evaluar programas que carecen de dirección. El indicador de una buena pregunta de evaluación es que a uno le importe la respuesta. ¿Qué es más útil conocer: el número de condones repartidos en un mes, o lo que hacen los clientes después de recibirlos? Asimismo, una pregunta buena también debe poder ser respondida. Muchas organizaciones tal vez quieran saber si sus programas son eficaces, pero estas preguntas tan amplias requieren de más tiempo, dinero y personal de los que disponen. Por ejemplo, en vez de preguntar, “¿Hemos reducido las tasas de VIH entre los hombres homosexuales?” otra pregunta más útil y más fácil de contestar podría ser: “¿Han reducido su consumo de metanfetamina o aumentado su uso de condones los hombres que asistieron a nuestro programa de pláticas grupales?”

¿cuáles son las percepciones?

Una percepción común sobre la evaluación es qué ésta se usa únicamente por financiadores para “comprobar” el éxito o fracaso de los programas. No es de extrañar que muchas organizaciones desconfíen al respecto.^4,5 Sin embargo, la evaluación permite que los proveedores descubran por sí mismos qué funciona y qué no, qué ajustes se necesitan para mejorar el programa y si sus servicios están logrando cambios en las vidas de sus usuarios y en la comunidad. Otra percepción es que la evaluación “se le hace a” la organización por alguien ajeno a ésta, cuando en realidad puede incorporarse en la planificación programática con la participación plena de todos los miembros de la propia organización. Esto fortalece el proceso y asegura que los resultados se entiendan y se aprovechen. Los evaluadores, el personal de atención al público, los representantes de la comunidad o participantes del programa deben ser incluidos en todas las fases: el diseño de las preguntas de evaluación, la revisión de formularios o guías y las discusiones sobre resultados y puntos de acción.⁶

¿cómo se realiza la evaluación?

Las organizaciones pueden realizar la evaluación de muchas maneras. Una es capacitar al personal para que la efectúe o contratar a algún miembro del propio personal con experiencia en investigación para que se encargue de la evaluación y de los datos. Este método puede ser el más apto para una organización grande con muchos recursos. Por ejemplo, el equipo de evaluación del AIDS Project Los Angeles colaboró con la iniciativa Commercial Sex Venues (CSV) para diseñar y evaluar actividades de reducción de riesgos en nueve CSV en el condado de Los Ángeles. El personal del programa y el de evaluación diseñaron e implementaron conjuntamente investigaciones formativas, pre y postevaluaciones, formularios de extensión comunitaria, la evaluación del programa y una valoración anual de las necesidades de los usuarios. Los usuarios de los CSV reportaron una reducción en encuentros sexuales sin protección en el seguimiento realizado un año más tarde.⁷ Otro ejemplo es que la propia organización contrate a un evaluador externo para que realice este trabajo ya sea una sola vez o en forma continua. Este método puede resultar menos costoso que la contratación de personal de plantilla, puede promover la ejecución de algunos aspectos de la evaluación con recursos internos y puede ser visto por los financiadores como un proceso menos subjetivo que el realizado por un evaluador interno. Las experiencias de las organizaciones con los evaluadores externos han sido positivas y negativas. Estas evaluaciones suelen ser más exitosas cuando existe una colaboración fuerte; concordancia sobre los roles, responsabilidades y expectativas; y una solidaridad absoluta entre el evaluador y la organización. Al contratar a un evaluador, las organizaciones pueden buscar a un profesional con un historial de colaboración exitosa, amplia habilidad y experiencia de evaluación en ambientes de prestación de servicios y conocimientos o experiencia con la población beneficiada por el programa.⁸ Un tercer ejemplo es la colaboración entre una organización y un evaluador para desarrollar los métodos de evaluación y aumentar la capacidad de la organización. En Chicago, el HIV Prevention and Adolescent Mental Health Project (CHAMP), es una colaboración a largo plazo entre investigadores de la Universidad de Chicago, padres de familia, escuelas y organizaciones comunitarias. Conjuntamente han diseñado, implementado y evaluado este programa de prevención del VIH para jóvenes negros y sus familias. Iniciaron su colaboración en 1995 y la continúan hasta la fecha.⁹ Los Centros para el Control y Prevención (CDC siglas en inglés) han otorgado fondos para proyectos de fomento de capacidad (CBA en inglés) que integran las actividades de planificación, vigilancia y evaluación programática en las organizaciones. Una red nacional de proveedores CBA fomenta la capacidad organizacional, de prevención del VIH y de evaluación en organizaciones con usuarios asiáticos e isleños del Pacífico, latinos, indígenas americanos, nativos de Alaska y afroamericanos.¹⁰

¿qué queda por hacer?

Si no se le asignan tiempo y fondos concretos, la evaluación puede perderse en el mundo de los servicios a usuarios el cual gira en torno a las crisis. Se debe alentar a las organizaciones a promover un ambiente de aprendizaje junto con la provisión de servicios. Las organizaciones pueden incorporar en los perfiles de sus puestos el tiempo necesario para realizar la evaluación y pueden asignar al personal el tiempo necesario para comentar lo que han aprendido en reuniones periódicas. Los financiadores necesitan cubrir todos los gastos relacionados con la evaluación para que ésta cuente con suficiente personal. Con frecuencia se pasa por alto los costos del tiempo y capacitación del personal, el registro de datos, el análisis de datos y la redacción y divulgación del informe sobre los resultados de la evaluación. Es esencial difundir los resultados de la evaluación. El personal de la organización necesita redactar informes sobre los hallazgos y presentarlos en congresos regionales y nacionales. Los financiadores necesitan compartir informes con las organizaciones y con otros financiadores y sintetizar las lecciones aprendidas para todos sus financiados. Los departamentos de salud pueden organizar reuniones regionales para difundir resultados y fomentar vínculos entre organizaciones con necesidades de evaluación similares.

¿Quién lo dice?

1. Gandelman AA, DeSantis LM, Rietmeijer CA. Assessing community needs and agency capacity—an integral part of implementing effective evidence-based interventions. AIDS Education and Prevention. 2006;18:32-43. 2. Holtgrave DR, Gilliam A, Gentry D et al. Evaluating HIV prevention efforts to reduce new infections and ensure accountability. AIDS Education and Prevention. 2002;14SA:1- 3. Nu’Man J, King W, Bhalakia A, et al. A framework for building organizational capacity integrating planning, monitoring, and evaluation. Journal of Public Health Management and Practice. 2007;Suppl:S24-32. 4. Kegeles SM, Rebchook GM. Challenges and facilitators to building program evaluation capacity among community-based organizations. AIDS Education and Prevention. 2005;17:284-299. 5. Napp D, Gibbs D, Jolly D, et al. Evaluation barriers and facilitators among community-based HIV prevention programs. AIDS Education and Prevention. 2002;14:38-48. 6. Gilliam A, Davis D, Barrington T, et al. The value of engaging stakeholders in planning and implementing evaluations. AIDS Education and Prevention. 2002;14:5-17. 7. Mutchler M, Colemon L. A model for community-based participatory evaluation: Benefits, challenges and lessons of evaluating HIV prevention in commercial sex venues. Presented at the 2005 Nat’l HIV Prevention Conf, Atlanta, GA. #M3-D0601. 8. Center for AIDS Prevention Studies. Working Together: A Guide to Collaborative Research in HIV Prevention. 2001. 9. Baptiste DR, Paikoff RL, McKay MM, et al. Collaborating with an urban community to develop an HIV and AIDS prevention program for black youth and families. Behavior Modification. 2005;29:370-416. 10. Taveras S, Duncan T, Gentry D, et al. The evolution of the CDC HIV Prevention Capacity-building Assistance Initiative. Journal of Public Health Management & Practice. 2007;13S:S8-S15. Recursos Manuales

A Buenas Preguntas… ¡Mejores Respuestas!: Un manual de investigación formativa, CAPS
Evaluacion de Programas, NMAC
Manual de Evaluación, Fundación W.K. Kellogg

Herramientas

Caja de Herramientas Comunitarias

Preparado por Dara Coan,* Oscar Macias,* Janet Myers,** Kevin Khamarko*** *San Francisco Public Health Department, **CAPS, ***AETC Evaluation Center Traducción: Rocky Schnaath Abril 2008. Hoja de Dato #44SR

Resource

Levels of prevention

How does HIV prevention work on different levels?

what are levels?

HIV prevention is not just about changing individual behavior. Many other factors also influence HIV transmission, such as relationships with family and friends, community norms, access to health care and local laws. Working on different levels means addressing all these factors through multiple approaches: individual, couple/family, community, medical and legal.¹ HIV prevention programs for injecting drug users (IDUs) in the US have included interventions on many different levels. These programs have incorporated interventions such as: intensive street outreach to educate IDUs, drug treatment, syringe exchange, community-building and empowerment efforts and adherence programs for HIV+ IDUs. Where these efforts are in place, rates of HIV among IDUs have remained stable.¹ Prevention efforts addressing multiple levels have reversed HIV epidemics in Uganda and Thailand, and averted an epidemic in Senegal. Senegal, for example, used prevention programs on the individual level (HIV counseling and testing), community level (HIV education in schools, condom promotion among sex workers), medical level (treatment of sexually transmitted diseases [STDs]), and structural/political level (mobilizing religious and political leaders to talk openly about HIV) to maintain one of the lowest rates of HIV infection in Sub-Saharan Africa.³

individual level

Many prevention programs help individuals change risky behavior. Project EXPLORE was a randomized trial of an individually-based counseling intervention for men who have sex with men. EXPLORE recognized that different men experience different individual, interpersonal and situational factors associated with risk. The program tailored the intervention to each man’s needs. Ten counseling modules used motivational interviewing to assess risk behavior, enhance sexual communication, understand substance use and recognize triggers to unsafe sex.⁴ Project RESPECT was a randomized HIV counseling trial conducted at STD clinics in five cities in the US with high HIV seroprevalence. The program evaluated whether interactive counseling is more effective than informational messages in reducing risk behaviors and preventing HIV and other STDs. The program found relatively little difference between 4- and 2-session interactive counseling interventions, but found lower rates of new STDs among the interactive counseling groups compared to groups that only received information. Reported condom use increased in all groups, with significantly greater protection among those in interactive counseling.⁵

couple/family level

The Visiting Nurse Service of New York offers comprehensive in-home services to families affected by HIV, substance abuse, sexual abuse and mental illness. The children in these families are at high risk for repeating the histories and behaviors of their parents. The program provides home-based interventions that include play therapy, health and safe sex education, family and individual counseling, relapse prevention for the parent and drug awareness and prevention for the children. Helping children deal with anger and resentment towards their parents lessens the likelihood that their anger will be displaced on themselves, thus repeating the behavior of the parent. Supporting each family member is key to breaking the cycle of dysfunction in these families.⁶ Interventions that promote safer sexual behaviors for both members of a couple can also be important. Project Connect was a six-session relationship-based intervention for women in a heterosexual relationship. Women attended separately or with their partners. The sessions emphasized communication, negotiation and how gender roles affect relationship dynamics. Project Connect helped decrease risky behaviors for couples receiving the intervention together and for couples where the woman attended alone.⁷

community level

Community-level programs can reach large numbers of people and can therefore be cost-effective. The Mpowerment Project promoted a norm of safer sex among young gay men through a variety of social, outreach and small group activities designed and run by young men themselves. They found that young men engaging in unsafe sex who were unlikely to attend workshops were more likely to be reached through outreach activities such as dances, movie nights, picnics and volleyball games. Rates of unprotected anal intercourse fell from 40% to 31% after the intervention.⁸ A community-level intervention with ethnically-diverse adolescents living in low-income housing, uses skills training, modeling, peer norm and social reinforcement to reduce sexual risk. Using social events and peer leaders nominated for training and team building, the program attracted neighborhood youth. The peer leaders developed small media prevention messages and planned community-wide events. Workshops for parents were also offered. The community intervention was shown to be more effective in delaying onset of first intercourse than education or skills building only.⁹

medical level

In the past few years, various medical approaches have been shown to be effective in HIV prevention. For example, antiretroviral drugs used to treat HIV have also been used to help prevent mother to child transmission (MTCT) of HIV, and to prevent transmission after accidental exposures (post-exposure prophylaxis or PEP). Neither of these approaches completely prevents transmission, but MTCT can reduce the risk of transmission by one half to two-thirds. Similarly, because antiretroviral drugs can greatly reduce the viral load in HIV+ persons, it is possible that widespread use could decrease the sexual transmission of HIV.³ Children’s Hospital Los Angeles teamed with community-based prevention organizations to provide an integrated care model for youth with and at high risk for HIV infection. The model offered a general medical clinic for youth and psychosocial services such as counseling and case management. Peer educators also conducted extensive street outreach where high-risk youth congregate. The program developed a computerized referral system for local youth services available on the Internet.¹¹

policy/legal level

HIV infection is closely linked to and often fueled by structural factors such as poverty, discrimination and lack of power for women. The Center for Young Women’s Development is a peer-run organization in San Francisco, CA that promotes self-sufficiency, community safety and youth advocacy among young women aged 14-18 who are involved in the juvenile justice, foster care systems and/or have lived on the streets. The Center provides employment, leadership and training for young women to educate others in their community. Equipped with the knowledge and opportunity to train others, young women are more likely to incorporate these skills into their own lives.¹² Political and legislative factors can also hamper HIV prevention. For example, there is currently a ban on federal funding for needle exchange programs in the US. Connecticut addressed the problem of access to clean needles through a program that cost the state nothing and was highly effective. A partial repeal of needle prescription and drug paraphernalia laws resulted in dramatic reductions in needle sharing, and increases in pharmacy purchase of syringes by IDUs. Needle sharing dropped from 52% before the new laws to 31% after implementation, street purchase fell from 74% to 28%, and pharmacy purchase rose from 19% to 78%.¹³

what have we learned?

Prevention is more than a single program or intervention. A comprehensive HIV prevention strategy addresses multiple levels to protect as many people at risk for HIV as possible. We should learn from and promote the effectiveness of HIV prevention programs already in place, as well as continue to evaluate these programs.

Says who?

1. Kelly JA, Kalichman SC. Behavioral research in HIV/AIDS primary and secondary prevention: recent advances and future directions. Journal of Consulting and Clinical Psychology. 2002;70:629-639. 2. Vlahov D, Des Jarlais DC, Goosby E, et al. Needle exchange programs for the prevention of human immunodeficiency virus infection: epidemiology and policy. American Journal of Epidemiology. 2001;154:S70-77. 3. Valdiserri RO, Ogden LL, McCray E. Accomplishments in HIV prevention science: implications for stemming the epidemic. Nature Medicine. 2003;9:881-886. 4. Chesney MA, Koblin BA, Barresi PJ, et al. An individually tailored intervention for HIV prevention: Baseline data from EXPLORE study. American Journal of Public Health. 2003;93:933-938. 5. Kamb ML, Fishbein M, Douglas JM Jr, et al. Efficacy of risk-reduction counseling to prevent human immunodeficiency virus and sexually transmitted diseases: a randomized controlled trial. Project RESPECT Study Group. Journal of the American Medical Association. 1998;280:1161-1167. 6. Mills R, Samuels KD, Bob-Semple N, et al. Breakin’ the cycle: multigenerational dysfunction in families affected with HIV/AIDS. Presented at the 14th International AIDS Conference, Barcelona, Spain. 2002. Abst #ThPeE7828. 7. El-Bassel N, Witte SS. Gilbert L, et al. The efficacy of a relationship-based HIV/STD prevention program for heterosexual couples. American Journal of Public Health. 2003;93:963-969. 8. Hays RB, Rebchook GM, Kegeles SM. The Mpowerment Project: community-building with young gay and bisexual men to prevent HIV1. American Journal of Community Psychology. 2003;31:301-312. 9. Sikkema KJ, Hoffmann RG, Brondino MJ, et al. Outcomes of a community-level intervention among adolescents in inner-city housing developments. Presented at the International Conference on AIDS, Barcelona, Spain. July 2002. Abst# WeOrD1276. 10. Fuchs J, Colfax G. A shot or a pill: exploring biomedical approaches to HIV prevention. Focus. 2004;19:1-4. 11. Schneir A, Kipke MD, Melchior LA, et al. Children’s Hospital Los Angeles: a model of integrated care for HIV-positive and very high risk youth. Journal of Adolescent Health. 1998;23(2Suppl):59-70. Computerized referral system:www.caars.net 12. Center for Young Women’s Development. www.cywd.org 13. Groseclose SL, Weinstein B, Jones TS, et al. Impact of increased legal access to needles and syringes on practices of injecting-drug users and police officers-Connecticut, 1992-1993. Journal of Acquired Immune Deficiency Syndromes. 1995;10:82-89.

Prepared by The Center for AIDS Prevention Studies, University of California, San Francisco July 2004. Fact Sheet #1ER Reproduction of this text is encouraged; however, copies may not be sold, and the Center for AIDS Prevention Studies at the University of California San Franciso should be cited as the source of this information. For additional copies of this and other HIV Prevention Fact Sheets, please call the National Prevention Information Network at 800/458-5231. Comments and questions about this Fact Sheet may be e-mailed to [email protected]. © July 2004, University of California

Resource

Niveles de prevención

¿Cómo opera la prevención del VIH a diferentes niveles?

¿qué queremos decir con niveles?

La prevención del VIH no depende exclusivamente de lograr cambios en la conducta individual. Hay muchos otros factores que influyen en la transmisión del VIH como las relaciones entre familiares, entre amistades, los valores comunitarios, el acceso a servicios médicos y las leyes locales. Trabajar a diferentes niveles significa responder a todos estos factores por medio de estrategias múltiples: individual, de pareja/familia, comunitaria, médica y legal.¹ En EE. UU. los programas de prevención del VIH para usuarios de drogas inyectables (UDI) han incluido intervenciones a muchos niveles: campañas intensivas de educación para UDI en la calle, tratamiento para dejar las drogas, intercambio de jeringas, empoderamiento comunitario y programas de apego (adherencia) para UDI VIH+. Las localidades que cuentan con estos servicios tienen tasas estables de infección por VIH entre los UDI.² Los esfuerzos de prevención a varios niveles han invertido el curso de las epidemias del VIH en Uganda y Tailandia. También han evitado una epidemia en Senegal, en donde los programas preventivos a nivel individual (consejería y pruebas del VIH), comunitario (información en las escuelas, promoción del uso de condones entre trabajadores sexuales), médico (tratamiento de enfermedades de transmisión sexual, ETS) y estructural/político (movilización de dirigentes religiosos y políticos para hablar abiertamente sobre el VIH) han mantenido una de las tasas más bajas de infección por VIH en el África subsahariana.³

nivel individual

Muchos programas de prevención ayudan a los individuos a cambiar sus conductas riesgosas. El Proyecto EXPLORE fue un ensayo aleatorio de consejería individual para hombres que tienen sexo con hombres. EXPLORE reconoció que los factores individuales, interpersonales y situacionales asociados con el riesgo son diferentes para diferentes hombres. El programa individualizó la intervención adaptando los diez módulos de consejería motivacional para evaluar la conducta de riesgo, aumentar la comunicación sexual, entender el consumo de drogas y alcohol e identificar las situaciones que provocan el sexo desprotegido.⁴ El Proyecto RESPECT fue un ensayo aleatorio de consejería del VIH realizado en clínicas de ETS en cinco ciudades estadounidenses con alta seroprevalencia del VIH. El programa evaluó la eficacia de la consejería interactiva en comparación con los mensajes informativos para reducir las prácticas de riesgo y evitar el VIH y otras ETS. El programa descubrió relativamente poca diferencia entre las intervenciones de 2 y las de 4 sesiones de consejería interactiva, pero encontró tasas más bajas de ETS entre los grupos que recibieron consejería interactiva en comparación con otros grupos que sólo recibieron información. Todos los grupos reportaron un aumento en el uso de condones y quienes recibieron consejería interactiva mostraron notablemente tener una mayor protección.⁵

nivel de pareja/familiar

El Visiting Nurse Service de Nueva York ofrece servicios integrales a domicilio para familias afectadas por el VIH, las drogas, el alcohol, el abuso sexual y la enfermedad mental. Los niños de estas familias están en alto riesgo de repetir las historias y conductas de sus padres. El programa les ofrece intervenciones a domicilio que incluyen terapia del juego, educación sobre la salud y el sexo protegido, consejería familiar e individual, prevención de recaídas para los padres e información y prevención del consumo de drogas para los niños. Al ayudarles a afrontar sus sentimientos de ira y resentimiento hacia sus padres se reduce la probabilidad de que los niños dirijan la ira hacia sí mismos y repitan la conducta de sus padres. La clave para romper el ciclo de disfunción en estas familias es brindarle apoyo a cada miembro de la familia.⁶ Las intervenciones que promueven conductas con mayor protección sexual para ambos miembros de la pareja también pueden ser importantes. El Proyecto Connect fue una intervención basada en la relación heterosexual de pareja en la cual las mujeres asistieron a 6 sesiones con o sin sus compañeros. Las sesiones se enfocaron en la comunicación, la negociación y los efectos de los papeles masculinos y femeninos en la dinámica de pareja. El Proyecto Connect ayudó a disminuir las conductas riesgosas entre las parejas que participaron juntas en la intervención y en las que sólo asistió la mujer.⁷

nivel comunitario

Los programas a nivel comunitario pueden alcanzar a muchas personas y por lo tanto pueden ser costo-efectivos. El Proyecto Mpowerment promovió una norma de protección en el sexo entre jóvenes gay mediante diversas actividades (sociales, de alcance comunitario y en grupos pequeños) diseñadas y llevadas a cabo por los jóvenes mismos. Mpowerment notó que las actividades de promoción como bailes, noches de cine, días de campo y partidos de voleibol funcionaban mejor para alcanzar a los jóvenes que tenían sexo desprotegido y no asistían a charlas. La tasa de sexo anal sin protección cayó del 40% al 31% después de la intervención.⁸ Una intervención a nivel comunitario con adolescentes de diversos grupos étnicos que vivían en residencias para familias de bajos ingresos combinó el desarrollo de habilidades, el modelaje de comportamientos, las normas sociales entre jóvenes y el fortalecimiento social en la reducción del riesgo sexual. Para atraer a los jóvenes del vecindario, el programa los invitó a funciones sociales e involucró a líderes jóvenes que realizaron capacitaciones y fomentaron el trabajo en equipo. Los jóvenes lideres diseñaron breves mensajes de prevención para los medios de comunicación y organizaron eventos para toda la comunidad. También se ofrecieron talleres para los padres. La intervención comunitaria fue más eficaz para aplazar el primer coito que la educación o el desarrollo de habilidades por sí solos.⁹

nivel médico

En años recientes se ha comprobado la eficacia de varios métodos médicos de prevención del VIH.¹⁰ Por ejemplo, los medicamentos antirretrovirales (AR) usados para tratar el VIH también han ayudado a evitar la transmisión del VIH de madre a hijo (TMH) así como después de una exposición accidental (profilaxis posterior a la exposición, PPE). Ninguno de estos métodos impide la transmisión totalmente pero el uso de AR puede reducir el riesgo de la TMH a la mitad o dos terceras partes. De igual forma ya que los AR pueden reducir la carga viral en las personas VIH+ es posible que un uso más amplio disminuya la transmisión sexual del VIH.³ El Children’s Hospital de Los Ángeles colaboró con organizaciones comunitarias de prevención en un programa modelo con servicios integrados para jóvenes con VIH o en alto riesgo de contraerlo. Se les ofreció una clínica de medicina general para jóvenes junto con servicios psicosociales como consejería y manejo de casos. Educadores de pares también llevaron a cabo esfuerzos intensivos de contacto callejero. El programa creó un sistema computarizado de referencia con servicios locales para jóvenes disponible vía Internet.¹¹

nivel político/legal

La infección por VIH está muy vinculada a y con frecuencia es alimentada por factores estructurales como la pobreza, la discriminación y la falta de poder de las mujeres. El Center for Young Women’s Development es una organización dirigida por mujeres jóvenes en San Francisco, CA que promueve la autosuficiencia, la seguridad comunitaria y la defensa de los derechos de la gente joven entre jovencitas de 14-18 años de edad que han vivido en la calle o están involucradas en los sistemas de justicia juvenil o de crianza temporal. El centro provee empleo, oportunidades de liderazgo y capacitaciones para que las jóvenes eduquen a otros en su comunidad. Las jóvenes que obtienen estos conocimientos y la oportunidad de enseñarlos a otros están más propensas a incorporar dichas habilidades en su propia vida.¹² Los factores políticos y legislativos también pueden impedir la prevención del VIH. Por ejemplo, en EE.UU. se prohíbe el uso de fondos federales para programas de intercambio de jeringas. En Connecticut la falta de acceso a jeringas limpias se resolvió con un programa muy eficaz que no le costó nada al estado. Al revocar parcialmente las leyes que prohibían recetar jeringas y usar equipo de inyección de drogas, hubo reducciones dramáticas en el uso compartido de jeringas e incrementos en la compra en farmacias de jeringas por UDI. El uso de jeringas compartidas cayó del 52% antes de las nuevas leyes al 31% después de su entrada en vigor. Asimismo, la compra de jeringas en la calle se redujo del 74% al 28% y el porcentaje de jeringas compradas en farmacias aumentó del 19% al 78%.¹³

¿qué hemos aprendido?

La prevención va más allá de un solo programa o intervención. Una estrategia integral de prevención del VIH abarca varios niveles para proteger al mayor número posible de personas en riesgo. Debemos aprender de los programas actuales de prevención del VIH y fomentar su eficacia al tiempo que continuamos evaluándolos.

Quien lo dice?

Preparado por The Center for AIDS Prevention Studies, University of California, San Francisco Julio 2004. Fact Sheet #1SR