Handreichung 2/2025

Generative AI in Democracy Evaluation: Opportunities, Risks, and Ethical Considerations

Quito Tsui und Linda Raftree

Generative KI-Anwendungen (sog. GenAI-Anwendungen) haben erhebliche Auswirkungen auf demokratische Prozesse und ihre Evaluation. Während KI das Potenzial hat, den Zugang zu diesen Prozessen sowie deren Evaluation zu verbessern, birgt sie auch Risiken – darunter die mögliche Destabilisierung und Erosion ebenjener Prozesse. Diese Handreichung untersucht die Rolle von KI in demokratischen Systemen sowie ihre Anwendung in den Bereichen Monitoring, Evaluation, Forschung und Lernen.

Die Autorinnen analysieren die wichtigsten Fragen, Herausforderungen und ethischen Bedenken. Sie erörtern die potenziellen Einsatzmöglichkeiten von KI, plädieren für ihren verantwortungsvollen Einsatz und leiten Empfehlungen für verschiedene Interessengruppen ab – darunter politische Entscheidungsträger*innen, Praktiker*innen und Evaluationsgesellschaften.

Quito Tsui ist Wissenschaftlerin und Autorin mit Expertise im Bereich Technologie im Kontext des humanitären und Entwicklungs­sektors. Ihr Hauptinteresse gilt der Entwicklung eines mit Gerechtigkeit vereinbaren technologischen Umfelds. Zudem verfügt sie über praktische Erfahrung in der Unterstützung von Organisationen zu diesem Zweck. Als Core Collaborator der MERL Tech Initiative und Leiterin der Humanitarian AI + MERL Working Group hat sie zur Deduplizierung geforscht und Leitlinien für den sicheren und verantwortungs­vollen Einsatz von KI in sozialen und humanitären Anwendungen und der Forschung zu Gewalt gegen Frauen entwickelt. Zuvor leitete sie Forschungs­aktivitäten zu digitaler Identität, Biometrie, Inter­operabilität und Umwelt­gerechtigkeit bei The Engine Room. Außerdem hat sie an der University of Cambridge, der Stanford University und der London School of Economics geforscht. Quitos Artikel wurden in der Forced Migration Review (Oxford University), Bot Populi und The Nation veröffentlicht und ihre Arbeit wurde von Zeitschriften wie Access Now und Geographical zitiert.

Linda Raftrees Fokus liegt auf der ethischen Nutzung von Technologie und Daten in den Bereichen internationale Entwicklung, Menschenrechte und humanitäre Hilfe. Sie ist Gründerin der MERL Tech Initiative (MTI), die sich seit 2014 mit der verantwortungs­vollen Nutzung digitaler Tools und Daten befasst. Durch ihre Funktion bei der MTI spielte Linda eine zentrale Rolle dabei, kritische Denker*innen aus den Bereichen Monitoring, Evaluierung, Forschung und Lernen (MERL), Daten­wissenschaft und digitale Technologie zusammen­zubringen, um zusammen­zuarbeiten, Kapazitäten zu entwickeln und bewährte Praktiken zu stärken. Linda leitet die MERL Tech Natural Language Processing Community of Practice (NLP-CoP) und den New York City Technology Salon. Sie hat darüber hinaus eine Reihe von Stiftungen, bilateralen Agenturen und Nicht­regierungs­organisationen in den Bereichen verantwortungs­volle Datenpolitik und -praxis, angewandte Forschung, digitale Sicherheit, integrative digitale Ansätze und sichere Programmierung beraten. Weiterhin ist Linda Certified Information Privacy Professional (CIPP & CIPM).