Die Illusion der Fairness: Warum KI die Personalauswahl nicht objektiver macht

Wie bei Amazon: Star Rating von Bewerberinnen in Workday Talent Management

26. Februar 2025

Zusammenfassung

Die Auswahl von Bewerberinnen für einen Studiengang oder eine Stelle war schon immer ein subjektiver und oft frustrierender Prozess. Während meiner Zeit als studentischer Vertreter bei der Bewerberauswahl für Visuelle Kommunikation wurde mir bewusst, wie sehr persönliche Einschätzungen, Machtverhältnisse und individuelle Präferenzen den Entscheid beeinflussen. In der Hoffnung auf mehr Objektivität setzen heute viele Unternehmen auf KI-gestützte Bewerbermanagementsysteme. Doch kann künstliche Intelligenz wirklich für mehr Fairness und Chancengleichheit sorgen – oder reproduziert sie lediglich bestehende Vorurteile in neuen digitalen Strukturen? Dieser Essay untersucht die Versprechen und Grenzen von KI in der Personalauswahl und zeigt auf, warum ein auf Vorhersagen basierter, datengetriebener Ansatz nicht zu mehr Gerechtigkeit führt.

Einleitung

Während meines Studiums war ich als studentischer Vertreter mehrere Jahre an der Auswahl von Bewerberinnen für den Studiengang Visuelle Kommunikation beteiligt. In einem zweitägigen Prozess durchsuchten wir hunderte Mappen mit persönlichen Arbeiten, aufgehäuft in der Aula. Sehr schwierig und sehr anstrengend.

Wir bildeten jeweils einen sehr kleinen Stapel mit den zukünftigen Superstars, die alle in ihrer Klasse haben wollten. Dann einen grösseren, mit interessanten aber unsicheren Bewerbungen, in denen wir falsche Einflüsse durch Vorkurse und Missverständnisse sahen. Dann den riesigen Haufen mit den Ablehnungen: Von 600 Bewerbungen wurden meist nur etwa 30 bis 35 angenommen, bis zur Budgetgrenze.

Die Einschätzung von den Fähigkeiten der Bewerberinnen anhand der wenigen persönlichen Arbeiten in der Mappe war immer sehr fragwürdig. Die Wahl einer zukünftigen Studentin war deshalb von den Gesprächen abhängig, die wir über sie führten, aber auch von denen, die wir schon vorher geführt hatten: Den kleinen Machtkämpfen, den vollkommen unterschiedlichen Einstellungen und Ansichten unter den Professorinnen.

Es kam dann regelmässig so, dass bei den mit Zweifel behafteten jede Anwesende eine oder mehrere Bewerberinnen für ihre Klasse reklamieren durfte, damit die anderen ihren Kampf dagegen aufgaben.

Mit anderen Worten: Die Auswahl war fehlerhaft und subjektiv und von den anwesenden Menschen bestimmt. Jede andere Zusammensetzung der Gruppe hätte andere Bewerberinnen an die Hochschule aufgenommen. Es war jedes Mal frustrierend und enttäuschend für alle, aber wir gaben unser Bestes.

Jeder der an ähnlichen Auswahlen beteiligt war, bei dem aufgrund von einigen Dokumenten über die Fähigkeit von Menschen geurteilt wird, sich gewinnbringend in eine Organisation einbringen zu können, wird ein ähnliches Gefühl kennen.

KI: Hoffnung auf mehr Objektivität

Aus dieser Sicht betrachtet erscheinen die neuen KI-unterstützten Bewerbermanagement-Plattformen als mehr als nur ein Silberstreif am Horizont: Eine neue Hoffnung auf Objektivität, auf gerechtere, unverzerrte Bewertungen. Diese wird verständlicherweise von Menschen mit Diskriminierungserfahrungen noch stärker geteilt. Menschen mit Migrationshintergrund zum Beispiel stehen dem Einsatz von künstlicher Intelligenz entsprechend positiver gegenüber als Menschen ohne einen solchen Hintergrund.

Die Mehrheit der international tätigen Schweizer Unternehmen setzen KI-Systeme für die Bewerberauswahl ein

Die Mehrzahl der Schweizer Unternehmen des SMI setzt denn auch bereits Künstliche Intelligenz bei der Analyse der Bewerbungen potenzieller Mitarbeiterinnen ein. Es ist stark anzunehmen, dass sie die Plattformen, zu denen sie ihre Kandidatinnen zur Eingabe von Online Bewerbungen weiterleiten, vor allem für die Vorselektion geeigneter Bewerberinnen genutzt wird.

Es hängt dann wieder von einzelnen Menschen, den Prozessen und Verantwortlichkeiten im HR ab, wie ausführlich die mit Hilfe von KI-Systemen erstellte Vorauswahl dann noch von Menschen geprüft wird, zum Beispiel ob es regelmässig bei einer schnellen Überschau bleibt, einem schnellen Abhaken der aussortierten Kanditatinnen, um der rechtlichen Anforderung zu genügen oder ob wirklich noch jede Bewerbung angeschaut wird.

Sicher haben auch viele Personalverantwortliche noch starke Zweifel an der Verlässlichkeit der neuen Auswahlsysteme. Das könnte ein Grund sein, warum grosse Unternehmen auf verbreitete, externe Plattformen setzen, die Komplettlösungen anbieten. Anstatt zum Beispiel auf eigene, auf ihr Unternehmen zugeschnittene Lösungen zu setzen.

Rechtliche Rahmenbedingungen erfüllt, Vertrauen verspielt?

Trotz der Aufregung um die zeitliche Verschiebung eines möglichen Schweizer «KI-Gesetzes» hat die Schweizer Gesetzgeberin mit dem neuen DSG bereits gut gearbeitet. Dort heisst es im Artikel 21 über die Informationspflicht beim Einsatz eines KI Systems, das automatisierte Entscheidungen treffen kann:

Der Verantwortliche informiert die betroffene Person über eine Entscheidung, die ausschliesslich auf einer automatisierten Bearbeitung beruht und die für sie mit einer Rechtsfolge verbunden ist oder sie erheblich beeinträchtigt (automatisierte Einzelentscheidung).

Dieses kommt zum Beispiel zum Tragen, wenn eine Bewerberin vom KI System automatisch, also ohne menschliche Kontrolle abgelehnt wird (=Rechtsfolge). Bei einer Fortführung der Bewerbung muss dagegen nicht informiert werden. Damit wird klar, dass Schweizer Unternehmen, die KI-unterstützte Systeme nutzen, im rechtlichen Rahmen agieren, wenn sie ihre Bewerberinnen vorab nicht informieren. Dass das Einhalten der Mindestanforderung knapp unterhalb der Strafbarkeit nicht zur Bildung eines gegenseitigen Vertrauensverhältnis beiträgt, habe ich hier dargestellt:

https://www.linkedin.com/pulse/warum-ein-einfacher-hinweis-auf-ki-im-vertrauen-schaffen-olaf-egner-hqvze/

Anders verhält es sich unter Umständen mit den Gesetzen, die zum Schutz vor Diskriminierung und zur Gleichstellung erlassen wurden. Gesetze, die die Gleichstellung von Mann und Frau schützen, die die Chancengleichheit von Menschen mit Behinderungen, religiösen Minderheiten, Menschen mit Migrationshintergrund aber auch alten und jungen Menschen sichern sollen.

Quelle: Der Einfluss von künstlicher Intelligenz auf die Candidate Experience. Studie der Internationalen Hochschule.

Verwechslung von mathematischem Determinismus mit Wahrscheinlichkeitsvorhersagen

Künstliche Intelligenz kann helfen, Diskriminierung zu vermeiden und somit die Personalauswahl fairer zu gestalten. Dies setzt voraus, dass die KI-Algorithmen vorurteilsfrei programmiert werden. Denn der Algorithmus gibt vor, wie die KI arbeiten soll. Doch die künstliche Intelligenz hat gegenüber Menschen einen entscheidenden Vorteil hinsichtlich Gleichberechtigung: Sie denkt in Einsen und Nullen. Vorurteile oder subjektive Wertung sind ihr fremd, sie entscheidet rein auf Faktenbasis.

Bedauerlicherweise werden weiterhin falsche Aussagen wie diese geäussert, die auf einer grundsätzlichen Verwechslung deterministischer algorithmischer Systeme und der Funktionsweise von generativen KI-Systemen basieren.

Fragen wir dazu eine generative KI wie ChatGPT, ob es hier wesentliche Unterschiede gibt, erhalte ich den folgenden Output:

Deterministische vs. probabilistische Prozesse

  • Deterministische Algorithmen: Bei einem klassischen Softwareprogramm (zum Beispiel einem in einer Programmiersprache wie C++ implementierten Entscheidungsalgorithmus) ist das Verhalten durch den Code fest vorgegeben. Wenn man denselben Input verwendet, wird in jedem Durchlauf das exakt gleiche Ergebnis erzeugt.
  • Generative KI: Moderne KI-Modelle, insbesondere sogenannte „Generative Modelle“ (z.B. Large Language Models, Text-to-Image-Modelle), basieren auf statistischen Methoden und Lernalgorithmen. Sie geben bei gleichem Prompt häufig leicht unterschiedliche Ergebnisse zurück, weil sie auf Wahrscheinlichkeitsverteilungen beruhen und in gewisser Weise Zufall – oder besser gesagt Stochastik – in ihre Ausgaben einfliesst.

Fehlendes Verständnis für Statistik und Wahrscheinlichkeiten

Vielen Menschen ist noch nicht klar, dass generative KI-Modelle nicht einfach einen „fest verdrahteten“ Ablauf befolgen, sondern Muster aus riesigen Datenmengen lernen und Vorhersagen in probabilistischer (aus Wahrscheinlichkeiten abgeleiteter) Form treffen. Dieses fehlende Verständnis kann dazu führen, dass man die Komplexität solcher Modelle unterschätzt oder sie als „magische“ Algorithmen ohne klare Funktionsweise wahrnimmt.

Das Dilemma mit der Fairness in KI-gestützten Auswahlverfahren: Sie funktioniert nicht

Dann stellt sich die Frage, ob eine Chancengleichheit, zum Beispiel in demografischer Hinsicht, durch ausgeglichene Quoten bei der Selektion von Bewerbungen in den aktuellen probalistischen KI-Systemen theoretisch überhaupt möglich ist. Verschiedene Untersuchungen bestreiten das, Kailash Karthik Saravanakumar von der Columbia University hat es in einem Theorem dargestellt:

The impossibility theorem of machine fairness

Die im Bericht dargestellte mathematische Unmöglichkeit, mehr als zwei Fairness Kriterien gleichzeitig zu erfüllen, ist demnach kein technisches Problem, das mit besseren Algorithmen gelöst werden könnte. Es ist ein grundlegendes, mathematisch bewiesenes Dilemma, das in der Natur statistisch unsicherer Entscheidungen liegt.

Verschlimmbesserung im Bewerbermanagement-System

Es scheint daher geboten, in die Systeme einzugreifen, um die möglicherweise auf falschen Vorhersagen beruhende Diskriminierung in den System-Ergebnissen zu verringern. Diese Eingriffe bleiben aber nicht nur schlechte Kompromisse, sondern oft verschlimmern sie die in den Daten enthaltenen Vorurteile eher, anstatt sie zu verbessern. Wie Mike H. M. Teodorescu, Lily Morse, Yazeed Awwad und Gerald C. Kane in ihrer Arbeit beschreiben, führt eine Gewichtung von Kriterien, zum Beispiel durch eine Kombination von unterschiedlichen Fairness Kriterien, zu noch schlechteren Ergebnissen, weil diese meist unvereinbar sind.

Menschen als Ansammlung von Eigenschaften

Die Verantwortlichen in SMI Unternehmen könnten nun argumentieren, dass sie diese Systeme ausschliesslich für die Vorauswahl, zum Erkennen der notwendigen Kompetenzen und Erfahrungen einsetzen. Um objektivere, automatisierte Bewertungen zu ermöglichen, könnten zum Beispiel Geschlecht und Ethnie aus den Bewerbungen entfernt werden.

Eine Cambridge Studie von Eleanor Drage und Kerry Mackereth betont dagegen, dass dieser Versuch auf einem falschen Verständnis beruht, nämlich dem, dass Geschlecht und ethnische Herkunft vom Menschen isolierbare Attribute wären.

Schon bei oberflächlicher Betrachtung erscheint einleuchtend, dass jeder Lebenslauf von den historischen Einflüssen und Machtverhältnissen der Institutionen und Organisationen geprägt ist, in dem ein Mensch gelernt und gearbeitet hat. Zu wissen, ob die bewerbende Person zum Beispiel weiblich oder männlich ist, trägt dann dazu bei, diese Erfahrungen besser einordnen zu können. Erfahrene Personalverantwortliche tun dies intuitiv und situativ, sie lassen sich weniger täuschen und beweisen ein besseres Urteilsvermögen als KI-Systeme. Sich auf die Ergebnisse eines Systems zu verlassen, das durch Herauslösen oder Gewichtung geschützter Attribute Chancengleichheit zu erreichen behauptet, führt dagegen zu einer systematisch gesichert unfairen Auswahl von Bewerberinnen.

Wie Bewerberinnen selbst den Einsatz von KI beurteilen

Was die Frage aufwirft, warum SMI Unternehmen überhaupt unbedingt KI-gestützte Bewerbermanagementsysteme einsetzen wollen, um die bestmöglichen Kandidatinnen zu identifizieren. Eine Befragung in Deutschland zum Beispiel ergab, dass 57% der Bewerberinnen mit Hochschulabschluss den Einsatz von KI-Systemen als negativ empfindet. Mehr als jede Dritte erwartet sogar, dass sich der Bewerbungsablauf verschlechtert. Der Verlust von Zwischenmenschlichkeit wird als grösste (berechtigte) Sorge angegeben. Dagegen ist die Zustimmung zu KI-gestützter Auswahl bei Menschen mit Migrationshintergrund mit 57% deutlich höher. Doch die damit verbundene Hoffnung auf eine mathematisch gesicherte Chancengleichheit, wie sie weithin angenommen wird, können KI-Systeme nicht erfüllen.

Die einzige faire Option: Zusammenarbeit von Mensch und System

Eine Zusammenarbeit von Mensch und System schon bei der Vorauswahl, zum Beispiel durch Augmentierung, scheint aus diesen Gründen zwingend geboten. Leider lassen die Unternehmen bei der Darstellung ihrer Auswahlprozesse ihre Bewerberinnen im Unklaren, ob es eine solche Zusammenarbeit gibt. Die beworbenen Funktionen von Systemen wie Workday Talent unterstützen diese Hoffnung nicht.

Alternativer Ansatz: Mensch-Maschine-Kollaboration im Recruiting

Unbestritten bleibt, dass im HR eingesetzte Large Language Modelle wie Chat GPT, zum Beispiel zum Erstellen von Texten, ein mächtiges Tool zur Beschleunigung von Prozessen darstellen. Ich stelle mir aber die Frage, ob der Einsatz von RAG (Retrieval Augmented Generation) Systemen und die Entwicklung von Automatisierungen durch Agentic Process Automation (APA) nicht einen besseren Weg der Bearbeitung einer grossen Anzahl von Bewerbungen darstellt, als sich auf eine fixfertige Bewerbermanagement-Plattform zu verlassen.

In einem eigenen RAG wie NotebookLM von Google kann die Personalverantwortliche so mit dem System arbeiten, dass sie jederzeit die tatsächlichen Inhalte der Bewerbung mit den Zusammenfassungen und Einschätzungen des Systems vergleichen und überprüfen kann. Zusätzlich kann sie jederzeit eigene Analysen, im HR formulierte Leitlinien, Kriterien und Anforderungen direkt mit der Bewerbung im KI-System zusammenführen und deren Erfüllung analysieren lassen.

Ein mit einem Agenten kombiniertes RAG könnte beispielsweise online eingereichte Bewerbungsdokumente analysieren, Schlüsselqualifikationen hervorheben und Zusammenfassungen erstellen, die dann in einen automatisierten Workflow integriert werden, um den Auswahlprozess zu beschleunigen. Damit würde die Expertise und Kompetenz der Recruiterinnen bei der Vorselektion nicht mehr aussen vor gelassen werden müssen. Während in einem solchen selbstentwickelten System also weiterhin Routineaufgaben automatisiert werden, können sich Recruiter auf die qualitative Bewertung und das persönliche Gespräch mit den Kandidaten konzentrieren.

Workday Talent oder SAP SuccessFactors sind dagegen Blackbox-Systeme, die zum Ziel haben, möglichst alle Daten und Funktionen Schweizer Unternehmen in ihren Rechenzentren zu halten. Mit ihren übergriffigen Funktionen und kompakten Dashboards werden sie deshalb wenig Objektivität, aber vor allem eins schaffen: Abhängigkeit.

Fazit

Schweizer Unternehmen sollten sich nicht auf automatisierte Entscheidungen durch Bewerbermanagement Plattformen verlassen, wenn sie möglichst objektive und gerechte Vorauswahlen in der Menge der eingehenden Dossiers treffen wollen. Möchten sie aus Gründen daran festhalten, kann schon ein einfacher Hinweis auf KI-Unterstützung das Vertrauen in einen verantwortlichen Umgang mit diesen stärken.

Weitere Informationen zu den Möglichkeiten, Beschränkungen und Grenzen von KI-Systemen für das Management von Bewerbungen finden Sie in den verlinkten Studien und Artikeln.

P.S.: Das die Auffassung rechtlich unsicher ist, dass Schweizer Unternehmen für möglicherweise diskriminierende Entscheidungen von Plattformen wie Workday nicht haftbar gemacht werden können, zeigt ein laufendes Gerichtsverfahren gegen Workday in den USA und ein Dokument der US Equal Employment Opportunity Commission auf.

Weitere Informationen zu den Möglichkeiten, Beschränkungen und Grenzen von KI-Systemen für das Management von Bewerbungen finden Sie in den verlinkten Studien und Artikeln.

P.S.: Das die Auffassung rechtlich unsicher ist, dass Schweizer Unternehmen für möglicherweise diskriminierende Entscheidungen von Plattformen wie Workday nicht haftbar gemacht werden können, zeigt ein laufendes Gerichtsverfahren gegen Workday in den USA und ein Dokument der US Equal Employment Opportunity Commission auf.


Quellen

Algorithmen und Diskriminierung | mebis Magazin: https://mebis.bycs.de/beitrag/algorithmische-diskriminierung

Anti-Diskriminierungs-KI im Recruiting: Ziele verfehlt? | Kalaidos FH: https://www.kalaidos-fh.ch/de-CH/Blog/Posts/2023/02/Digitalisierung-1097-Anti-Diskriminierungs-KI-Recruiting-Ziele-verfehlt

Anzeige von Umfang und Reduktionsmöglichkeiten der Geschlechtsdiskriminierung in KI-gestützten Auswahlprozessen: https://journals.sub.uni-hamburg.de/hup3/apimagazin/article/view/153/179

Der Einfluss von künstlicher Intelligenz auf die Candidate Experience.: https://static.iu.de/studies/202203_KI_im_Recruiting_Whitepaper.pdf

DEREK MOBLEY v. WORKDAY INC (2024): https://caselaw.findlaw.com/court/us-dis-crt-n-d-cal/116378658.html

EEOC veröffentlicht technisches Dokument zu KI und Titel VII: https://www.proskauer.com/blog/eeoc-releases-technical-document-on-ai-and-title-vii

Does AI Debias Recruitment? Race, Gender, and AI’s “Eradication of Difference” | Philosophy & Technology: https://link.springer.com/article/10.1007/s13347-022-00543-1

Ethik in der KI: Vermeidung von Vorurteilen und Diskriminierung in den Bewerbungsprozessen internationaler Unter: https://barrueto.ch/wp-content/uploads/2024/08/Bachelorarbeit-2024-Ethik-in-der-KI-bei-Bewerbungsprozessen-Mach.pdf

Fairness Metrics – Was sind sie und warum sind sie wichtig?: https://digitale-transformation-weiterbildung.ch/digitalisierung-lexikon/fairness-metrics/

Fairness, AI & Recruitment – BIAS: https://www.biasproject.eu/scientific_publications/fairness-ai-recruitment/

(PDF) Failures of Fairness in Automation Require a Deeper Understanding of Human-ML Augmentation: https://www.researchgate.net/publication/354625563_Failures_of_Fairness_in_Automation_Require_a_Deeper_Understanding_of_Human-ML_Augmentation

Human Decisions and Machine Predictions* | The Quarterly Journal of Economics | Oxford Academic: https://academic.oup.com/qje/article-abstract/133/1/237/4095198?redirectedFrom=fulltext

KI | Verzerrungen | mebis Magazin: https://mebis.bycs.de/beitrag/ki-verzerrungen

KI diskriminiert Menschen im Recruiting: https://omr.com/de/jobs-hr/articles/unseretwegen-ki-diskriminiert-menschen-recruiting-hr-lebenslauf-bewerbung

KI im Recruiting stößt auf Ablehnung: https://www.industry-of-things.de/ki-im-recruiting-stoesst-auf-ablehnung-a-1110564/

KI-Bias im Recruiting: Wie man Verzerrungen in KI-gestützten Tools vermeidet: https://indivhr.com/active-sourcing-magazin/ai-bias-im-recruiting-wie-man-verzerrungen-in-ki-gestuetzten-tools-vermeidet/

KI-Fairness und ihrer Herausforderungen: https://lamarr-institute.org/de/blog/ki-fairness/

Künstliche Intelligenz in der Personalauswahl: https://www.denkfabrik-bmas.de/fileadmin/Downloads/Publikationen/Kuenstliche-Intelligenz-in-der-Personalauswahl.pdf

Künstliche Intelligenz und Diskriminierung: https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG3_Whitepaper_250619.pdf

Schweizer Digitalbarometer 2024: https://www.digitalbarometer.ch/uploads/digitalbarometer_2024_de.pdf