Wir setzen auf wissenschaftliche Fakten. Das garantiert ein unverfälschtes Meinungsbild.

Der Mensch steht im Zentrum

Wir bauen auf menschliche Intelligenz und verstehen Herausforderungen als Chance

Ideen werden von Menschen unterschiedlich beurteilt. Bei deren Beurteilung werden von jedem Individuum eine Vielzahl von unterschiedlichen Kriterien herangezogen, welche bei der Entscheidung gegeneinander abgewogen und gewichtet werden. CitizenTalk trägt diesem Umstand Rechnung und lässt jede eingebrachte Idee einzeln im revolvierenden Battles gegen jede andere Idee antreten – für jeden Teilnehmenden individuell. Die Teilnehmenden wägen somit ihre persönlichen Kriterien gegeneinander ab und urteilen, welche der beiden Ideen sie aufgrund ihrer persönlichen Präferenzen besser finden.

Konkurrierende Ideen und wahrgenommener Nutzen

Auf Basis aller revolvierenden Battles berechnet CitizenTalk den durchschnittlichen Nutzen von konkurrierenden Ideen für alle Teilnehmenden und bringt diese Ideen in eine verlässliche Rangfolge. Der Nutzen und damit auch die Rangfolge unterliegen dabei einer gewissen Komplexität.

Menschen haben unterschiedliche Präferenzen und damit eine unterschiedliche subjektive Einschätzung des Nutzens einer Idee. In Abbildung 1 stellen wir dies sinnbildlich dar. Je flacher eine Nutzenkurve, desto breiter sind die Präferenzen gestreut. Je weiter zwei Kurven auseinander liegen, desto weiter sind die Präferenzen der Teilnehmenden auseinander.

Wir kombinieren Sozialwissenschaften, Mathematik und Statistik für die besten Ergebnisse

Bestimmte Rangfolgen sind wahrscheinlicher als andere

Wenn beispielsweise Idee 1 häufiger gegen Idee 2 gewinnt als verliert, so ist die Wahrscheinlichkeit tendenziell höher, dass Idee 1 einen höheren Nutzen als Idee 2 hat und in der Rangfolge der Ideen weiter vorne liegt. Dabei ist wichtig zu wissen, wie oft eine Idee „gewonnen“ und wie oft eine Idee „verloren“ hat und wie sich die einzelnen Ideen gegen alle andere Ideen behaupten können.

Aufgrund aller durchgeführten Battles erstellt CitizenTalk eine Battlematrix mit allen durchgeführten Paarvergleichen. Anhand dieser kann CitizenTalk beurteilen, wie wahrscheinlich die gewissen Nutzen für alle vorhandenen Ideen sind.

Mehrere tausend Stichproben mit ganz individuell errechneten Wahrscheinlichkeiten

CitizenTalk zieht mit diesen Wahrscheinlichkeiten eine Stichprobe von zufälligen Nutzen bestehender Ideen, wobei Ideen mit einem höheren berechneten Nutzen mit einer höheren Wahrscheinlichkeit gezogen werden.

Für jede Fragestellung werden nun mehrere tausend einzelne Konfigurationen mit individuellen Ideenrangfolgen berechnet. Die Grundlage für die Berechnung sind die einzelnen Präferenzen, welche von allen Teilnehmenden in den Battles angegeben wurden. Es spielt dabei keine Rolle, wie oft die Teilnehmenden mitgewirkt haben. Je mehr Battles bestehen, umso genauer/eindeutiger ist die Rekonstruktion der Nutzen und je eindeutiger damit die Rangfolge.

Aus den einzelnen Konfigurationen und Rangfolgen wird statistisch eine gemeinsame Rangfolge rekonstruiert und für jede Idee ein Score auf einer Skala von 0 - 100 vergeben. Die berechneten Nutzenwerte aus den einzelnen Konfigurationen fasst CitizenTalk jede Idee jeweils einzeln in einem Boxplot (rote Box) graphisch zusammen, der durch das 25% und 75% Quantil begrenzt ist sowie den Median zeigt.

Was wir u.a. daraus lesen können

Die Darstellung zeigt den rekonstruierten Nutzen separat für jede beteiligte Idee. Jede Idee wird dabei mit einem roten und grauen Balken dargestellt. Je weiter rechts der graue Balken, umso grösser ist der Nutzen der Idee. Die Idee mit dem höchsten Nutzen steht an erster Stelle. Alle weiteren Ideen werden gemäss ihrer Rangfolge absteigend sortiert dargestellt.

Die Bewertung einer jeden Idee geschieht durch unbeeinflusste Meinungsbildung und wird durch den Median des Nutzens mit einem schwarzen Strich in der Mitte des roten Balkens angezeigt. Der Median wird dabei aus tausenden von Stichproben ermittelt. Die roten Balken sind wahrscheinliche Bereiche wie bei den statistischen Boxplots.

Mit einer Wahrscheinlichkeit von 50% liegt der Nutzen einer Idee innerhalb des roten Bereichs. Das ist der wichtige innere Kernbereich, der die Schwankung des Medians quantifiziert. Mit einer Wahrscheinlichkeit von 80% liegt der Nutzen einer Idee innerhalb des grauen Bereichs.

Je weiter die Mediane zweier Ideen auseinanderliegen, desto unterschiedlicher sind die Nutzen. Umgekehrt: Je deckungsgleicher die Mediane zweier Ideen übereinander liegen, desto ähnlicher sind die Nutzen dieser Ideen. Wenn sich die roten Balken zweier Ideen nicht überlappen, so besteht ein sehr deutlicher Unterschied. Die jeweilige Breite der Balken zeigt die Streuung.

Auf der rechten Seite der Darstellung wird die Anzahl Battles (Paarvergleiche) dargestellt. Die in Klammern aufgeführten Zahlen zeigen die gewonnenen bzw. verlorenen Battlese. Alle eingebrachten Ideen werden durch den Echtzeit-Algorithmus demokratisiert, dass heisst: Zu Beginn eingegebene Ideen sind nicht übervorteilt, später eingehende Ideen sind nicht benachteiligt. Es spielt dabei keine Rolle, wie oft die NutzerInnen Battles bewerten. Jeder Nutzer entscheidet selbst, wie oft er Battles durchführen möchte. Werden mehr Battles durchgeführt wird der Median genauer und die roten Boxen enger.

Die Kennziffern auf der linken Seite in der Grafik sind ein Mass für den Abstand einer Idee zur nachfolgenden Idee im Ranking. Je höher diese Kennziffer ist, desto deutlicher ist der Abstand, d.h. desto deutlicher unterscheiden sich die Ideen hinsichtlich ihres Nutzens.

Auf der X-Achse wird der Nutzen anhand einer Skala von 0 - 100 angezeigt. Die grünen Punkte sind die Echtzeit-Scores, welche in der App während eines Dialogs berechnet werden. Die finalen Scores auf der X-Achse werden automatisch in der App aktualisiert.

Wir machen unterschiedliche Präferenzen einer Zielgruppe schnell und einfach sichtbar

Wissenschaftliche Referenzen

Projektförderung Innosuisse 2022, 57442.1 IP-SBM, «Beyond (Public) Management» - E-Partizipation auf Basis kollektiver Intelligenz, https://www.aramis.admin.ch/Texte/?ProjectID=49893
Bradley, Ralph Allan and Milton E. Terry (1952). “Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons”. In: Biometrika 39.3/4, p. 324. DOI: 10.2307/2334029.
Caron, Francois and Arnaud Doucet (2012). “Efficient Bayesian Inference for Generalized Bradley Terry Models”. In: Journal of Computational and Graphical Statistics 21.1, pp. 174–196. DOI: 10.1080/10618600.2012.638220.
Chen, Xi, Kevin Jiao, and Qihang Lin (Dec. 2016). “Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing”. In: Journal of Machine Learning Research 17 (2016) 1-40. arXiv: 1612.07222 [stat.ML].
Heckel, Reinhard et al. (Jan. 2018). “Approximate Ranking from Pairwise Comparisons”. In:arXiv: 1801.01253.Luce, R. Duncan (1994). “Thurstone and sensory scaling: Then and now.” In: PsychologicalReview 101.2, pp. 271–277. DOI: 10.1037/0033-295X.101.2.271.
Stern, Hal (1992). “Are all linear paired comparison models empirically equivalent?” In: Mathematical Social Sciences 23.1, pp. 103–117. DOI: 10 . 1016 / 0165 - 4896(92 )
90040-c.Thurstone, L. L. (1927). “A law of comparative judgment.” In: Psychological Review 34.4,pp. 273–286. DOI: 10.1037/h0070288.