·
Studieninfo
Wirksamkeits-Studie
DialogFitness: Misst, was Kommunikations-Training wirklich bewirkt
Pilotstudie zur Veränderung von Kommunikations- und Zuhörkompetenz nach 10 Stunden Training mit KI- und Technik-Trainern. Mit etablierten Instrumenten, objektiven Verhaltensmarkern und sauberer Methodik.
Forschungsfrage
Verbessert digitales Training mit KI- und Technik-Trainern messbar die Kommunikations- und Zuhörkompetenz seiner Nutzenden? Und welche Trainer tragen am stärksten zur Veränderung bei?
Was wir messen
Kommunikationskompetenz
10 ItemsICCS · Interpersonal Communication Competence Scale (Rubin & Martin 1994)
Empathie, Assertivität, Selbstoffenbarung, Immediacy, Supportiveness, Interaction Management
Aktives Zuhören
11 ItemsAELS · Active-Empathic Listening Scale (Drollinger et al. 2006)
Drei Phasen: Sensing (Wahrnehmen), Processing (Verarbeiten), Responding (Antworten)
Verhaltens-Marker (objektiv)
passivIn den KI- und Technik-Trainern erfasste Scores
Paraphrase-Qualität, Fragetechnik-Treffer, Empathie-Score, Reflexions-Tiefe. Pre/Post-Vergleich pro Trainer als objektive Ergänzung zur Selbsteinschätzung.
ICCS und AELS sind etablierte, mehrfach validierte Instrumente aus der peer-reviewten Kommunikationsforschung. Likert-Skala 1-5. Die Verhaltens-Marker dienen als Konvergenz-Validierung.
Studiendesign
Innersubjekt-Vergleich (Pre/Post) mit drei Datenquellen plus Response-Shift-Korrektur:
- 1
Pre-Test
8 MinVor dem ersten Studio-Zugriff. ICCS plus AELS, online im Browser.
- 2
10 Stunden Training
4-12 WochenTrainings-Zeit mit KI- und Technik-Trainern frei wählbar: Paraphrase, Fragetechniken, Aktives Zuhören, Ich-Botschaften, Reframing, Feedback, Konflikt, MI und weitere. Trainingszeit und Trainer-Wahl werden passiv erfasst.
- 3
Post-Test
8 MinGleiche Fragen wie im Pre-Test, nach Erreichen der 10-Stunden-Schwelle. Automatischer Trigger im Dashboard plus E-Mail.
- 4
Then-Test (verpflichtend, direkt im Post-Test)
4 MinRetrospektive Selbsteinschätzung "wie war ich vor dem Training?". Korrigiert den Response-Shift-Bias (Howard-Phänomen) und ist methodisch unverzichtbar — daher fest in den Post-Test integriert.
Trainer-Wirksamkeit: Über die multiple Regression Δ-Kompetenz ~ Trainings-Sekunden pro Trainer beantworten wir, welche Trainer am stärksten zur Veränderung beitragen. Demografische Variablen werden als Confounds kontrolliert.
Stichprobe und Zeitrahmen
Stichprobe
N ≥ 30
paired Pre/Post
Dauer pro TN
4-12 W
je nach Tempo
Aufwand Tests
ca. 20 Min
gesamt
N ≥ 30 vollständige Pre/Post-Paare erlauben statistisch belastbare Aussagen: gepaarter t-Test, α = 0,05, Power 0,8, mittlere Effektstärke d ≈ 0,5.
Wie wir die KI-Scores validieren
ICCS und AELS sind seit Jahrzehnten validiert. Die Trainer-Scores aus den KI-Auswertungen sind es nicht: ihre Reliabilität, Konvergenz- und Konstruktvalidität sind Gegenstand dieser Studie, nicht Voraussetzung. Wir gehen ehrlich und psychometrisch sauber vor:
- Primärer Outcome bleibt ICCS und AELS. Alle Hauptaussagen zur Wirksamkeit stützen sich auf die peer-reviewten Selbsteinschätzungs-Skalen.
- Konvergenzvalidierung der KI-Scores: Pearson-Korrelation zwischen Δ-ICCS und Δ-KI-Score. r > 0,4 würde die KI-Scores als plausibler Sekundär-Outcome qualifizieren.
- Test-Retest-Reliabilität: 30 zufällig ausgewählte Trainings-Sessions werden doppelt durch die KI ausgewertet. Cronbach-Alpha sollte > 0,7 sein.
- Inter-Rater-Reliabilität: 30 Sessions zusätzlich von einer:m menschlichen Coder:in (blind gegenüber KI-Output) gescort. Cohens Kappa zwischen Mensch und KI als Kriterium.
- Limitation ausdrücklich genannt: alle KI-Score-basierten Aussagen werden als exploratorisch berichtet, nicht als konfirmatorisch.
Folge dieser Studie: Falls die KI-Scores als reliabel und konvergent valide gezeigt werden, lassen sich in Folgestudien deutlich schneller und kostengünstiger objektive Wirksamkeitsdaten erheben. Falls nicht, wissen wir es und können das Scoring verbessern, bevor es Aussagekraft beansprucht.
Datenschutz
- Pseudonymisierung über zufallsgenerierte Codes (z.B.
a3f29bcd). Keine Klarnamen in der wissenschaftlichen Auswertung. - Separate DSGVO-Einwilligung für die Forschungsverwendung, jederzeit widerrufbar (Art. 7(3) DSGVO).
- Speicherdauer pseudonymisierter Forschungsdaten: 5 Jahre, danach Löschung. Personenbezug existiert nur im regulären Account.
- Pre-Registration auf OSF.io vor erstem Studien-Start.
- Was wir auswerten: Antworten auf die Selbst-Checks, pseudonymisierte Trainings-Daten (Dauer, Trainer-Wahl), KI-Scores pro Trainer-Session, demografische Eckdaten.
- Was wir nicht auswerten: Inhalte der Gespräche im KI-Trainer. Diese bleiben dort, wo sie ohnehin sind: in deinem Account.
Was die Auswertung liefert
- Mittelwerte und Standardabweichungen für ICCS, AELS und AELS-Subskalen, jeweils Pre und Post.
- Effektstärke nach Cohen (d) für gepaarte Differenzen plus 95%-Konfidenzintervalle.
- Multiple Regression: Trainer-Wirksamkeit unter Kontrolle demografischer Confounds.
- Pre/Post-Vergleich der KI-Trainer-Scores als objektiver Verhaltens-Marker.
- Subgruppenanalysen nach beruflichem Kontext und Vor-Training-Erfahrung.
Was Teilnehmende bekommen
Eine Studienteilnahme ist kein einseitiger Datenliefer-Vertrag. Du bekommst während und nach der Pilotphase eine Reihe konkreter Mehrwerte zurück:
Dein persönlicher Wirksamkeits-Report
Am Ende der Studie ein eigenes 2-Seiten-PDF mit deinen Pre/Post-Werten, der Veränderung pro Subskala (Empathie, Assertivität, Sensing, Processing, Responding) und einer Stärken-Spinne. Powerpoint-tauglich für Mitarbeitergespräche, Jahresreflexionen oder den eigenen Coach. So konkret hat dir bisher kein Online-Tool deine Kommunikation gespiegelt.
Personalisierte Coaching-Empfehlung von Jürgen
Auf Basis deiner Daten schreibt Jürgen Melmuka persönlich einen 3-5-Zeilen-Befund: welche Stärken du in der Studie gezeigt hast, an welcher Stelle ein gezieltes Coaching am meisten bringt, welcher Trainer dir konkret weiterhilft. Keine KI-Antwort, sondern professionelle Einordnung von einem Experten der seit Jahren mit Führungs-Kommunikation arbeitet.
Founding-Member-Status mit echten Vorteilen
Eigenes Badge im Profil sichtbar für andere User, lebenslange Vorzugskonditionen auf neue Trainer und Kurse (typischerweise 30-50% Rabatt auf Folgeangebote), früher Zugang zu Beta-Funktionen vor allen anderen, eigener Slack/E-Mail-Kanal zum DialogFitness-Team für Feedback.
Co-Authorship oder Acknowledgement im Paper
Auf Wunsch wirst du im wissenschaftlichen Paper namentlich erwähnt — als Pilot-Teilnehmer:in oder bei substantiellem Beitrag sogar als Co-Autor:in. Für Selbstständige in Beratung, Coaching, HR oder Personalentwicklung ist das ein klarer CV-Beitrag. Eine wissenschaftliche Erwähnung kostet bei traditioneller Forschung Tausende Euro Studiengebühren — hier ist sie Bestandteil deiner Teilnahme.
Validierter Selbst-Check auf wissenschaftlichen Skalen
Allein der Pre-Test ist 50-150 € Marktwert: ICCS und AELS sind etablierte Instrumente, die normalerweise in der Psycho-Diagnostik gegen Honorar abgefragt werden. Du bekommst nicht nur einen Score, sondern weißt danach präzise auf welchen Subskalen du wo stehst — eine Form von Selbsterkenntnis, die in keinem Online-Persönlichkeitstest enthalten ist.
Sichtbarer Trainings-Erfolg statt Bauchgefühl
Das größte Frustrationsthema in der Weiterbildung: 'Hat das jetzt was gebracht?' Mit der Studie hast du es schwarz auf weiß. Du siehst nicht nur 'mir geht's besser', sondern: 'Mein AELS-Sensing-Wert ist von 11 auf 14 gestiegen, Cohen's d = 0,7, das ist ein mittlerer bis großer Effekt.' Das ist Wirksamkeit auf Zahlen-Ebene, nicht auf Wohlfühl-Ebene.
Beitrag zur Wissenschaft Kommunikations-Training
Die Frage 'Wirken digitale Kommunikations-Trainings überhaupt?' ist methodisch noch offen — gute Studien dazu sind selten. Du trägst aktiv dazu bei, das Feld evidenzbasierter zu machen. Wenn du Lehrkraft, HR-Verantwortliche:r, Coach:in oder Berater:in bist, ist deine Teilnahme nicht nur Selbst-Entwicklung, sondern auch fachlich relevant.
Mitmachen?
Schreib uns kurz, ob du selbst teilnimmst oder dein Unternehmen ins Pilot-Programm aufnehmen willst. Wir richten Pre-Test und Studio-Zugang dann individuell ein.
✉ juergen@zuhoerakademie.atSchon Studio-User? Über /de/studie kannst du nach Einladung direkt den Pre-Test starten.