Это перевод заключительной, четвертой статьи профессора Франчески Джино из Гарвардской школы бизнеса, входящей в серию расследований Data Colada о манипуляциях с научными данными.
Предыдущие части в моем переводе: первая, вторая и третья.
Важно отметить: посты этой серии — это мой вольный пересказ материалов Data Colada; все иллюстрации взяты оттуда. Авторы расследования уточняют, что в подготовке финальной части участвовали молодые исследователи, пожелавшие остаться анонимными, а соавторы Джино не имели никакого отношения к сбору и анализу данных для этого конкретного разбора.
Часть 4: Слова, которые забыли подделать
В центре внимания — статья Джино, Коучаки и Кашаро «Зачем связываться? Моральные последствия налаживания связей с целью продвижения или предотвращения» (2020), а именно её исследование 3(а).
Сразу оговорюсь: перевод некоторых терминов почти дословный, из-за чего они могут звучать немного неуклюже. Если у вас есть идеи, как лучше передать смысл понятий "networking" (нетворкинг), "regulatory focus", "promotion-focused", "prevention-focused", делитесь в комментариях!
Лично мне сама тема этого исследования Джино не кажется особенно глубокой, но оно наглядно демонстрирует, до чего могут дойти в погоне за результатами.
Ключевой момент: на этот раз Джино провалилась не в сортировке данных, а в фальсификации количественных показателей, забыв исправить качественные — ответы на открытый вопрос.
Суть исследования и гипотеза
В этой работе Джино и её коллеги выдвинули гипотезу, что ментальные установки влияют на восприятие людьми нетворкинга. Они изучали два типа ориентации: «на продвижение» (размышления о желаниях и целях) и «на предотвращение» (размышления о долге и обязанностях). Авторы предполагали, что люди будут относиться к нетворкингу хуже, если их настроить на «предотвращение».
Проще говоря, идея в том, что предварительный настрой влияет на то, как мы оцениваем последующее событие.
Методология
Участников (599 человек) случайным образом распределили по трём группам и дали короткое письменное задание для создания нужного настроя:
- Написать о надеждах или амбициях (настрой на продвижение).
- Написать о долге или обязательствах (настрой на предотвращение).
- Опиcать свои обычные вечерние занятия (контрольная группа).
После этого участников просили представить себя на сетевом мероприятии, где они завязывают профессиональные знакомства.
Затем следовала оценка своих ощущений от этой деятельности по 7-балльной шкале по семи параметрам: чувствовали ли они себя грязными, испорченными, фальшивыми, пристыженными, неправыми, неестественными, нечистыми. Среднее значение этих оценок было ключевой зависимой переменной, названной авторами «моральной нечистотой».
И, что критически важно для расследования, участников попросили перечислить 5-6 слов, описывающих их чувства по поводу нетворкинга. В самой статье эти слова никак не анализировались, но для Data Colada они стали ключом к разгадке.
Официальные результаты и первые подозрения
Гипотеза авторов, как часто бывает в таких случаях, была «блестяще» подтверждена статистикой: участники в условии «предотвращения» чувствовали себя «нечистее», чем в условии «продвижения».
Однако анализ базы данных, опубликованной в 2020 году, вызвал вопросы. В контрольной группе многие участники ставили оценки «1» по всем пунктам (то есть не видели ничего плохого в нетворкинге), что логично. Но в группе «предотвращения» было подозрительно много участников, которые ставили «2» или «3» по всем семи пунктам сразу.
Это выглядело странно: легко представить человека, который вообще не видит проблемы (все 1), но маловероятно, чтобы множество людей единодушно чувствовали себя *ровно одинаково* «немного грязными», «немного фальшивыми» и т.д. по всем параметрам. Возникло подозрение, что часть оценок «1» была вручную изменена на «2» и «3», чтобы усилить эффект.
Разоблачение через забытые слова
Поскольку того, кто фальсифицировал данные, не интересовали слова участников, он забыл их подделать. Анализ этих слов и стал главным доказательством.
Три независимых оценщика, не знавших о целях проверки, проанализировали эмоциональную окраску слов каждого участника по шкале от 1 (крайне негативно) до 7 (крайне позитивно).
Фальсификация №1: Подозрительные «двойки» и «тройки»
Если подозрительные оценки 2.0 и 3.0 в группе «предотвращения» изначально были 1.0, то слова, их описывающие, должны быть несоразмерно позитивными. Так и оказалось.
Участники с оценками 2.0 и 3.0 использовали для описания нетворкинга слова, столь же положительные, как и те, кто ставил 1.0. Это прямое указание на то, что числовые оценки были изменены, а словесные описания остались нетронутыми и выдали первоначальное, положительное отношение участников.
Фальсификация №2: Подозрительные «единицы» в группе «продвижения»
Было и обратное подозрение: что некоторые высокие оценки в группе «продвижения» были изменены на 1.0, чтобы ослабить эффект в этой группе.
Анализ «сетевых энтузиастов» — участников, которые поставили 1 по всем пунктам «нечистоты» и при этом высоко оценили своё желание заниматься нетворкингом в будущем, — показал несоответствие. В предположительно «чистых» группах (контроль и предотвращение) лишь один из 22 таких энтузиастов использовал негативные слова. В то время как в группе «продвижения» 8 из 38 «энтузиастов» описывали нетворкинг резко негативно. Это косвенно свидетельствует, что их исходные оценки «нечистоты» могли быть выше.
Что показал анализ только слов?
Если убрать потенциально сфальсифицированные числовые оценки и проанализировать только слова участников, эффект, описанный в статье, не просто исчезает — он меняется на противоположный. Участники в условии «предотвращения» использовали *более* позитивные слова для описания нетворкинга, чем в условии «продвижения». Этот результат, сам по себе не обладающий высокой значимостью, тем не менее является ещё одним свидетельством манипуляций с исходными данными.
Заключение расследования
Data Colada получила подтверждение (не из Гарварда), что сотрудники Гарварда проверили исходный файл данных и обнаружили факт изменений.
Мой комментарий: Даже если тема исходного исследования кажется надуманной, сам метод расследования — анализ несоответствия между количественными оценками и качественными описаниями — представляет огромный интерес. Он демонстрирует, как пренебрежение «неважными» данными может привести к разоблачению даже тщательно спланированного подлога.
Обратите внимание: MIT: ядерная энергия является неотъемлемой частью будущего энергетики с низким содержанием углерода.
Больше интересных статей здесь: Новости науки и техники.
Источник статьи: Большой скандал в научном мире прямо сейчас. Часть 4 – заключительная.