Это перевод четвертой и последней статьи профессора Франчески Джино из Гарвардской школы бизнеса из серии расследований Data Colada о мошенничестве с данными.
Предыдущие части в моем переводе: первая, вторая и третья.
Напоминаю, что посты в этой серии — это мой вольный пересказ исследований Data Colada; Все картинки оттуда. Авторы опроса уточняют, что в подготовке финальной серии участвовали молодые исследователи, пожелавшие остаться анонимными, а соавторы Джино никоим образом не участвовали в сборе и анализе данных для нижеследующего исследования.
Часть 4: Забывание слов
В этом разделе мы сосредоточимся на статье Джино, Коучаки и Кашаро «Зачем связываться? Моральные последствия налаживания связей с целью продвижения или предотвращения» [«Зачем связываться? Моральные последствия налаживания связей с упором на продвижение или предотвращение»] (2020), а именно исследование 3(а).
От себя хочу сразу добавить, что перевод терминов почти дословный, и из-за этого может показаться глупым😬 Если вы знаете, как лучше передать смысл терминов "сеть", "менталитет", "направленный на продвижение", "ориентированный на профилактику", пишите в поле для комментариев, интересно!
Также сама идея этого исследования Джино мне лично не кажется интересной, а что только люди не изучают.
Для LL: на этот раз Джино потерпел неудачу не в сортировке данных, а в фальсификации количественных данных, забыв исправить качественные - ответ на открытый вопрос.
Так.
В этой статье Джино и др предположили, что ментальные установки могут влиять на то, как люди рассматривают сети. Отношения, которые они изучали, известны как «ориентация на продвижение» и «ориентация на предотвращение». В первую входит обдумывание того, что человек хочет сделать, а во вторую - что он должен. Гипотеза авторов заключалась в том, что люди будут хуже относиться к нетворкингу, если его настроить для «профилактики».
То есть, в глобальном масштабе, смысл в том, что атмосфера перед событием будет влиять на то, как мы его воспринимаем.
Участникам (599 человек) было предложено выполнить короткое письменное задание, чтобы выявить отношение к продвижению, предотвращению или отсутствию отношения. Для этого их случайным образом распределяли по группам и просили написать об одной из трех вещей:
1. Надежда или амбиции (настройка продвижения)
2. Долг или обязательство (настрой избегания)
3. Их обычная вечерняя деятельность (контрольное состояние)
После письменного задания участников просили представить, что они находятся на социальном (сетевом) мероприятии, где у них появились профессиональные связи.
Затем участников попросили оценить по 7-балльной шкале, как они себя чувствовали в результате этой деятельности: грязные, испорченные, фальшивые, постыдные, неправильные, неестественные, нечистые. Среднее из этих семи определений было ключевой зависимой переменной, которую авторы исследования предложили называть «моральной нечистотой» (1 — в сетях нет ничего плохого; 7 — сети максимально «нечисты»).
Наконец, что очень важно для опроса, участников попросили перечислить 5-6 слов, которые описывают их чувства по поводу нетворкинга. Джино и соавторов эти слова особо не интересовали, они даже никак не анализировались. Но для Data Colada они были ключом к обнаружению подделок.
Результаты статьи
Как обычно, гипотеза авторов была сильно подтверждена статистикой: участники чувствовали себя более нечистыми по поводу сетевого события в условиях профилактики, чем в условиях продвижения (F (2,596) = 17,69, p < 0,0000001).
Но давайте посмотрим на базу данных
Он был выпущен для публики в 2020 году.
В верхнем ряду показан участник, набравший «1» за все «примеси». То есть он не чувствовал себя грязным, избалованным, неаутентичным и так далее, «находясь» на сетевом мероприятии. Слова, которые он написал, также были положительными: «Комфортно», «Принято», «Принадлежность», «Командная работа» и так далее
Положительные отзывы — это положительные слова. Логически говоря.
Оценка моральной нечистоты
На приведенном ниже графике показан средний рейтинг моральной нечистоты для каждого участника исследования.
В контрольном условии (слева) мы видим, что 92 участника набрали 1,0, что означает, что они не чувствовали себя нечистыми ни по одному из пунктов шкалы. В целом, кажется логичным, что многие участники ответили бы так. Может быть, нет ничего грязного или неправильного в дружбе с коллегами.
Но теперь давайте посмотрим на условие избегания (в середине), для которого авторы предсказали более высокие («более нечистые») оценки. Единиц на самом деле намного меньше, но много двойок и троек.
И это кажется странным.
Если это среднее из семи баллов, то самый простой и распространенный 2,0 достигается, когда все семь баллов равны 2. Хотя авторы Data Colada не находят удивительным, что многие ответили 1 по всем пунктам шкалы, они находят это странно, что так много людей оценили 2 или 3 по всем пунктам, то есть они чувствовали себя немного грязными, немного фальшивыми, немного пристыженными и т д
Это вызвало подозрение, что данные в профилактическом условии были подделаны, а именно некоторые из «всех 1» были заменены на «все 2» и «все 3».
Data Colada также заметил, что в состоянии прогресса не было очень высоких значений, а было много средних 1,0, что также привело к подозрению, что некоторые из более высоких значений были вручную изменены на 1,0.
Попробуем проверить эти подозрения. Использование слов.
Джино и соавторов не интересовали слова, которые написали участники. Но именно они раскрывают всю картину мошенничества.
Насколько известно Data Colada, эти слова никогда не анализировались. Они даже не упоминаются в разделе результатов исследований.
Почему это так важно?
Потому что тот, кто хочет сфальсифицировать результаты, может изменить оценки, забыв изменить слова.
И это, кажется, произошло. Далее при анализе фальсифицированные оценки сетевого события будут противопоставлены словам, описывающим его, которые забыли фальсифицировать.
Чтобы анализировать слова, необходимо было количественно определить, что они выражают.
Обратите внимание: MIT: ядерная энергия является неотъемлемой частью будущего энергетики с низким содержанием углерода.
Для этого были задействованы три человека, которые не знали, что именно тестируется, и которые независимо оценивали общие положительные/отрицательные словосочетания каждого участника по шкале от 1 — крайне отрицательно до 7 — крайне положительно. Затем эти баллы усреднялись, чтобы дать каждому участнику общую оценку позитивности/негативности их слов.Рассмотрим подробнее подделку №1 — подозрительную 2.0 и 3.0 в предупредительном состоянии
Первое (и самое сильное) подозрение заключалось в том, что морально «нечистые» 2.0 и 3.0 в профилактическом состоянии изначально были 1.0, то есть совершенно «чистыми». Если это правда, и если их слова не изменились, то мы должны увидеть, что слова, связанные с этими 2.0 и 3.0, слишком положительны.
Чтобы убедиться, что это так, давайте сначала просто посмотрим на необработанные данные.
Строки на картинке отсортированы по степени позитивности слов, так что самые негативные фразы находятся вверху. Те, кто получил положительную оценку (выше среднего), выделены синим цветом. Слева - предположительно поддельные 3.0, справа - предположительно реальные оценки от 2.0 до 3.0.
Поскольку 3.0 выше по «примеси», чем значения между 2.0 и 3.0, мы должны увидеть, что для 3.0 было написано больше негатива. Но вместо этого мы видим гораздо больше положительных моментов. И это очень странно. Если только эти 3.0 изначально не были 1.0.
Попробуем проверить это подозрение количественным анализом.
По оси ординат отложены рейтинги слов, которые написали участники и которые были оценены независимыми экспертами (чем больше, тем положительнее), а по оси абсцисс — количественные рейтинги, которые поставили сами участники. Четыре синие точки на линии или рядом с ней представляют средний рейтинг слов для участников, которые дали моральной нечистоте 1,0 балла; от 1,0 до 2,0; от 2,0 до 3,0; и выше 3.0. И все они логичны.
Но обратите внимание на красные точки, представляющие средний рейтинг, связанный со словами «все 2» и «все 3» в условии избегания. Они не имеют смысла, так как ассоциируются с чрезмерно положительными словами. На самом деле они так же положительны, как и «все единицы» в остальной части набора данных. Это еще одно свидетельство того, что эти «все двойки» и «все 3» раньше были «всеми 1».
Теперь перейдем к фейку №2: подозрительный 1.0 в состоянии кампании.
Второе (и более слабое) подозрение заключалось в том, что какая-то высокая моральная нечистота в условии кампании была изменена на 1.0.
Чтобы проверить это, Data Colada внимательно изучила подмножество участников, которых они предварительно назвали «сетевыми энтузиастами». Это участники, которые оценили «1» по всем семи пунктам моральной нечистоты (таким образом, не обнаружив ничего нечистого в сети) и которые также набрали «7» по следующим четырем пунктам, которые оценивали вероятность того, что они будут добровольно участвовать в сети в следующем месяце (то есть весьма вероятно).
Эти «любители сетей» крайне положительно относились к нетворкингу по всем доступным им шкалам оценок. И поэтому логично ожидать, что о мероприятии будут писать положительные отзывы. Но если некоторые из этих 1.0 были подделаны и действительно плохо оценивали сеть, некоторым из этих «сетевых работников» пришлось бы использовать довольно негативные слова для описания сети.
И это так.
Было 38 «сетевых работников» в условиях продвижения (слева) и 22 в условиях контроля и предотвращения (справа). На рисунке ниже показаны 15 «сотрудников сети» в каждой из этих двух групп, которые написали больше всего негативных слов. Каждое предложение, получившее отрицательную оценку (ниже средней точки шкалы), выделено красным цветом.
Что мы видим?
В наблюдениях, которые предположительно не были изменены (условия контроля и профилактики справа), только один из 22 «сетевых энтузиастов» написал об этом негативно, а то, что они написали, было лишь умеренно негативным (3,3 из 7). Однако в наборе наблюдений, который якобы включал фальсифицированные данные (условие кампании), 8 из 38 написали негативные отзывы о сетях, причем во многих случаях эти слова были очень негативными.
С одной стороны, таких людей довольно много, и только на основании этого анализа невозможно сделать однозначные выводы. С другой стороны, фанатов сети должно быть очень мало, пишущих об этом негативно, не говоря уже о целых 8 в одном штате.
Это воспринимается как косвенное доказательство того, что некоторые из этих кампаний со статусом 1.0 имели более высокие показатели моральной нечистоты.
Что, если мы просто разберем слова?
Если подозрения в манипулировании рангом верны, эффект автора должен исчезнуть при простом анализе слов. И он идет.
Он даже не просто запускается - почему-то крутится. Люди использовали больше положительных слов для описания сетевого события в условиях профилактики (M = 5,14, SD = 1,67), чем в условиях продвижения (M = 4,74, SD = 1,92), что может означать, что фокус на продвижении вреден для них самих. -презентация.
Неизвестно, почему это так. Возможно, это совпадение, так как значимость (р-значение) не особо впечатляет. Возможно, данные были сфальсифицированы каким-то другим способом. Или, на самом деле, верна гипотеза, противоположная выдвинутой авторами. Какой бы ни была причина, этот результат является еще одним доказательством того, что данные были сфальсифицированы.
Дата Колада комментарий:
«Мы получили подтверждение не из Гарварда, что сотрудники Гарварда просмотрели исходный файл данных Qualtrics и что данные действительно были изменены».
Мой комментарий
Честно говоря, само исследование Джино немного глуповато, но было интересно прочитать о другом способе выявления подделок.
[mine]Подделка научных исследованийАнализ данныхСтатистикаLongpost 2 EmotionsБольше интересных статей здесь: Новости науки и техники.
Источник статьи: Большой скандал в научном мире прямо сейчас. Часть 4 – заключительная.
- В рамках исследования астрономы обнаружили планету, облака которой способны отражать 80% получаемого ею звездного света, что делает ее самой яркой из известных на сегодняшний день планет или самым большим известным "зеркалом" во Вселенной
- Спектроскопический прибор для изучения темной энергии (DESI) представляет собой впечатляющий технологический прогресс в изучении Вселенной