Первоначально написал devellis ↠ Я не согласен , На мой взгляд, человеческие суждения являются наиболее актуальными. Вся цель продвижения «открытия» гитары состоит в том, чтобы изменить то, как она звучит для людей, а не менять следы на ЭЛТ.
Валидация должна иметь в качестве самого первого шага четкое определение рассматриваемая переменная. Переменная должна быть измеримой, но шкала измерений должна соответствовать заявленной формуле. Так, например, многие переменные могут быть измерены со сверхвысокой точностью, что может сделать тривиальную разницу важной, хотя на самом деле это не так. Если я продам формулу роста, которая, как утверждается, приведет к тому, что дети к 12-летию достигают большего роста, если мои измерения будут достаточно точными, чтобы показать преимущество в миллионную часть дюйма, кого это может волновать? «Размер эффекта» должен соответствовать шкале, по которой явление обычно оценивается. Показания осциллографа могут показать разницу, но если люди не могут перевести это в какую-либо слышимую разницу, кого это волнует? Таким образом, критерием должно быть то, что слушатели считают, что гитара (-ы) улучшились.
Теперь слушатели являются несовершенными оценщиками, но эти недостатки могут быть компенсированы экспериментально путем сбора нескольких оценок. Даже если одна гитара проходит процедуру, если у вас достаточно людей, которые оценивают гитару до и равное количество (но не одни и те же люди) оценивают ее после, это кажется гораздо более уместным тестом. И люди, которые слушают, и люди, собирающие оценки, должны быть слепы к тому, подверглась ли гитара вмешательству. Аналогичным образом, аналитик данных должен сравнивать оценки между двумя группами, не зная, какая группа является какой (так называемый тройной слепой дизайн). Если есть даже малейшее различие в том, как звучит гитара до и после, достаточное количество наблюдений обнаружит эту разницу, независимо от того, насколько она мала. Конечно, это может быть обнаружено, но слишком мало, чтобы иметь какое-либо значение. Например, если по произвольной 10-балльной шкале, если она имеет оценку 8,5 до тестирования и 8,5000001 после тестирования, я сомневаюсь, что кто-либо посчитает, что это увеличение имеет какое-либо практическое значение (независимо от его статистической значимости). То есть наблюдаемый «размер эффекта» будет считаться несущественно малым.
Теперь проблема с описанным дизайном состоит в том, что даже если вы наблюдаете разницу, трудно отнести ее к «вмешательству», а чем один из множества посторонних факторов. Можно было бы перечислить некоторые из них (например, влажность, состояние струн и другие) и убедиться, что все уровни этих переменных одинаково представлены в наблюдениях до и после вмешательства. Это можно сделать статистически, а не экспериментально, измеряя эти переменные и контролируя их влияние в анализе.
Если бы я был одним из исследователей Рэнди, я бы хотел что-то приблизиться к этому уровню доказательств, прежде чем перейти к проблема или затраты на установку более существенных усилий для установления эффективности вмешательства. Их критерии могут быть более смягченными, но я подозреваю, что они все еще довольно требовательны даже на этом начальном этапе.
В дополнение к этому, в своих ранних исследованиях психических явлений Джеймс Рэнди часто обнаруживал, что физики и инженеры не особенно проницательные детекторы ложных утверждений. Отчасти это связано с тем, что они сосредоточены на деталях за счет общей картины. Таким образом, они могли бы сосредоточиться на молекулярном составе изогнутой ложки и величине силы, необходимой для ее изгиба, при этом полностью упустив тот факт, что изогнутая ложка была заменой первоначальной изогнутой ложки, которую подал заявитель. (Это гипотетический пример, но он говорит о том, что я слышал о Рэнди). Сценические фокусники, такие как сам Рэнди, с другой стороны, смотрели не пристально на «ложку», а на целое созвездие поведения, включая все возможности для неверного направления. Они оказались гораздо более проницательными критиками. С тех пор ученые / инженеры, вовлеченные в этот процесс, стали гораздо более искушенными, и разные члены команды имеют разные области знаний, начиная от языка тела (который может дать подсказки для обмана или неверного направления) до убеждения, до физики.
Извините за длинный пост. |