Хотя размер выборки, возможно, был слишком мал, чтобы обнаружить присутствующий эффект, мы снова возвращаемся к вопросу о том, насколько большой или маленький эффект должен гарантировать наш интерес. Если потребуется сравнение 30 пар гитар, чтобы обнаружить разницу, то эта разница будет довольно небольшой и, честно говоря, для меня мало практического интереса. С другой стороны, если бы объективные и субъективные рейтинги находились в миле друг от друга во всех трех случаях, это означало бы довольно существенную разницу.
В исследовании такого типа даже одна пара могла бы дать убедительные результаты. разница, в теории. Если вы подбрасываете пару монет, а одна поднимается головой, а другая - хвостом, это ничуть не впечатляет. Это потому, что вариация того, как приземляется монета, дискретна (точнее, двоичная), а не непрерывна. Теперь давайте возьмем еще одно сравнение пары. Допустим, мы получаем два суждения, одно объективное, а другое субъективное, размером двух человек. Два человека входят в комнату и наблюдаются. Затем их взвешивают. Человек A описывается как «огромный» и весит 500 фунтов, а человек B описывается как «маленький» и весит 75 фунтов. Могут ли эти данные вас усомниться в том, какой человек был больше? Возможно нет. Если вы подозрительны, вы можете представить, что весы были сфальсифицированы или наблюдатель не сказал правду. Но если бы у вас не было оснований для этих подозрений, вы, вероятно, были бы полностью убеждены, что Лицо А было больше, чем Лицо В. Теперь представьте себе три пары людей, по одному в каждой паре, обозначенной как в Группе А, а другой в каждой паре. находясь в группе B. Получаются те же субъективные и объективные оценки Во всех трех случаях диапазон описаний в реальных весах указывает на отсутствие совпадения между группами. Так, например, самый маленький человек из группы A описывается словами, указывающими больший размер, чем самый большой человек из группы B, и весит намного больше, чем самый большой человек из группы B. Кроме того, в каждой группе люди субъективно и объективно очень похожи по размеру. Эти данные с неперекрывающимися распределениями для двух групп представляют существенную разницу между группами, и если бы люди были выбраны действительно случайным образом из каждой из групп, это на самом деле было бы убедительным доказательством различий в группах, несмотря на тот факт, что они были основаны только на 12 точках данных (3 пары людей, от каждой из которых были оценены две переменные). Обратите внимание, что даже если мы проигнорируем величину различий и сведем данные к двоичным, что является большим сравнением, у нас есть 6 пар независимых наблюдений (по 3 для каждой переменной), все из которых указывают на то, что группа A больше, чем группа B. вероятность того, что это произойдет случайно, равна 1 к 64 или р <0,02. Конечно, если вы используете аналитический подход, который также учитывает величину различий между группами, статистическая мощность будет выше, а значение p будет меньше. <br>
Таким образом, при существенных различиях такого размера выборки было бы достаточно. Тот факт, что это не принесло значимости, означает либо отсутствие различий, либо то, что реальные различия малы. Если бы в каждом случае гитара, получившая тонерит, была лучше объективно и субъективно, этот тест показал бы эту разницу.
Моя точка зрения заключается в том, что небольшой размер выборки сам по себе не является объяснением для нулевого результата. Но это даст нулевой результат, несмотря на реальную разницу, если фактическая разница довольно мала. Таким образом, в этом случае может оказаться, что нулевой результат обусловлен небольшим размером выборки. Но заключение этого означает вывод о том, что разница, возникающая от тонерита, была слишком мала, чтобы проявить себя, учитывая три пары гитар, измеренных по двум переменным. Для меня это первостепенно сказать, что эффект слишком мал, чтобы о нем заботиться. Меня не интересует устройство, которое производит настолько малый эффект, что мне придется обработать какое-то неизвестное количество (но больше 3) гитар, прежде чем я смогу субъективно или объективно обнаружить, что что-то произошло. Кроме того, если вы предполагаете, что объективные данные более чувствительны, чем субъективные впечатления, то вполне может оказаться, что если вы достигли размера выборки, достаточно большого для того, чтобы физические измерения достигли значимости, человеческие уши все равно не смогут этого сделать *. 1006 *
Итак, суть в том, что я не вижу хороших новостей для Тонерита в этом исследовании, и лично я не считаю размер выборки особенно хорошим способом отклонения результатов.
На С другой стороны, я не считаю, что это исследование решило вопрос о том, приносит ли Тонерит пользу. Есть и другие аспекты исследования, которые могут поставить под угрозу его обоснованность. Например, в попытке максимизировать внутреннюю достоверность (т. Е. У нас есть уверенность в том, что различия, которые мы наблюдаем или не наблюдаем, связаны с воздействием тонерита), исследование поставило под угрозу экологическую достоверность (т. Е. Актуальность результаты в реальных условиях). Может случиться так, что если вы будете следовать этим учебным процедурам, вы не получите никакого эффекта, но если вы будете делать то, что делает большинство пользователей Tonerite, эффект появится. У меня нет никаких доказательств этого лично, но у меня нет и доказательств обратного.
Итак, еще раз, я думаю, у нас остался интересный набор наблюдений, которые говорят нам то, чего мы не знали до этого, но до решения вопроса о том, может ли тонерит улучшить звучание инструмента, еще далеко.