Еще несколько наблюдений по оценке такого рода науки и, возможно, прояснение некоторых других вопросов, которые были подняты.
Если существует истинная разница любой величины, достаточный размер выборки сделает ее статистически значимой. Обнаружение истинной разницы требует, чтобы метод измерения имел достаточную точность для дифференциации в масштабе существующей разницы. Для чрезвычайно малых различий размер выборки, необходимый для достижения статистической значимости, может быть нецелесообразным. Но в принципе, если есть какая-либо истинная разница, достаточно большая выборка приведет к статистической разнице. Причина этого заключается в том, что случайная ошибка приближается к асимптотическому значению ноль при увеличении размера выборки. Статистика в основном пытается оценить характеристики населения. Когда размер выборки приближается к размеру популяции, влияние ошибки выборки приближается к нулю. Кроме того, по мере того, как число индикаторов увеличивается к бесконечности, влияние ошибки измерения приближается к нулю. Таким образом, в принципе (но, безусловно, не на практике) достаточно большая выборка с соответствующими инструментами измерения сделает любую реальную разницу (например, не из-за ошибки измерения) существенной.
Наука, безусловно, может доказать иные вещи, кроме которые связаны с физическими законами. Это делает это, по сути, опровергая обратное. Таким образом, любое утверждение об отсутствии различий может быть опровергнуто одним достоверным возникновением разницы. Если кто-то утверждает, что Джон никогда не выбирает тот же вкус мороженого, что и у Мэри, то демонстрация единственного выбора ими одного и того же аромата является опровержением утверждения и, как следствие, доказательством противоположного (то есть доказательство того, что Джон иногда выбирает один и тот же). аромат мороженого (как у Мэри).
Субъективные данные полностью поддаются измерению и, в некоторых случаях, могут быть измерены с большей точностью, чем аналогичные объективные явления. Например, оценки яркости освещения, сделанные в соответствующих условиях, очень надежны и образуют шкалу отношений (самый надежный уровень масштабирования). То есть людей могут попросить отрегулировать свет так, чтобы он был в два раза ярче контрольного, и результаты были в высокой степени согласованными. Обратите внимание, что «вдвое ярче» довольно субъективно Это в два раза больше люмен? Эквивалент источника света в два раза больше мощности? Ярко, как два огня? Это не совсем то же самое. Но люди делают хорошую работу, обеспечивая последовательные результаты, какими бы внутренними определениями они ни руководствовались. То же самое верно для суждений громкости. Часто эти субъективные суждения связаны с энергетическим уровнем, стимулирующим стимул логарифмической функцией. Чтобы измерить «какая гитара звучит лучше», вам нужно согласовать определение «лучше» (например, «звучит более музыкально или приятно»), а затем попросить слушателей сделать суждения, используя это определение в качестве руководства. Получите достаточно рейтингов, и вы сможете получить высокую степень надежности, если рейтинги не являются полностью случайными (и нет оснований полагать, что они будут).
Ни один из них не имеет прямое отношение к эффективности Тонерита, и я не имею ни малейшей критики в отношении тех, кто, возможно, сделал заявление, к которому я обращаюсь. В некоторых случаях люди делали общие заявления, которые, на мой взгляд, были в основном правильными, но при некоторых обстоятельствах могут нуждаться в некоторой квалификации.
Очевидно, что не все будут заботиться обо всем этом, но когда мы начнем осваивать достоинства или недостатки результатов исследований, для нас будет потенциально полезно понять некоторые из основных моментов работы методологий исследования и анализа.