Позвольте мне предложить другой способ оценки того, работает ли это. Для новичков, на мой взгляд, человеческий фактор не такая большая проблема. Если нам не интересно, что машины думают о гитарах, на самом деле, я бы сказал, что это важно.
Рассмотрим основные элементы исследования. Цель эксперимента - определить, можно ли отнести наблюдаемое изменение к изменяемой переменной, а не к какой-то посторонней переменной. Влияние посторонних переменных можно ослабить, по крайней мере, двумя способами: (а) путем попытки ограничить любое возможное изменение этих посторонних факторов или (б) путем рандомизации и репликации. Практически ничто не является полностью инвариантным. У нас могут не быть инструментов с достаточным разрешением, чтобы обнаружить изменчивость, но они есть (например, броуновское движение). В некоторых случаях чистая изменчивость, возникающая из-за посторонних факторов, намного ниже величины того, что производит управляемая переменная, что она несущественна. Это может быть достигнуто либо методом (а), либо методом (б).
В эксперименте следует наблюдать степень вариации, которая возникает при отсутствии критических манипуляций (в данном случае, обработки гитары) и вариация, возникающая при наличии манипуляций. Обычно это делается с помощью двух групп людей, объектов или событий. Одна группа оценивается без каких-либо манипуляций, а другая проверяется с помощью манипуляций. Разница (то есть изменчивость) между группами должна превышать изменчивость внутри групп. Для этого не требуется, чтобы в группах была нет изменчивость (то есть, чтобы каждое исполнение каждой гитары было одинаковым); это просто требует, чтобы группы были достаточно большими, чтобы адекватное количество усреднения происходило, чтобы уменьшить суммарный эффект посторонних переменных.
В данном случае все, что может быть достигнуто чем-то вроде следующего:
Соберите 10 гитар одного типа. 5 из них лечили и 5 нет. Затем 20 человек играют на всех гитарах при схожих обстоятельствах. Попросите их оценить гитары по соответствующим параметрам (например, отзывчивость, баланс, тон, громкость - все, на что вы хотите претендовать, зависит от процесса лечения). Конечно, это тестирование должно проводиться в двойном слепом режиме, чтобы ни игроки, ни люди, проводящие тесты, не знали, какие гитары были обработаны (или даже не знали, что какой-то процесс лечения оценивается). Статистические тесты могут быть применены к результирующим данным, чтобы определить, действительно ли различия в рейтингах для обработанных и необработанных гитар превышают величину различий между гитарами одного и того же типа (то есть, которые не различаются в зависимости от состояния обработки). Это проверяет, превосходит ли эффект от лечения все нерелевантные источники вариаций, такие как различия в способностях игроков, различия между игроками при игре на одной гитаре к другой, различия между игроками, различия в температуре и влажности во времени, и все остальное происходит на. Возможно, это именно «правильный» тест, потому что потребитель должен знать, что процесс обработки делает больше, чем множество вещей, которые заставляют гитару меняться изо дня в день или даже момент за моментом.
Критерий ибо «убедительно» определяется статистически. По сути, вы хотите, чтобы разница, которая была бы маловероятной, произошла бы, если бы обработанные и необработанные гитары действительно были примерно одинаковыми, и лишь случайность была единственной причиной, заставляющей колебаться рейтинги. Так, например, если 11 из 20 оценщиков предпочли обработанные гитары, а 9 предпочитали необработанные, это может быть не очень убедительным доказательством.
Технический вопрос, который я не затронул, - сколько именно гитар и как Для этого теста необходимо много игроков. Чем больше у вас каждого, тем больше будет «усредняться» влияние всех этих посторонних факторов и тем меньше будет общее влияние. Иными словами, чем больше гитар и игроков будет использовано в исследовании, тем меньше будет разница, которую вы сможете обнаружить между обработанной и необработанной гитарой, используя статистический критерий. Разработайте достаточно большое исследование, и даже малейшее истинное различие будет обнаружено. В небольшом исследовании разница между обработанной и необработанной гитарой должна быть более существенной, чтобы пройти статистический тест значимости.
Существует как минимум два способа найти подходящие числа. Одним из них является то, что называется анализ мощности , что включает в себя формальное определение того, насколько велик эффект, который вы хотите иметь в наличии, на основе стандартных отклонений критериев оценки внутри и между группами гитар, которые получают одинаковое лечение ( либо вообще никакого лечения, либо процесса улучшения звука). Менее формально, вы, как игрок, можете просто спросить себя, сколько гитар, я думаю, мне нужно слушать, чтобы услышать разницу? Меня действительно интересует разница, которая проявляется только при сравнении десятков гитар и плееров, или мне действительно важно, если разница очевидна с меньшей выборкой? Конечно, нет единственно правильного ответа на этот вопрос.
Применение этого метода было бы утомительно, но не требовало бы затрат и непрактичности минимизации изменчивости за счет использования механических устройств. Кроме того, если оно спроектировано и проведено должным образом, оно даст данные той же надежности и достоверности, что и некоторые подходы, основанные на роботах. В любом случае посторонние факторы (технически, ошибка отклонения) уменьшается. Уменьшение этой дисперсии имеет тот же эффект, если вы делаете это, пытаясь устранить ее у ее источника или контролируете ее посредством рандомизации и репликации.
Наконец, позвольте мне заметить, что причина, по которой люди так озабочены доказательствами, может будь то очень сильное требование было сделано. Тема называется «Акустический прорыв - новый революционный процесс создания акустических инструментов». Мне кажется совершенно уместным, чтобы люди ожидали таких больших доказательств, как иск. На мой взгляд, это означает, что нужно провести правильное исследование. Неподходящие данные были бы хороши для заявления типа «некоторые интересные идеи о гитарном тоне» или «я думаю, что слышу некоторые изменения в том, как звучит моя гитара» Но «акустический прорыв» и «революционер» ставят планку довольно высоко.