Наши статьи

[Michigan]

17 минут назад, Gromushka сказал:

И только третья сторона потом после всех результатов и обработки начинает сверять. И делает окончательные выводы. А вы описываете просто слепое тестирование. 

Я имею ввиду что мы тестируем не различие вкуса молочного пудинга от йогурта на уровне "нравится/не нравится", а более тонкие параметры и обычный пользователь, не имея опыта сравнительного прослушивания компонентов, не будет в принципе понимать какие параметры сравниваются. Ну вот дай вам два ружья 12 калибра, вы сможете точно описать в чем различие в использовании двух разных ДТК (дульных тормозов-компенсаторов)? А она есть

[Дмитрий_Ш]

35 минут назад, Gromushka сказал:

Michigan

Вы не совсем правы. 

Те методики, которые вы описали по сути отличаются лишь тем, что в 2 из 3 случаев слушателям либо заранее известно во что вслушиваться, либо им об этом рассказывают. 

Но это лишь означает, что разница настолько мала, что для того, чтобы ее заметить и локализовать нужно вслушиваться в заранее известные части. 

Но методика всех тестов вовсе описана не как ДСТ - так как слово "двойной" в данном случае означает, что ни те, кто включает провода и интерпретирует результаты ни испытуемые, не знают что обозревали и что тестировали. 

И только третья сторона потом после всех результатов и обработки начинает сверять. И делает окончательные выводы. А вы описываете просто слепое тестирование. 

В одном из журналов The Audiocritics была интересная статья каксательно корректного двойного слепого тестирования, Не поленился отсканировать, мож будет интересно почитать  

Цитата

 

More about the AES Convention

The Blind Misleading the Blind

By Jeff Corey, Ph.D., Professor of Psychology C. W. Post College of Long Island University

Some of this covers the same ground as the preceding article but from the point of view of an academic in experimental psychology.

Dan Dugan asked me to attend the October AES con­vention in New York and participate in a workshop titled "New Cable Designs: Innovation or Consumer Fraud?" in my capacity as an experimental psychologist and member of the New York Area Skeptics. It was my first introduction to the so-called Great Debate between the "subjectivists" and "objectivists" on the question of assessing the quality of sound reproduction. I haven't seen that kind of "debate" since the behaviorist-humanist conflict in psychology back in the 1960s.
My contribution was to explain the necessity of dou­ble-blind procedures in any subjective testing situation. I fo­cused on the problems involved in subjective judgments and the need for double-blind procedures to control subject and experimenter bias (the Rosenthal effect). Experimenter and observer bias need not be evidence of fraud; rather, they are common behavioral phenomena. In addition, I was asked to explain why some people might continue to insist on hear­ing differences when no evidence supported their existence.
I concluded by relating the tale of P.T.Bamum and his "Fee­gee Mermaid." Everyone at the workshop was relatively polite, which did not prepare me for the later level of dis­course.
After the workshop, I was approached by a number of people who took issue with my point of view. The first iden­tified himself as a certified clinical psychologist and audio­phile. He insisted that I must listen to his sound system and judge for myself. I replied that I would do so, but only in a double-blind test. After we both persisted in our different views, he stalked away crying, "And you call yourself a sci­entist?" Another gentleman introduced himself with, "I attended Harvard and have a degree in physics. I invented the triple-blind method." [This was Clark Johnsen. See also the preceding article.—Ed.] Then he gave me a preprint. I avidly scanned the preprint because the only triple-blind method I ever heard of was the old joke about doing a dou­ble-blind experiment and then losing your data.
As it became apparent upon reading the paper, this triple-blind procedure was a joke, too. The new twist turned out to be that the subjects were not told that they were being tested. They were presented with recorded material in "re­verse polarity" and then, after a selection played for a while, "the operator (so as not to cause undue suspicion) winked at the subject and spoke words to the effect, 'We'll do that again.'" Then the operator switched the wires to the correct polarity and "stayed out of sight to fufill the criterion of a blind (unseen) operator." After the test was over, the opera­tor returned to the listening room, gave the subject a re­sponse sheet and asked, "Did you hear a difference?"
This exemplifies one of my favorite experimental psy­chology exam questions. Given an example of a hopelessly flawed study, how many flaws can the student find? An ade­quate scholar would list:

1. No informed consent was obtained.

2. Reverse polarity was always presented first. A con­founding order effect is likely, as shown in a later paper by Tom Nousaine.

3. The operator always knows the condition being presented. Verbal or nonverbal cues may bias the subject against the first presentation (with the operator present). The next cue that something different (maybe even better) is coming up is given away by the wink. Finally, being away during the second presentation does not count. The key point is that the potentially biased experimenter was present during the collection of the data.

4. There is no guarantee that the procedure of revers­ing polarity did not affect other salient features of the pre­sentation, such as the exact decibel level, which can affect subjective ratings (Nousaine's paper again).

While polarity may have a real effect, this study did not demonstrate anything warranting the author's conclu­sions. The triple-blind design is a hoax. When I questioned the presenter later, he replied that he was a "great actor" and could disguise his bias from the subject. Nod, nod, wink, wink. Or as the Pythons put it, "A nod is as good as a wink to a blind wombat."
The next day, I heard Robert Harley, of Stereophile magazine, attack the "objectivists." He objected to well-controlled experiments in listening on many grounds: they put pressure on the subject, components are switched too rapidly, and the scientists who run these tests are biased to­ward the conclusion that no differences exist (all the more reason to employ a double-blind procedure). Among the more ludicrous arguments was that if double-blind testing did not reveal differences which he could hear subjectively, then there is something wrong with blind testing. This re­minds me of discussions with New Age (rhymes with sew­age) believers in Crystal Power or ESP who, when they are faced with the feet that no scientifically sound, well-controlled, replicable data exist to support their claims, say, "Well, man, you skeptical scientists give off bad vibes that inhibit the Power—that's why, man, like be holistic or something." Say, Mr. Barnum, do you think these yokels would go for New Age Crystal Power Cables, filled with Thousands of Magical Silicon Dioxide All-Natural Crystals?
Let's conduct a thought experiment like good quan­tum mechanics. Suppose we were to persuade some audio­philes to take a subjective test. Let them relax with their fa­vorite selections played over a decent system. Pretend to plug in some well-known expensive cables and alternate them with some cheap cables whenever they wish. Go back and forth as many times as they wish and ask them to rate the performance on such key scales as "liquidity of mid­range" or "graininess of highs," or just ask for their prefer­ence. Take your time; be holistic. However, make sure that all selections are played through the same cables and the switching is done with cables that are not connected to the amp or speakers.
The experimenter who apparently switches the cables and collects the data would have to be ignorant about the real purpose of the study. The results might show a strong placebo effect. Easy enough to do, but it would suffer firm a certain ethical problem—misinforming the subject. That's what makes it a thought experiment.
Well, I learned one thing from the AES convention.
Next time I buy equipment, it won't be a $5995 tube am­plifier and I won't use $100-per-foot silver cable to hook up my speakers.

 

[Melomaniac]

3 часа назад, Michigan сказал:

Более продвинутый вариант, который например на прошлом РусХайЭнде демонстрировал Свобода при сравнении двух усилителей на его тестовом диске АудиоДоктор FSQ. Заранее рассказывалось где и как записывался трек, где и на каком расстоянии например сидел ударник и тп. И после этого включались два усилителя, без упоминания что за усилители

Только за этот абзац поставил Вам плюс. Ибо если знать, как записана та и или иная фонограмма, это и будет правильный тест аппаратуры, а не проверка предпочтений слушателей. 

Это же касается и незнакомых фонограмм. Иначе - "нравиццо/ненравиццо". Мало ли, кому что нравиццо...

Сам с таким столкнулся у себя дома, когда зимой сравнениями занимался и получил разную сцену с двух аппаратов на одной и той же фонограмме. Пока не написали письмо автору песни и не спросили его, зачем он так сделал и не показалось ли нам это, выводы о верности того или иного устройства были неправильными. Более кривое зато звучало приятнее на слух. Даже на слух владельца более прямого прибора, чего он никогда и не скрывал. При том это было абсолютно зрячее прослушивание, без цели доказать что-то кому-то или померяться циферками ТХ и потраченными деньгами.

[Melomaniac]

Хорошо бы еще было, чтоб тестеры звучание музыкальных инструментов себе представляли (а если играть еще умели бы...)

А иначе это просто оценка представлений того или иного индивида о том, как по его мнению звучит тот или иной инструмент. В залах и в студиях. Это на записях голосов и живых инструментов. Да и на электронных не все так просто...

Иначе это опять все скатится к "нравицца/ненравицца". Не так уж это и плохо, на самом деле, если цель таких тестов - узнать, от чего можно больше получить именно удовольствия при прослушивании. Если же цель таких тестов состоит в том, чтоб выявить более прямой компонент - проще измерения сделать, без вот этого вот цирка с конями. Прибор точно не соврет, если им пользуются по назначению и знают, что мерить. Вся нормальная техника лет шестьдесят уж как по измерениям делается - и ничего, как-то нравится она всем... и даже тем, кто считает, что его слух идеальный и точнее любых измерительных приборов.

В общем, мое мнение - бестолковое это занятие, все эти слепые тесты, хотя и поучительное иной раз. Понторезов и "золотых ушей" на раз-два успокоить.

Всё, больше они ни для чего не нужны. Практического смысла в них ноль. Обычное шоу.

[Дмитрий_Ш]

Познавательный ролик об  эфеекте  "самосбывающехся пророчеств" (эффекте Розенталя) или как когнитивные искажениях могут влиять на воспринимемую действительность  .

 

 

[Игвин]

Я не раз проводил слепое тестирование.
Следующим образом.

1. Приглашал экспертов по одному.
2. Они приходили со своим музыкальным материалом.
3. Получали заранее распечатанные анкеты, в которых ставили оценки.
4. Эксперты полностью управляли процессом воспроизведения, разумеется не видя играющих аппаратов. По их команде, включались разные треки, переключались тестируемые устройства и т.д. Делалось всё для удобства эксперта.
5. Все шуточки типа "сказал что переключил, а сам не переключил" были исключены.
6. При наличии малейшей усталости - делалась пауза.
7. Оглашение результатов - по окончании всех экспертиз.

Таким образом, техника тестировалась на совершенно разной музыке, и вообще не так, как описано выше...
Да, это долго.
Да, это хлопотно.
Но если интересует результат...

Что ещё - уже не помню, интересно - спрашивайте.

[Дмитрий_Ш]

22 минуты назад, Игвин сказал:

Что ещё - уже не помню, интересно - спрашивайте.

А что тестировали ?

[Пейотль]

6 часов назад, Michigan сказал:

Слепое тестирование — процедура проведения исследования реакции людей на какое-либо воздействие, при котором испытуемые не посвящаются в важные детали проводимого исследования. Метод применяется для исключения субъективных факторов, которые могут повлиять на результат эксперимента.

Вот это очень важно, в самом деле - отсутствие давления. Будь то социальные насмешки, споры и все такое прочее.

Если приставить пистолет к виску, то уже и курицу от крокодила на вкус не отличишь.

Почему то этот простой факт забывают любители повтирать про когнитивные искажения, кривые уши и все такое прочее.

Могу заспориться что внутреннее давление и порождает эти когнитивыне искажения.

Ты должен услышать, ты должен, ты же златоухий.

Комон, никто никому ничего не должен.Даже себе.

[Игвин]

1 час назад, Дмитрий_Ш сказал:

А что тестировали ?

Например, DAC-и не раз.

11 минут назад, GottaWholeLove сказал:

внутреннее давление порождает эти когнитивыне искажения

Может - внешнее?

[Пейотль]

2 минуты назад, Игвин сказал:

 

Может - внешнее?

Я считаю есть два. Внутренний критик и внешний.Внешнее давление и внутреннее,

Свободных от внутреннего критика и давления людей оч мало. 2% может быть и то не факт.

[chebum]

Более кривое зато звучало приятнее на слух. Даже на слух владельца более прямого прибора, чего он никогда и не скрывал.

Мне кажется, что это одна из причин разочарования в объективных измерениях и соответственно их исчезновения из литературы. Если техника для удовольствия, а не работы, то должно быть приятно, а не ровно.

[Melomaniac]

13 часов назад, Gromushka сказал:

Маркетинговая ценность нормальных тестов огромна. 

С этим абсолютно согласен.

Но мы ж не маркетологи и товары свои не продвигаем?

[Melomaniac]

8 часов назад, chebum сказал:

Мне кажется, что это одна из причин разочарования в объективных измерениях и соответственно их исчезновения из литературы. Если техника для удовольствия, а не работы, то должно быть приятно, а не ровно.

Кривая по измерениям техника - вся жанровая. Сменил жанр музыки - приходится менять и всю подобную технику. Либо смиряться с ее ограничениями и утешать себя тем, что дело якобы в кач-ве записей. Столько ввалил денег - это не может звучать настолько плохо, в записях конечно же все дело...

Ну это всех ТНП касается. Отсюда бесконечные тёрки на всевозможных форумах про преимущества тех или иных дорогих вещей над более дешевыми. Часто народ путает отсутствие тех или иных второстепенных (а иной раз и откровенно бесполезных) фич с плохими ТХ.

А потом вдруг выясняется, что владельцы дорогих вещиц сами не в состоянии реализовать эти самые "преимущества" в должном объеме, как по объективным причинам, так и по ограничениям собственных физиологических возможностей. Вот это как раз и могут показать тесты, применительно к аудио - слепые прослушивания. А именно - а точно ты настолько крут, что можешь слышать на записи шорох мыши за километр или шум сигаретного дыма, или ты сам себе это внушил после покупки дорогой техники? А может твоя техника вообще кривая и способна играть только пару тестовых дисков?

Ну и как выше совершенно правильно написали - маркетологи этим конечно же пользуются, им же надо знать, на что клюет клиент и насколько он силен в пользовательских возможностях. Втюхивать потом гораздо проще.

А измерения - это слишком скучно. Взял правильный прибор, поставил всех конкурентов в одни условия, померил правильно... Никакой романтики. И подтасовки никакой. И оправдаться потом ничем не сможешь, если проиграешь.

Ф. Тул говорил, что похожие по измерениям девайсы звучат одинаково, одинаковые - неотличимо. Ну и смысл выпускать такие девайсы? Банально прогоришь. Купят у тебя такой девайс и менять ни на что не станут.

[Melomaniac]

13 часов назад, Игвин сказал:

Все шуточки типа "сказал что переключил, а сам не переключил" были исключены.

А зря. Это очень отрезвляет. И тестера, и тестируемых. И сразу как-то уже не хочется эти тесты всерьез проводить - это чрезмерно избыточно. Шоу обычное. С практически предсказуемым результатом. Но повторю - я никогда не ставил цель продвигать что-то, что-то продать или что-то купить, я участвовал в таких мероприятиях просто ради интереса. В основном, как испытуемый, кстати.

Тут на форуме где-то писал - вообще использовал несколько раз бракованный компакт-диск, при мастеринге по ошибке заделанный в моно. Ставишь его у себя или в чужой системе, и просишь сказать, что с этой записью не так. Не надо ничего сравнивать. Т.е. абсолютно зряче это делаешь, в присутствии гостя или сам будучи гостем. Или вообще ничего не говоришь и просто смотришь за реакцией - заметят что-то или нет. Пока еще ни один не сказал, что это моно-запись - называли всё, что угодно. Запись, кстати, современная и довольно приличного кач-ва. А между прочим, не распознать моно - это серьезный косяк, это не файлы с СД сравнивать и не битрейты МР3 отличать друг от друга, и тем паче всякие проводочки - тут все ГОРАЗДО грубее. И народ все равно лажает. Потому что думает, что моно - это когда звук по АС распихан и глухо звучит. Почему они так думают - это отдельный вопрос. И я на него давным-давно знаю ответ, но это тема иной ветки.

Понятно, что всегда найдутся люди, у которых действительно хороший слух и музыкальная память, и они спокойно всё это распознают и тесты пройдут, но их настолько мало... и большинству из них вся эта аудиофилия по боку Они в таких тестах и участвовать даже не будут - не за чем.

[Игвин]

37 минут назад, Melomaniac сказал:

А зря. Это очень отрезвляет.

Роль эксперта и без того трудна и сложна. Сомневаетесь?

40 минут назад, Melomaniac сказал:

Пока еще ни один не сказал, что это моно-запись - называли всё, что угодно.

Грош цена такой "экспертизе", сами понимаете.

[Melomaniac]

25 минут назад, Игвин сказал:

Грош цена такой "экспертизе", сами понимаете.

Понимаю. Но таковы реалии.

И это были не эксперты, а простые аудиофилы. В слепых прослушиваниях тоже в подавляющем большинстве не эксперты участвуют, а обычные люди. Просто иногда они ловят звезду и вдруг начинают считать себя уникумами.

Это ж не научное исследование. Целей оно тоже никаких не имело - просто интересно было, распознает кто или нет. Доказывать ничего никому тоже не собирался или уязвлять кого-то. Некоторым я даже не говорил в итоге, что они слушали на самом деле. Просто соглашался с их комментариями.

Для меня вывод был один - "Не нужна тебе такая машина, брат" (с)

Ну и сам к себе и к своим слуховым возможностям я стал относиться по-другому после всего увиденного.

[Michigan]

22 часа назад, Melomaniac сказал:

Если же цель таких тестов состоит в том, чтоб выявить более прямой компонент - проще измерения сделать, без вот этого вот цирка с конями. Прибор точно не соврет, если им пользуются по назначению и знают, что мерить. Вся нормальная техника лет шестьдесят уж как по измерениям делается - и ничего, как-то нравится она всем... и даже тем, кто считает, что его слух идеальный и точнее любых измерительных приборов.

C интересом послушаю как можно тестами оценить как система строит сцену (глубина, ширина, масштаб)

[Michigan]

В 29.10.2020 в 14:59, Дмитрий_Ш сказал:

В одном из журналов The Audiocritics была интересная статья каксательно корректного двойного слепого тестирования, Не поленился отсканировать, мож будет интересно почитать  

Ну то есть вы, как аудиофил со стажем всерьез воспринимаете результат теста, во время которого людям включали звук в противофазе и они не смогли понять различий?

КАК это можно не услышать???

The new twist turned out to be that the subjects were not told that they were being tested. They were presented with recorded material in "re­verse polarity" and then, after a selection played for a while, "the operator (so as not to cause undue suspicion) winked at the subject and spoke words to the effect, 'We'll do that again.'" Then the operator switched the wires to the correct polarity and "stayed out of sight to fufill the criterion of a blind (unseen) operator." After the test was over, the opera­tor returned to the listening room, gave the subject a re­sponse sheet and asked, "Did you hear a difference?"

Хотя это в общем тоже ответ. Что средний человек ВООБЩЕ ни бум-бум в звуке.

Это может объяснить провальные результаты всех "слепых тестов".

[Michigan]

21 час назад, Игвин сказал:

Я не раз проводил слепое тестирование.
Следующим образом.

1. Приглашал экспертов по одному.
2. Они приходили со своим музыкальным материалом.
3. Получали заранее распечатанные анкеты, в которых ставили оценки...

7. Оглашение результатов - по окончании всех экспертиз.

Таким образом, техника тестировалась на совершенно разной музыке, 

Подобная схема используется соревнованиях по авто-звуку в классе SQ (качество звука). Разные судьи слушают систему и ставят баллы по каждому из оцениваемых параметров (тональный баланс, ширина и глубина сцены, динамический диапазон и тп). Только оценивается это на одном материале - тестовом судейском диске, как правило записанным специально чтобы "наглядно" выявить все эти параметры и стандартные косяки аудиосистемы. Тот же Аудиодоктор FSQ как пример за 3-4 трека выявляет основные косяки любой системы. А есть еще современные судейские диски от EMMA и тп. На них даже отличные системы лажают.

[Michigan]

8 часов назад, Melomaniac сказал:

А зря. Это очень отрезвляет. И тестера, и тестируемых.

На выставке стояла какая-то дорогущая Пиега, попросил поставить мой тестовый диск. Слышу - перепутали право и лево при подключении. Подошел, говорю, ребята проверьте... "Да ВЫ КТО? Нам СПЕЦИАЛИСТЫ все подключали!"

[Игвин]

13 минут назад, Michigan сказал:

Подобная схема используется соревнованиях по авто-звуку в классе SQ (качество звука).

Да, я знаю.
Там ещё более жестко регламентировано, и это правильно. Чтобы получить объективную оценку.

Почему каждый со своим материалом? (у меня). Считаю, так экспертам комфортнее. И оценки точнее.
Если по другому - то нужно заготовленные для экспертизы треки заранее доводить до каждого, чтобы они были заранее хорошо знакомы.

Цитата

На выставке стояла какая-то дорогущая Пиега, попросил поставить мой тестовый диск. Слышу - перепутали право и лево при подключении. Подошел, говорю, ребята проверьте... "Да ВЫ КТО? Нам СПЕЦИАЛИСТЫ все подключали!"

М-да...

[Michigan]

10 минут назад, Игвин сказал:

Если по другому - то нужно заготовленные для экспертизы треки заранее доводить до каждого, чтобы они были заранее хорошо знакомы.

Я предлагал как то собрать универсальный тестовый диск от пользователей Саундекса с описанием на какой секунде куда слушать. Но что-то идея не зашла.

[Michigan]

8 часов назад, Melomaniac сказал:

Понятно, что всегда найдутся люди, у которых действительно хороший слух и музыкальная память, и они спокойно всё это распознают и тесты пройдут, но их настолько мало... и большинству из них вся эта аудиофилия по боку Они в таких тестах и участвовать даже не будут - не за чем.

Ключевой момент всех баталий по поводу кабелей. Неслушающее и неслыщащее большинство против одного-двух случайно зашедших аудиофилов.

[Melomaniac]

42 минуты назад, Michigan сказал:

C интересом послушаю как можно тестами оценить как система строит сцену (глубина, ширина, масштаб)

Да очень просто - на одной вокал посередине за линией АС, на другой - четко в левой колонке. Фонограмма одна и та же. Тестировали всего один прибор, путем замены его на другой в одной и той же системе.

Какой из этих двух приборов правильнее? Один всегда отслушивается производителями по рез-там измерений, второй производится безо всяких отслушиваний и прочих слуховых экспертиз.

[вера]

8 часов назад, Melomaniac сказал:

А зря. Это очень отрезвляет. И тестера, и тестируемых. И сразу как-то уже не хочется эти тесты всерьез проводить - это чрезмерно избыточно. Шоу обычное. С практически предсказуемым результатом. Но повторю - я никогда не ставил цель продвигать что-то, что-то продать или что-то купить, я участвовал в таких мероприятиях просто ради интереса. В основном, как испытуемый, кстати.

Тут на форуме где-то писал - вообще использовал несколько раз бракованный компакт-диск, при мастеринге по ошибке заделанный в моно. Ставишь его у себя или в чужой системе, и просишь сказать, что с этой записью не так. Не надо ничего сравнивать. Т.е. абсолютно зряче это делаешь, в присутствии гостя или сам будучи гостем. Или вообще ничего не говоришь и просто смотришь за реакцией - заметят что-то или нет. Пока еще ни один не сказал, что это моно-запись - называли всё, что угодно. Запись, кстати, современная и довольно приличного кач-ва. А между прочим, не распознать моно - это серьезный косяк, это не файлы с СД сравнивать и не битрейты МР3 отличать друг от друга, и тем паче всякие проводочки - тут все ГОРАЗДО грубее. И народ все равно лажает. Потому что думает, что моно - это когда звук по АС распихан и глухо звучит. Почему они так думают - это отдельный вопрос. И я на него давным-давно знаю ответ, но это тема иной ветки.

Понятно, что всегда найдутся люди, у которых действительно хороший слух и музыкальная память, и они спокойно всё это распознают и тесты пройдут, но их настолько мало... и большинству из них вся эта аудиофилия по боку Они в таких тестах и участвовать даже не будут - не за чем.

В 1975 году в Морфизприборе я работал с Ратаевым в отделе по разработке отечественного Хай-Фая (Бриг, Корвет). У нас был штатный психоакустик Володя Мушников КТН. И он проводил тесты прослушивания аппаратуры. Так вот при тесте стерео или моно я ещё на вводной канавек сышал что где. На цифре сейчас это невозможно. При разработке слепые тесты необходимы, а для покупателей вредны. Заказчика надо уважать и не проводить над ним опыты.