Тема: ТЭФИ-2006
Показать сообщение отдельно
Старый 23.12.2006, 01:55   #14
зам.
Senior Member
 
Регистрация: 22.05.2006
Сообщения: 1,209
Поблагодарил(а): 39
Поблагодарили 302 раз(а) в 182 сообщениях
По умолчанию

Сергей Ильвовский,
Цитата:
А в отдел периодики Ленинки я, извините, не поеду - далеко и дело того не стоит.
Вот в этом и разница.

mika
Цитата:
Это Вы, Сергей, с годами становитесь эрудированнее и смышлённее
Это несомненно - однако и для сложившихся игроков не всё так просто.

Давайте всё-таки опишу методику.

Итак, нужен сложившийся стабильный игрок с устойчивой психикой (самоконтроль!) и приличного уровня (если кто берёт в среднем 2 вопроса за игру, то взятый 1 - это разница в 100%, погрешность великовата). В идеале таких игроков нужно чем больше, тем лучше - но чем богаты. У меня такой игрок один. Кроме того, в течение трёх сезонов (2003, 2004, 2005+книжки) этим занимался и я тоже.

Игрок смотрит подавляющее большинство передач в и записывает свои результаты. Кроме того, по той же схеме он прочитывает книжки "Своей игры" с 1 по 10 (11 мы не нашли) - их все я посчитал как бы за "один сезон" (ибо кто их теперь знает, как там вопросы распределялись). Кроме того - правила формализуются таким образом, чтобы наименее зависеть от случайных факторов. Например, ответ засчитывается только в том случае, когда даётся ДО нажатия кнопки игроком на экране. Таким образом мы понижаем процент ответов (в основном за счёт отсутствия подборов), но и понижаем процент брака. Считаются же два показателя: процент правильно отвеченных вопросов и (с какого-то момента) процент вопросов "на раскрутку" ("на интуицию", "на логику" - называйте как хотите). Что касается вопросов "на раскрутку" (которые помечаются галочкой или ещё как-то) - конечно, чёткого определения нет, это вкусовщина. Но вкусовщина одного игрока - которая всегда более-менее постоянна, что бы ни понимать под "вопросом на раскрутку". В т.ч. и для этого нужен стабильный и немолодой игрок - у двадцатилетнего слишком меняются критерии от настроения (а также - от новополучаемых знаний и умений!), и под влиянием чего угодно такой-то вопрос будет считаться "раскруткой", а точно такой же по сути, но завтра - нет.
Процент отвеченных вопросов считается вне зависимости от отвеченных неверно. Почему?а потому, что почти по любому вопросу есть такая вещь, как "версия". И озвучивать ли её в игре - зависит прежде всего от игровой ситуации. На диване же от учёта минусов только понижается достоверность. Так что - считаем в процентах точное знание и "уверенное предположение". Последний штрих - процент отвеченных вопросов считается вне зависимости от их стоимости. Ибо мы твёрдо знаем, что адекватное относительное определение стоимости вопросов практически невозможно (а теоретически - для этого каждую тему надо отыгрывать этак с сотней тщательно подобранных добросовестных тестеров разного уровня).

Вот такие правила - и поехали. Всё, как видим, очень просто. Только надо не лениться и иметь данные за МНОГО лет. В нашем случае - ШЕСТЬ+три моих в параллель+книжки. Звучит весьма легко, а на практике - это чуть-чуть труднее, чем доехать до библиотеки...

ВЫВОДОВ несколько - и все как один очень интересны.
Излагаю некоторые.

1. Всё-таки такое понятие, как "мои вопросы" и "не мои вопросы" СУЩЕСТВУЕТ (применительно к целой игре). Существует оно, ясное дело, в гораздо меньшем количестве, чем если послушать проигравших игроков - но есть. "Мои вопросы" (резонанс пакета с игроком) встречаются, конечно же, реже, чем "не мои" (антирезонанс). В среднем получается раз в месяц "не мои" и пару раз за сезон "мои". Кроме того, случаются вообще выдающиеся игры: самый яркий пример - знаменитый "полуфинал КВ-4" Эдигер-Хашимов-Подольный, где лично я ответил на "все минус четыре" вопроса (95,6%!!), а они - если не ошибаюсь, на "все минус два". Поскольку мы точно знаем, что сделать вопросы "легче" или "сложнее" не в силах редакторских, то очевидно, что такие флуктуации непредсказуемы и никуда от них не деться.

2. В целом - картина удручающе скучна: в среднем интервал значений лежит в пределах 15% (то есть если средний результат за год, например, 40%, то за исключением пары всплесков и нескольких провалов результаты отдельных игр лежат в интервале где-то 37-43).

3. Резкий всплеск трудности вопросов (соответственно - падение процента ответов) приходится на КВ-1. Это абсолютно понятно - новый формат, игроку надо время, чтобы привыкнуть. Однако не всё так просто - в КВ-2 уровень ответов тот же. В сумме они продолжались 9-10 месяцев - много это или мало для привыкания?не знаю. Далее процент ответов начал медленно (без скачка!значит, привыкание было очень постепенным) расти и растёт по настоящее время. Мои результаты (в относительном значении) более-менее коррелируют с результатами "основного игрока". Что же до книжек - их вопросы ЗАМЕТНО проще, чем КВ-1,2. И проще, чем сейчас. (во всех случаях "вопросы проще"="процент ответов выше", конечно же)

4. Доля вопросов "на раскрутку" растёт непрерывно. В книжках их "совсем мало", далее провал в данных, а в конце КВ-2 (с которого начинаются "новые данные") никакого всплеска нет! Если построить график, то это будет плавная кривая, чем-то похожая на логарифмическую. И это плавное возрастание продолжается по сей день ("сей день" - это условно: за 2006г данных уже нет, надоело). Опять же: "главный тестер" и я - видимо, очень разные вопросы считаем вопросами "на раскрутку", их процент у нас расходится весьма и весьма. Но тенденция к возрастанию - одинакова!

5. Увеличение процента ответов можно объяснить не только "объективным" уменьшением сложности вопросов, а вот ещё чем. Не подлежит сомнению, что существует некий "стиль вопросов редакции телеСИ" - и вполне может быть, что при регулярных многолетних просмотрах игрок всё более приспосабливается к этому стилю. Поэтому он сегодня, например, "уверенно отвечает" на тот вопрос, который в 2001г заставил бы его сказать "версия есть - но чёрт его знает, страшно". Не знаю, как оценить ЭТУ тенденцию в численном выражении - подозреваю, что никак. Здесь мы уже имеем дело с пресловутым "человеческим фактором". При большем количестве материала всё это нивелировалось бы, наверное - а так...

6. Параллельно с этим я производил в течение двух сезонов экспресс-оценку качества вопросов - это многие помнят. Вывод - вопросы телеСИ скорее хороши, чем нет (общий результат "выше среднего", и неплохо выше). Конечно, это вкусовщина. А вот теперь внимание - при оценке мною же и по той же схеме вопросов на многих и многих турнирах по спортСИ...догадались, да? В общем, факт такой: лучшие (по ТОЙ ЖЕ схеме, с её достоинствами и недостатками) вопросные пакеты спортСИ не дотягивают до телевопросов ОЧЕНЬ СИльно. Годятся в подмётки - и не более того. В основном же - и в подмётки не годятся.

--------------

Вот такая методика, вот такие результаты. Хреновенькие, конечно - но большее не в моих СИлах, уж простите.
зам. вне форума   Ответить с цитированием