ТЭФИ-2006

[Носовицкий В.Б.]

Сергей Ильвовский, я внимательно прочел Ваше подробное разъяснение терминов "доля" и "рейтинг" и искренне благодарен Вам за неявный ответ на интересовавший меня вопрос : Вы действительно не понимаете, что значат все эти цифры, или просто отметаете то, что не встраивается в Вашу личную точку зрения.

Теперь я убедился, что Вы действительно, мягко говоря, не являетесь экспертом в области интерпретации результатов измерений. Для того, чтобы на основании этих цифр делать какие-то выводы, нужны определенные знания. У Вас их нет. Особый литературный стиль с вкраплениями слов "впарить", "дымовая завеса", "запудривание мозгов" - это есть, а знаний - нет.

Посему всякие споры на эту тему прекращаю ввиду полнейшей бессмысленности. Надеюсь, что те, кто действительно принимают решения на основании этих цифр, все-таки понимают, что они означают.

[Сергей Ильвовский]

Особенно интересным выглядит Ваше заявление на фоне двукратного, многословного, под различными предлогами отказа зам.а от предложения опубликовать все цифры рейтинга за этот год, с указанием адреса, по которому их можно проверить.

[vulpes]

Сергей Ильвовский, а из чего сделан вывод, что они "постоянно охотнее смотрят отборы, чем финалы"? Опять из сравнения номеров мест без учета процентного показателя рейтинга? Про статистическую погрешность я (и не только я) уже неоднократно объяснили, но видимо каждому свое: я в сценариях ничего не понимаю, а вы - в статистической обработке данных.

[Сергей Ильвовский]

vulpes,
Места распределяются строго в соответствии с процентным показателем рейтинга.
Просто это получается некая "внесистемная единица", более удобная для обработки, тем более, что в приводимых данных процентный показатель даётся только с точностью до десятых долей процента, хотя, на самом деле, он имеет большую точность - иначе как бы определялись места, при равных процентных показателях в таблице?
Кстати, не мешало бы Вам самому заглянуть на этот сайт, прежде чем делать голословные заявления, что изменение процентного показателя на одну десятую влечёт за собой изменение на 10 мест.
В реальности 3-4 иногда 5.
Вэтом интервале - да, возможна статистическая погрешность.

Но, когда я вижу, из раза в раз, что в отборах места распределяются от 23 до 65-70 (меньше редко), а в третьфиналах и финалах в интервале от 80 до "менее сотого", причём это "менее сотого" встречается отнюдь не один раз, то я могу сделать некоторые выводы.
Исключение - финал с Овчинниковым, что, опять же подтверждает мои выводы.
Я уже дважды предлагал зам.у опубликовать все эти места (и проценты), но он, почему-то отказывается.
Хотите - опубликую - посижу уж, понабиваю. За весь год.
Или, если желаете глаза портить (а работа пакостная - данных множество, шрифт мелкий, да синий к тому же) - убеждайтесь сами.

http://press-attache.ru

Только, если я уж буду публиковать данные, то позвольте тогда подсчитать средние места отдельно по отборочным играм и отдельно по третьфиналам и финалам, хорошо?

Результат будет впечатляющим - уверяю Вас.

[vulpes]

Сергей Ильвовский, пожалуйста, только раскройте и методику подсчета. На сайт я заглядывал, так что заявления не голословные (извините, если этим я вас огорчил - ей богу не хотел). Вот именно, что единица внесистемная, а наука оперирует только с системными - нельзя сложить килограммы и фунты не приведя их к общей размерности. Номер занимаемого места зависит не только от самой передачи, но и от того, что еще шло на этой неделе, и передача с одним и тем же процентным показателем на этой неделе может быть на 20-мест выше-ниже, чем на прошлой - вы и сами это прекрасно понимаете (я надеюсь). Далее - "золотая дюжина" за этот год обновилась практически на полностью ("выжило" с начала года не более 2 игроков, если я не ошибся), поэтому ваш тезис о том, что "в финале играют примелькавшиеся, которые уже надоели, поэтому рейтиинг низкий" не очень убедителен - когда могли успеть примелькаться игроки последнего цикла?

[Сергей Ильвовский]

vulpes,
Примелькавшиеся "вообще". По сколько десятко раз сыграло подавляющее большинство из них?
Это Либер с Мериминским не примелькались?

А внесистемная единица, в данном случае, более информативна, чем системная. Скажем летом процентный показатель ниже. Но он ниже у всех передач.
А внесистемное "место" позволяет определить популярность передачи относительно других

Сообщение от vulpes

Номер занимаемого места зависит не только от самой передачи, но и от того, что еще шло на этой неделе, и передача с одним и тем же процентным показателем на этой неделе может быть на 20-мест выше-ниже, чем на прошлой - вы и сами это прекрасно понимаете (я надеюсь).

Настолько, что это повторяется регулярно в каждом цикле?
Именно в те недели, когда идут третьфиналы и финалы другие каналы показывают настолько интересные передачи, что рейтинг СИ падает?

А методика подсчёта простейшая арифметическая. Чего мудрить, если и так всё видно. Среднеквадратичного отклонения высчитывать не буду, извините.

P.S. Так публиковать данные, или нет?
Жду ответа, как соловей лета.

[vulpes]

Сергей Ильвовский, да я ж уже сказал, пишите, "жду ответа, как соловей лета" или вы рассчитываете, что испугаюсь и скажу "нет, не надо"? По скольку десятков раз сыграло вообще? или за последний год? Ну а если Либер с Мереминским сильнее, что делать? Я уже приводил пример с футболом - ну что поделаешь, если ЦСКА, Спартак и Локо примелькались, но обыграть их никто не может. Только постарайтесь аргументировать свою позицию, что "это другое" - прошлый раз я так аргументов и не дождался. Или вы предлагаете вообще финалы не проводить?

Настолько, что это повторяется регулярно в каждом цикле?
Именно в те недели, когда идут третьфиналы и финалы другие каналы показывают настолько интересные передачи, что рейтинг СИ падает?

а почему нет? Докажите, что это не так, иначе это просто голословные заявления

А методика подсчёта простейшая арифметическая. Чего мудрить, если и так всё видно.

Для статистических подсчетов СКО вычислять не обязательно, но принципы подсчета там несколько сложнее, чем "простая арифметика". Я ж уже говорил - каждому свое

[Сергей Ильвовский]

vulpes,
Ну, знаете, это уже просто смешно.

Значит, я правильно понял, Вы хотите, чтобы я опубликовал все данные рейтингов за этот год? А то, извините, не совсем отчётливо понял.

Просто "да" или "нет"

Если "да" то с утра и займусь - надо тщательно, без ошибок.

[vulpes]

Сергей Ильвовский, значит вы хотите, чтобы я еще раз повторил, что хочу, чтобы вы опубликовали все данные рейтиногов за этот год? А то какой смысл переспрашивать столько раз? Что ж, еще раз повторю - да хочу.

[зам.]

Я уже дважды предлагал зам.у опубликовать все эти места (и проценты), но он, почему-то отказывается.

Погодите-погодите. От чего это я отказывался - от того, чтобы Вы опубликовали рейтинги? Муму, то есть, написал Тургенев - а памятник Пушкину, бардак в стране?

Я говорил и повторяю: Я этим заниматься НЕ ХОЧУ. Потому что (в отличие, кстати, от Вас) представляю, какая это огромная работа. Представляю хотя бы потому, что подобную не раз проделывал, и в отношении СИ тоже - трижды по разным позициям. Вы же эту работу НЕ проделываете, зато с лёгкостью выдаёте результаты - те, которые Вам "кажутся правильными".

------------

Что касается методики сравнения вопросов - Пенелопа всё сказала, см. выше. Именно так оно и делается, имено так оно и было проделано. Нужны только честные, достаточно СИльные и психологически устойчивые игроки количеством более одного, которые "близко к всегда" смотрят СИ и записывают свои ответы. И именно прочтение книжек с карандашом в руке. У меня таковых игроков было задействовано полтора (конечно, лучше бы полторы сотни - ну так давайте НИИ какой-нибудь привлечём, подкиньте миллиончик). Общий вывод могу повторить: вопросы "в книжках" были отноСИтельно очень легки, далее у меня пару лет провала, нет данных (впрочем, сейчас уже разницы и нет), самая концовка "старой ЗД" ЗАМетно сложнее "книжек", потом грянул "новый формат", а именно КВ. На КВ-1 и КВ-2 приходится пик сложности вопросов, далее ооооочень постепенное понижение, продолжающееся по настоящее время. И опять же с КВ-2 начиная - оооочень постепенное возрастание доли (особенно удельной) вопросов "на догадку". Конкретные параметры - если надо, приведу чуть позже.

[Сергей Ильвовский]

Прошу прощения за некоторую задержку.

Во-первых я тщательно проверил все данные и не зря - нашёл две незначительные ошибки совершенно не влияющие ни на что, но всё же...
Это вполне возможно - данных куча по всем программам, шрифт мелкий и какой-то серо-синий - очень неудобно. И легко можно спутать либо дату, либо данные по Москве с данными по России.

Во-вторых хотел сделать выборку по Санкт-Петербургу, а данные есть только в журнале ТВ парк - на их сайте они не приводятся.
Сходил в центральную районную библиотеку, но и там таких журналов нет, им на серьёзные журналы денег не дают. А в отдел периодики Ленинки я, извините, не поеду - далеко и дело того не стоит.

В третьих хочу дождаться последних данных по ЗД5 по России и данных по 2м первым финальным играм года по Москве. Они, обычно, выходят во вторник, но сегодня не было. Может быть завтра...

А так, все таблицы готовы, только набивай. Как только поступят последние данные - тут же всё и выложу.

[Strel]

Сообщение от Сергей Ильвовский

Понимаю, что нажил себе сейчас много врагов

Смешной Вы, хоть и последовательный.

Сообщение от Сергей Ильвовский

Уж по кому-кому, а по участникам игра явно не для всех. Соответственно и возрастает сложность вопросов.

Смотрю СИ 13 лет, и почти всегда было ощущение, что сложность вопросов с годами падает.

[mika]

Сообщение от Strel

Смотрю СИ 13 лет, и почти всегда было ощущение, что сложность вопросов с годами падает.

Это Вы, Сергей, с годами становитесь эрудированнее и смышлённее

[Сергей Ильвовский]

Ну нету, пока, рейтингов. Нету!

Не я же их рисую - бывают у них задержки. Не всегда, но бывают.

Ничего от этого не изменится - глядя на цифры, это видно.

Неверующие - для вас:

http://press-attache.ru

Но хочется дать законченную картину.

[зам.]

Сергей Ильвовский,

А в отдел периодики Ленинки я, извините, не поеду - далеко и дело того не стоит.

Вот в этом и разница.

mika

Это Вы, Сергей, с годами становитесь эрудированнее и смышлённее

Это несомненно - однако и для сложившихся игроков не всё так просто.

Давайте всё-таки опишу методику.

Итак, нужен сложившийся стабильный игрок с устойчивой психикой (самоконтроль!) и приличного уровня (если кто берёт в среднем 2 вопроса за игру, то взятый 1 - это разница в 100%, погрешность великовата). В идеале таких игроков нужно чем больше, тем лучше - но чем богаты. У меня такой игрок один. Кроме того, в течение трёх сезонов (2003, 2004, 2005+книжки) этим занимался и я тоже.

Игрок смотрит подавляющее большинство передач в и записывает свои результаты. Кроме того, по той же схеме он прочитывает книжки "Своей игры" с 1 по 10 (11 мы не нашли) - их все я посчитал как бы за "один сезон" (ибо кто их теперь знает, как там вопросы распределялись). Кроме того - правила формализуются таким образом, чтобы наименее зависеть от случайных факторов. Например, ответ засчитывается только в том случае, когда даётся ДО нажатия кнопки игроком на экране. Таким образом мы понижаем процент ответов (в основном за счёт отсутствия подборов), но и понижаем процент брака. Считаются же два показателя: процент правильно отвеченных вопросов и (с какого-то момента) процент вопросов "на раскрутку" ("на интуицию", "на логику" - называйте как хотите). Что касается вопросов "на раскрутку" (которые помечаются галочкой или ещё как-то) - конечно, чёткого определения нет, это вкусовщина. Но вкусовщина одного игрока - которая всегда более-менее постоянна, что бы ни понимать под "вопросом на раскрутку". В т.ч. и для этого нужен стабильный и немолодой игрок - у двадцатилетнего слишком меняются критерии от настроения (а также - от новополучаемых знаний и умений!), и под влиянием чего угодно такой-то вопрос будет считаться "раскруткой", а точно такой же по сути, но завтра - нет.
Процент отвеченных вопросов считается вне зависимости от отвеченных неверно. Почему?а потому, что почти по любому вопросу есть такая вещь, как "версия". И озвучивать ли её в игре - зависит прежде всего от игровой ситуации. На диване же от учёта минусов только понижается достоверность. Так что - считаем в процентах точное знание и "уверенное предположение". Последний штрих - процент отвеченных вопросов считается вне зависимости от их стоимости. Ибо мы твёрдо знаем, что адекватное относительное определение стоимости вопросов практически невозможно (а теоретически - для этого каждую тему надо отыгрывать этак с сотней тщательно подобранных добросовестных тестеров разного уровня).

Вот такие правила - и поехали. Всё, как видим, очень просто. Только надо не лениться и иметь данные за МНОГО лет. В нашем случае - ШЕСТЬ+три моих в параллель+книжки. Звучит весьма легко, а на практике - это чуть-чуть труднее, чем доехать до библиотеки...

ВЫВОДОВ несколько - и все как один очень интересны.
Излагаю некоторые.

1. Всё-таки такое понятие, как "мои вопросы" и "не мои вопросы" СУЩЕСТВУЕТ (применительно к целой игре). Существует оно, ясное дело, в гораздо меньшем количестве, чем если послушать проигравших игроков - но есть. "Мои вопросы" (резонанс пакета с игроком) встречаются, конечно же, реже, чем "не мои" (антирезонанс). В среднем получается раз в месяц "не мои" и пару раз за сезон "мои". Кроме того, случаются вообще выдающиеся игры: самый яркий пример - знаменитый "полуфинал КВ-4" Эдигер-Хашимов-Подольный, где лично я ответил на "все минус четыре" вопроса (95,6%!!), а они - если не ошибаюсь, на "все минус два". Поскольку мы точно знаем, что сделать вопросы "легче" или "сложнее" не в силах редакторских, то очевидно, что такие флуктуации непредсказуемы и никуда от них не деться.

2. В целом - картина удручающе скучна: в среднем интервал значений лежит в пределах 15% (то есть если средний результат за год, например, 40%, то за исключением пары всплесков и нескольких провалов результаты отдельных игр лежат в интервале где-то 37-43).

3. Резкий всплеск трудности вопросов (соответственно - падение процента ответов) приходится на КВ-1. Это абсолютно понятно - новый формат, игроку надо время, чтобы привыкнуть. Однако не всё так просто - в КВ-2 уровень ответов тот же. В сумме они продолжались 9-10 месяцев - много это или мало для привыкания?не знаю. Далее процент ответов начал медленно (без скачка!значит, привыкание было очень постепенным) расти и растёт по настоящее время. Мои результаты (в относительном значении) более-менее коррелируют с результатами "основного игрока". Что же до книжек - их вопросы ЗАМЕТНО проще, чем КВ-1,2. И проще, чем сейчас. (во всех случаях "вопросы проще"="процент ответов выше", конечно же)

4. Доля вопросов "на раскрутку" растёт непрерывно. В книжках их "совсем мало", далее провал в данных, а в конце КВ-2 (с которого начинаются "новые данные") никакого всплеска нет! Если построить график, то это будет плавная кривая, чем-то похожая на логарифмическую. И это плавное возрастание продолжается по сей день ("сей день" - это условно: за 2006г данных уже нет, надоело). Опять же: "главный тестер" и я - видимо, очень разные вопросы считаем вопросами "на раскрутку", их процент у нас расходится весьма и весьма. Но тенденция к возрастанию - одинакова!

5. Увеличение процента ответов можно объяснить не только "объективным" уменьшением сложности вопросов, а вот ещё чем. Не подлежит сомнению, что существует некий "стиль вопросов редакции телеСИ" - и вполне может быть, что при регулярных многолетних просмотрах игрок всё более приспосабливается к этому стилю. Поэтому он сегодня, например, "уверенно отвечает" на тот вопрос, который в 2001г заставил бы его сказать "версия есть - но чёрт его знает, страшно". Не знаю, как оценить ЭТУ тенденцию в численном выражении - подозреваю, что никак. Здесь мы уже имеем дело с пресловутым "человеческим фактором". При большем количестве материала всё это нивелировалось бы, наверное - а так...

6. Параллельно с этим я производил в течение двух сезонов экспресс-оценку качества вопросов - это многие помнят. Вывод - вопросы телеСИ скорее хороши, чем нет (общий результат "выше среднего", и неплохо выше). Конечно, это вкусовщина. А вот теперь внимание - при оценке мною же и по той же схеме вопросов на многих и многих турнирах по спортСИ...догадались, да? В общем, факт такой: лучшие (по ТОЙ ЖЕ схеме, с её достоинствами и недостатками) вопросные пакеты спортСИ не дотягивают до телевопросов ОЧЕНЬ СИльно. Годятся в подмётки - и не более того. В основном же - и в подмётки не годятся.

--------------

Вот такая методика, вот такие результаты. Хреновенькие, конечно - но большее не в моих СИлах, уж простите.