Показать уведомления
Поэмбук / Современники / Рейм Илья / Варианты обсчёта оценок
Издать сборник стиховИздать сборник стихов

Рейм Илья

Варианты обсчёта оценок

 
30 апр 2020
Перепробовал применительно к финалу несколько вариантов обсчёта. Ссылку на обсчёты (таблицы) дам в комментарии.
 
Пробовал две группы вариантов. В первой оценки оставались неизменными, во второй — нормализовывались (высшая из оценок конкретного судьи приравнивалась к 15, низшая — к 1, остальные масштабировались; для тех, кто использовал всю шкалу, это не меняло оценок, остальных искусственно растягивало на всю шкалу).
 
Чем интересна оказалась нормализация — при ней практически уходят равные баллы у разных участников.
 
В каждом из вариантов пробовал выкидывать: одну нижнюю, две нижних и две крайних (верхнюю и нижнюю).
 
В случае с нормализацией есть отличия. Например, работа Зонова оказывается в десятке при отбрасывании любого количества крайних. Без нормализации отличий почти нет. Одно откидывание крайностей ничего не даёт.
 
В таблицах указаны место работы (в скобках — место при исходном варианте обсчёта), балл работы и автор.
248
Предыдущая Графики судейства фи...Следующая Квалификация ЗЛ, гра...
Отзывы
30.04.2020
https://pastebin.com/dqSdPfrY
СВЕТЛАНА30.04.2020
Илья, интересные расчёты. Вот так нагляднее...) А Вы сами какому варианту отдаёте предпочтение? п.с. нормализованные оценки - гуд!)
Рейм Илья30.04.2020
СВЕТЛАНА, мне нравится варианты с нормализацией оценок — там уходят «разделённые» места. При отбрасывании крайних меняется и десятка, но я ещё не вник в суть. Явно прыгнули вверх Никита Зонов и Катя Су, например. Но только при нормализации оценок, конечно.
СВЕТЛАНА30.04.2020
Илья, ну не без этого... "прыгнули вверх" это всё лучше, чем...)
30.04.2020
осталось сделать вывод - стоит ли городить огород?.. -)
Рейм Илья30.04.2020
Самый интересный результат — это почти полное исчезновение «разделённых» мест при нормализации оценок. Суть изменений по местам (они есть) для нормализованных оценок ещё надо проанализировать. Но первая десятка в некоторых случаях меняется.
Так Надо30.04.2020
Илья, да, это плюс, но согласятся ли сами судьи, что их оценки будут растянуты от 1 до 15...
Рейм Илья30.04.2020
Ну, если нет — они тем самым снижают значимость собственной же оценки.
30.04.2020
Может быть я не очень внимательно всё просмотрел, но - стоит ли овчинка выделки?
Рейм Илья30.04.2020
Влад, там интересное — уходят места с одинаковыми баллами. Ну и надо посмотреть, отдельные работы от отбрасывания крайних очень выигрывают. Но главное — это уникальные баллы.
Влад Сколов01.05.2020
Илья, вот какая штука. Истинные колы просто обязана отмести мало-мальски вменяемая модерация. Не помню, чтобы я когда либо ставил единицы. В зависимости от жёсткости модерации разброс моих оценок - 3-15... 7-15. Просто убеждён: не дело судьи - расставлять авторов по местам, при 10 судьях это прекрасно делает статистика. Одинаковые баллы бьют, несомненно, по нервам претендентов, оказавшихся ниже... Я бы "выдавал" кубки так, как выдают медали в спорте: 1 и 2 место с одинаковыми баллами получают золото (оба). И т. п. Делёжка 48 - 53 места никого не печёт.
01.05.2020
Илья, нескромный вопрос: вы считали вручную или есть таки программный вариант подсчёта? Я, было время, проводил анализ распределения мест в крупных конурсах (финалах Кубка, СПР, etc) по приоритету медианы (как было заявлено Командой - это следующий параметр при равенстве баллов). Замечу: всегда практически одни и те же люди (не скрываю - и я в их числе) сильно поднимались в позициях. Думаю, это связано в первую очередь с неоднородностью восприятия эстетики "спорных" стихов, особенно гостевым жюри.
Рейм Илья01.05.2020
Никита, нет, не вручную. У меня есть самописный инструмент подсчёта, который и данные с сайта выкачивает, и графики, подобные ранее выложенному, строит, и такие таблицы составляет.
Никита Зонов01.05.2020
Илья, завидую... Вероятно, Вы математик. А не пробовали провести подобный анализ по голосованию каждого члена жюри индивидуально (в том числе и на тему "растянутости" шкалы) в нескольких конкурсах? Утверждаю, что распределение баллов у каждого члена жюри статистически индивидуально, как отпечатки пальцев. Отсюда вытекает возможность (в особых случаях) увидеть отклонения в гистограмме и сделать выводы о предвзятости или неадекватности голосования. Как считаете?
Рейм Илья01.05.2020
Программист. А гляньте в посте "Графики судейства финала". https://poembook.ru/diary/57338-grafiki-sudejstva-finala
Никита Зонов01.05.2020
Илья, я попробую завтра сформулировать что я имел в виду. Если вкратце - гистограммы или графики распределения по оценкам от 1 до 15 утверждаю что они индивидуальны для каждого члена жюри (конкурс не имеет значения) по абсциссе - восемь номиналов возможных оценок в порядке возрастания по ординате - выставленное их количество в конкурсе и это - основа для анализа попробуйте
Рейм Илья02.05.2020
Можно. Делов-то минут на 15...