Рейм Илья
Система оценивания в конкурсах
27 апр 2020
Думаю о финале кубка — и мне всё больше кажется, что назрела новая модификация в обсчёте результатов конкурсов. Уж не знаю, поддержит ли это Команда Поэмбук. При необходимости можно результаты на пробу переобсчитать, но... В общем, по порядку.
На мой взгляд, в целом жюри стало сейчас работать (полагаю, чуть не впервые с момента появления внешних жюри) довольно адекватно. Работы в большинстве своём читаются, от подавляющего большинства комментаторов нет ощущения, что они разбирают некие неудобоваримые субстанции и т.п. Честно говоря, меня очень порадовала победа Иры Чудновой. Отчасти потому, что традиционно в кубках с внешними жюри раньше побеждали работы бесспорные. О работе Иры этого не скажешь, и, на мой взгляд, это не только не претензия, а комплимент. Мне даже удивительно, как это достаточно сложная и, я бы сказал, имеющая яркую индивидуальность работа, не подвергнутая радикальному причёсыванию до потери лица, могла не вызвать негатива ни у кого и была всеми оценена по достоинству.
Тем не менее, как обычно, не обошлось и без косяков. Видимо, эти косяки неизбежны, но оттого не менее обидны. Ира Кабачкова с высокими оценками от всех и колом от одного члена жюри, пробежавшего текст по диагонали и оставившего безапелляционный комментарий. Да, хоть и не принято говорить о себе, моя работа, с преимущественно высокими оценками и двумя тройками от откровенно «не врубившихся» (один — тот же, что поставил кол Кабачковой, он вообще жёг в этот раз). Уже давно известно, что для высоких мест важно не вызвать негатива, потому что один кол (а тем более два) — и дело сделано, о высоких местах речи не идёт в принципе. Ну и известно, что «чистая лирика» почти всегда вызывает негатив у кого-то (недавно я довольно много писал об этом, не буду повторяться).
Так вот, не пора ли всё-таки ввести систему, подобную принятой в фигурном катании. Там принято отбрасывать оценки двух судей — одну из максимальных и одну из минимальных. В нашем случае это могло бы быть, если поставлены 15, 15,13, 13, 11, 11, 9, 9, 3 и 3, отбрасывание перед усреднением одной пятнашки и одной тройки. Как это делать? Отсортировать оценки и выбросить первую и последнюю.
Может быть, в нашем случае нет смысла отбрасывать верхние оценки, а имело бы смысл избавиться от двух нижних: основная проблема в судействе поэзии — это не необоснованные высокие оценки, а элементарное «не врубился» одного-двух судей. Думаю, выбрасывание 20% нижних оценок (в случае десяти судей это значит выбрасывание двух) могло бы решить многие проблемы со случайными «невъездами». При десяти человеках в жюри вполне можно позволить себе выбрасывание двух оценок.
Надо бы это было обсчитать на материале последнего кубка, хотя не так много у меня сейчас времени. Тем не менее, может быть, на праздниках сделаю. В прошлый раз именно после таких обсчётов и появилась теперешняя система усреднения с отдельно народным голосованием и объединением голосования жюри и народного голосования путём суммирования средних (там было предложено несколько вариантов, в итоге КП выбрала и сделала понравившийся).
Отзывы
41327.04.2020
"Ну, Парамон! Я, грешный человек, нарочно бы записался к большевикам, чтобы тебя расстрелять! Расстрелял бы, и мгновенно обратно выписался" (из к/ф "Бег")
Так вот, с точки зрения ИХ, это технически сложно и заморочно, морально спорно и в целом не целесообразно. Вообщем и так сойдёт))
Рейм Илья27.04.2020
413, во-первых, не сойдёт, я много писал о судьбе лирики тут. Во-вторых, технически это абсолютно элементарно — это я могу сказать как программист. ))) В-третьих, морально спорно не это, а возможность одного прохлопавшего ушами судьи радикально повлиять на результат.
41327.04.2020
Илья, Ваше предложение разумно и продумано, НО :
1. Так уж ли кардинально повлияют эти новации на результат?
2. Тут и без этого изменения регулярные споры, а их, предполагаю, будет больше...
3. "Судьбы лирики" - красиво, но тут ли?
4. Получается, что кто то из судей заранее плох? И его голос - тьфу? Не обидно ли? Может лучше с судьями поработать?
5. Ну и зачем весь этот геморрой Админам?
С Уважением и пожеланием здоровья и творчества))
Рейм Илья27.04.2020
Почему же кто-то из судей плох? Судьям из-за замыливания восприятия свойственно время от времени не считывать массу всего. И чем сложнее работа, тем вероятнее этот эффект и тем фатальнее его последствия.
Не забывайте, в каждой работе отбрасываются оценки разных судей. Так что никто не плох.
Это всего лишь страховка от неизбежных ошибок судей. Ошибки делают не только те, кто «жжёт напалмом». Не учитывать крайние суждения — это вообще нормально. И нормальный метод статистической обработки данных — исключить крайние значения до обсчёта, поскольку такие крайние значения обычно есть ошибки результатов эксперимента, которые могут исказить общую картину.
А как это будет работать — надо просто переобсчитать.
41327.04.2020
Илья, я то Вас понял и предположим, что меня Вы убедили... А дальше что? Утвердить у "зала славы"? Обращаться к Админам? А потом объяснять народу?
Совершенство мира - мечта, а справедливость - миф.
Ну, да удачи Вам на этом тернистом пути...
Рейм Илья27.04.2020
413, я идею закину — и посмотрим. В прошлый раз идея вполне зашла. Не сразу, но всё то, что предлагалось, появилось.
И мне не близка логика «раз совершенство недостижимо, ничего делать не надо».
писец27.04.2020
оххх... я сама удивлена... но тут дело в том, что как раз пришлые просто не могут привыкнуть к местным реалиям, птому смешанное жюри и получилось эффективнее целиком пришлого... Кстати с дядечкой у меня уже отношения налаждились... да... просто не срослось... ну, бывает... наверняка не только со мной так- каждый раз бывают досадно пролетевшие...)
Рейм Илья27.04.2020
Ирина Николаевна, дядечка многократно отжёг, видимо, спешил (он ставил одним из последних). И система такова, что это происходит регулярно. Кто-то да жжёт. Кто-то да не вчитается. И именно поэтому надо отбрасывать крайние.
писец27.04.2020
Илья, я с ним долго побеседовала. до меня дошло. ему нравится силлаботоника, звучные стихи, с хорошей интонацией, он звук воспринимает. Содержание- по остаточному принципу. Ну, тут не переделаешь.Это его видение. и либо ты такое закидываешь в конкурс и он это примет, либо нет.
Но так многие.
Рейм Илья27.04.2020
Ира, ну вот у меня была силлабо-тоника, вполне себе звучная. И что, помогло? Он пытался читать смысл и ни одного тропа не прочитал. Никакие иносказания, никакие метонимии не прошли -- всё мимо. Фраза "Мир кишит бытием" -- бред. Зевса в России не было ещё. )
писец27.04.2020
Илья, я тебе сказала ровно это: человек ценит звучность и не сильно интересуется содержанием - ну, лишь бы не совсем пурга. Просто что-то ровненькое- травка зеленеет...- я тоже так не сужу, не читаю, но это- я... и что тут предъявишь? ну, вот видит человек так!
Рейм Илья27.04.2020
Имеет право, хоть вообще не видеть. Но слепые не должны судить о картинах -- это моё мнение.
Ларионов Михаил28.04.2020
Ирина Николаевна, как может содержание быть по остаточному принципу?
Романа27.04.2020
У кого-то пришлые, в моём случае кол от своего прилетел) Когда судья использует всю шкалу оценок, кол ставится не отчаянно плохой работе, а той работе, которая по мнению судьи, хуже остальных. Так мне объяснили. Когда остальные судьи используют шкалу по другому принципу (кол тогда практически не ставится, ибо достоинства работы не дают это сделать), складывается болезненная ситуация - один кол опускает работу ниже плинтуса. Обидно, что и говорить.
Рейм Илья27.04.2020
Romana, дело даже не в том, чему именно ставится кол или трояк. Дело в том, чтобы отсечь явные ошибки. Если работа плоха с точки зрения заметной части жюри, отсечение низших её не спасёт, да и не надо. А вот от одиночных "невъездов" -- вполне.
Елена Лесная27.04.2020
Итоговая таблица есть. Можно откинуть оценки и посмотреть. Но убрав их мы получим на выходе ещё большее количество авторов с одинаковой суммой баллов.
Рейм Илья27.04.2020
Елена, про сумму, кстати, отдельная проблема. Я изначально говорил, что проблемы с суммой из-за того, что все оценки нечётные. А вот если добавить возможность ставить и чётные (хотя бы в верхней части, где как раз самое интересное, добавить к имеющимся 10, 12 и 14), ситуация исправится. И я даже могу смоделировать это на случайных результатах, чтобы показать, что будет именно так. А лучше всего и вовсе открыть весь диапазон 1-15 с шагом 1.
Рейм Илья27.04.2020
А обсчёт я постараюсь на праздниках проделать. У меня где-то уже валялся код для сбора оценок.
Елена Лесная27.04.2020
Илья, ссылку на таблицу сбросила.
ВикторияСевер27.04.2020
Если я, как член жюри, поставлю работам оценки в диапазоне от 7 до 1, а остальные от 15 до 9, то меня "откинут" полностью, и их (членов жюри) останется 9. Как в считалочке про 10 негритят. А если кто-то будет ставить всем 15хи, то откинут его? И восемь решат судьбу конкурсантов. Думаете, элемент случайного таким образом будет исключён?
Рейм Илья27.04.2020
Кстати, хороший вопрос.
В лобовом варианте это работает, если люди ставят лидерам примерно 15 (а это почти всегда так). Менее лобовой вариант — хитрее. Определяя, что выбросить, можно пересчитать оценку как вещественное число от 0 до 1 внутри того диапазона, который использует конкретный судья. И уже по этой нормализованной оценке выносить вердикт, кого откинуть. При этом усреднение производится по исходным оценкам.
Надо подготовить несколько вариантов обсчёта.
ВикторияСевер27.04.2020
Илья, мне кажется проще, если всем судьям дать установку поставить оценки работам, используя весь ряд от 1 до 15, в каком соотношении - пусть сами решают. Мне кажется, так будет логичнее. На одном из сайтов такое было, но там у судей было от 1 до 5 баллов в арсенале. Отбрасывалось две оценки - самая высокая одна и одна самая низкая. Никто не жаловался, между прочим.
Рейм Илья27.04.2020
Так тоже можно. Но при обсчёте в любом случае можно скорректировать. Чтобы не приходилось непременно ставить колы. ))) Люди колов-то не любят, и если уровень не совсем уж катастрофический, обычно их ставить не хочется. Я попробовал в одном из кубков (весна 2017) всю шкалу использовать — много обид.
Barklai27.04.2020
Ну, в общем, разумно. Потому что кол ставится обычно в трёх случаях:
1. Не въехал
2. Не принял
3. Принципиально использовал всю шкалу.
И если последний случай не смертелен, как правило, это не сильно влияет на итог. ТО первые два... Я так в прошлом году из клуба вылетела. А потом выяснилось, что член жюри просто не приемлет никакого негатива в стихах. То есть положительный посыл для него ценнее, чем поэзия вообще.))
Рейм Илья27.04.2020
Вика, это регулярная история. Я в этой записи привёл примеры. Надо как-то отсечь ситуацию, когда 1-2 жюриста просто протупили. Потому что оценки от кола до 15 у одной работы — это клиника.
ВикторияСевер27.04.2020
Илья, я думаю, что "протупили" это личностная оценка, откуда вы знаете, может красная цена работе как раз кол, а не 15? Я распределяю работы по группам, просто нельзя всем поставить 15...
Кстати, тот Дяденька, который кол Василисе дал и вам три, и мне тоже поставил трояк. Это были три низких оценки. Остальным он поставил 5 и выше. Но я на него не могу сказать, что он "протупил". Просто, думаю, посчитал хуже многих. Это лично про мои стихи.
Barklai27.04.2020
ВикторияСевер, тогда получается, что "протупили" остальные?))
Просто, когда один пишет "самая слабая работа в конкурсе", а другой "самая сильная работа", кто-то из них либо не понял, либо не принял.))
ВикторияСевер27.04.2020
Barklai, я же написала, что "протупили" это личностная оценка. При чем здесь остальные? Я за право каждого пользоваться всей шкалой оценок. Ну, пусть оставят шкалу от 7 до 15. Тогда кого вы хотите назвать протупившим?
Мне лично нравятся все оценки к моим стихам, я никогда их не обсуждаю, а иногда просто не смотрю.
СВЕТЛАНА27.04.2020
Вот интересно, почему именно "притупил" тот, кто поставил наименьший бал?)
П.С. По правилам убирают именно две крайних...
самую высокую и самую низкую оценку.
И как можно "притупить", при том, что теперь жюри дали возможность исправить оценку?
Для чего-то эту функцию ввели.
Скорее для того, чтобы судья именно смог изменить там, где он т.с. " притупил"
Рейм Илья27.04.2020
СВЕТЛАНА, вероятнее всего, протупил тот, кто поставил оценку, максимально отличающуюся от средней.
СВЕТЛАНА27.04.2020
Илья, как вариант можно и такое предположить.
Но есть и другие варианты. Тут либо:
1. расшить саму шкалу оценок от 0 до 15 для жюри)
2. либо не приглашать такого судью, который слишком часто "тупит".
п.с. нельзя не увидеть, что низкие баллы чаще ставят конкретные судьи, и не редко конкретным работам. (из наблюдений)
тем более, что невозможно под каждый конкурс подгонять шкалу.
Barklai27.04.2020
ВикторияСевер, реплика была в ответ на "может красная цена работе как раз кол, а не 15". И, в свете данной формулировки, кто-то из судей - по любасу не прав.))
ВикторияСевер27.04.2020
Barklai, это взято из одного и того же предложения, как пример того, что протупившими можно считать и тех и этих, кому как нравится. Но мне это совсем не нравится, мне же не помешал трояк продвинуться дальше, а кому-то помешал. Это всё случай и везение.
Barklai27.04.2020
ВикторияСевер, ну, насколько я понимаю, Илья привёл пример, когда девять оценок 11, 13 и 15, и один кол. И в этом случае, ну, никак не получается считать "протупившими" и тех и этих.)
Ну, и помимо варианта "не понял", есть ещё вариант "не принял", которого быть вообще не должно ни при каких условиях. Когда тема и содержание вызвали острое отторжение потому что у члена жюри другие политические, религиозные и прочие взгляды, и ему в данном случае глубоко плевать на то, какого качества сама поэзия.
ВикторияСевер27.04.2020
Barklai, я думаю, стих понравился большинству, но одному человеку нет. Это конкурс. Я против того, чтобы навешивать ярлыки и называть кого-то протупившими.
"Вообще не должно быть ..." это очень идеальный сценарий судейства. Такое бывает редко.
Barklai27.04.2020
ВикторияСевер, я думаю, что судья обязан быть беспристрастным (хотя бы в плане личных предпочтений/несогласий), иначе это всё не имеет смысла и можно многое поставить под сомнение. Про то, как бывает, я в курсе.)) Речь шла о том, как должно быть.
Рейм Илья27.04.2020
ВикторияСевер, а я могу. Комментарий к моей работе — это абсолютная, полная читательская неудача. Ни одного успешно прочтённого тропа. Это и называется «протупил». Комментарий к работе Кабачковой — тоже.
ВикторияСевер27.04.2020
Илья, и что, считать таких притупившихся некомпетентными ? Тогда надо это внести в правила для жюри, мол, если вы поставите оценки 1 или 3 и если ваши оценки будут очень сильно отличаться от 15-7 остальных судей, то в следующий раз мы вас не позовём и будем считать протупившим и недостойным быть в нашем прекрасном жюри. Понимаете, если его ( или новенького другого) позовут снова и предупредят, он может также неуспешно не прочесть ваши тропы, но зато поставит 7, чтобы быть ближе к пулу. На всякий случай, если, конечно, ему очень хочется быть в этом жюри ещё.
Честно, я не понимаю, почему оценки к работе не могут быть разнообразными, ведь может так, что ваши образы считали 9 из 10 членов? Все люди разные и расшифровывают по-своему, невозможно понравиться всем.
мне выставили трояк, но я пробралась, благодаря, может, чьим-то то завышенным оценкам? В любом конкурсе есть и доля случайного, судьи ведь не роботы)
Рейм Илья27.04.2020
ВикторияСевер, если 8 из 10 читают, а два — нет, то это ошибка двух. И никакого разнообразия от 1 до 15 быть в норме не должно, если только не собралось 40 шедевров, которые вообще никак толком не ранжировать. Ошибаются, кстати, все. В моём случае ошиблись два судьи, но ко второму никаких претензий предъявить не могу. Обсуждаемый же ошибся очень много раз, и отнюдь не только на моей работе. И вот это уже может быть признаком либо вставания не с той ноги, либо спешки, либо некомпетентности.
ВикторияСевер27.04.2020
Илья, как угодно можно это назвать и строить догадки, но мне кажется, что это пустая трата времени)
Кристина Штейн27.04.2020
Илья, а где он ещё ошибся? Каким по Вашему мнению работам он поставил неправильные оценки?
Рейм Илья27.04.2020
Роза для Нострадамуса
Пашков
Возможно, есть ещё, это то, что я смотрел.
Кристина Штейн27.04.2020
Илья, ну, вот видите, Вы не смотрели и не анализировали работу других членов жюри.
В этом конкурсе /как и в любом другом/ каждый член жюри кому-нибудь да "подсубботил" - единицей, тройкой, пятеркой. Это низкие оценки. Почему речь только об этом члене жюри, я в толк не возьму. Умарсана Улзытуев поставил единственную тройку Никите Зонову тогда, как все остальные 15, 13, 11. У Людмилы Макеенко тоже единственная 5 от Амарсаны, которая не позволила ей подняться выше. Эти факты как судейские ошибки никем не рассматриваются /по мне они ими и не являются так же, как и оценки Карпенко/
У автора СуКатя /кстати, неплохие стихи/ вообще интересная картина. Жюри практически раскололось пополам. Половина жюри - 15, 15, 13, 13, 13. Вторая половина жюри - 5, 5, 5, 7. Между 15 и 5 разница значительная. Как такое может быть?... И только "ошибающийся" Карпенко ставит среднюю 11.
Разница оценок - нормальное явление.
Использование всей шкалы, установленной на данный момент, только к лучшему.
Рейм Илья27.04.2020
Кристина Штейн, а вот посмотрим. Я планировал выполнить анализ на праздниках. В своё время я детально анализировал работу жюри кубков 2017 года. Там было очень чётко видно, кто адекватно судит, а кто выдаёт явный "шум". Разбросы бывали, и довольно большие, но 1-15 случались только за счёт некоторых судей.
СВЕТЛАНА28.04.2020
Илья, не стоит сбрасывать со счетов личное предпочтение судьи. И в любом случае от субъективизма не уйти.
Какую бы шкалу не предлагали... картинка чаще будет одна и та же.
Рейм Илья28.04.2020
СВЕТЛАНА, обсчитаю -- посмотрю.
Доля принципиальной субъективности и разные системы ценностей -- это правда. Прямые личные предпочтения -- это вообще не то, что должно влиять на оценку. Мне вот стихи Мансветова не особо-то и нравятся, но не отдать должное нельзя. Суди я финал -- либо 13, либо 15. И не играют роли мои предпочтения.
СВЕТЛАНА28.04.2020
Илья, да, нужно смотреть.
А так то бывает по всякому. Мне тоже не всегда все кубковые стихи нравятся...)
Николаев-Смирнов Сергей27.04.2021
...выяснилось, что член жюри просто не приемлет никакого негатива в стихах.
===
Пожалуйста, скажите, кто это.
Barklai27.04.2021
Сергей, расслабьтесь. Это был внешний член жюри, не поэмбуковский. В нынешних баталиях его нет. Но возможно будет осенью.)) Сергей Ивкин.
Он действительно не приемлет негатив. Но это, имхо, говорит о несостоятельности, как члена жюри. Потому что лично видела комментарий его к работе в том же кубке. Что-то типа "Это не имеет никакого отношения к поэзии, но общий посыл положительный, а это важно, поэтому Вам 9". Но так быть не должно. Стих был действительно слабенький, мягко говоря.
Николаев-Смирнов Сергей27.04.2021
Barklai, спасибо вам!
Почитайте стихи автора
Наиболее популярные стихи на поэмбуке

