. о.Митрий

Поскольку я на сайте человек новый, в тусовку не вляпавшийся, стараюсь сохранить преимущества взгляда со стороны.

Что касается Мастерской, на момент заметны черты кризиса. Это и усталость организатора, и проявившиеся противоречия внутри самой задумки. Что касается второго, я готов прислушаться к словам Ирины Чудновой, что провозглашая цель помочь "опериться", конкурс на самом деле "выдавливает неоперившихся" (эпитеты мои, смысл подслушан). Частично этому способствует и нынешняя система оценивания конкурсантов. По факту победит более опытный автор, зашедший с лучшим текстом. Что естественно для всех конкурсов, к которым уже привыкли.

Не знаю, звучали ли подобные голоса раньше, но сейчас я услышал предложение "дать шанс". Сместить акцент членов жюри на те изменения к лучшему, которые автор смог совершить над текстом в ходе Мастерской. Естественно, что "взрасти" может лишь там, где есть "зерна". Вопрос о качественной модерации остаётся открытым. От экспертного потока текущего сезона остаётся впечатление, что либо выбирать было не из чего, либо некому.

Говоря об изменениях в тексте, и ввели понятие "дельты" (в дальнейшем ∆). ∆ -работает уравнивающе, т.к. и в начале оценочной шкалы и в конце она может быть одинакова (5-3=2 и 15-13=2).Кроме того, Чудновой введено понятие "потолка". Это экспертная оценка перспектив текста. Я бы сравнил это с генетикой. Если перед вами маленькая мышь, то из неё можно вырастить большую мышь, но никак не маленького слона.

Далее о технической стороне оценивания, куда я и попытался засунуть нос. Математика - "служанка всех наук"©. Т.е. она обслуживает определённые задачи. Если судьи обратят внимание на изменения и выставят оценки (в обычном формате) за исходный и отредактированный текст, то, опираясь на эти оценки можно отранжировать участников конкурса по объему (положительных!) изменений текста. Формула никого не оценивает сама, она просто переводит кучу оценок судей и эксперта (я добавил в неё и это) в число. Из 21 оценки получается 1.

 

Формула для ∆ выглядит следующим образом

 

∆=(b-a)÷c×b

где а - оценка от судьи исходному тексту в привычных баллах (1-3-5 ... 13-15);

b - судейская оценка отредактированному тексту;

с - редакторская/экспертная оценка "потолка" в привычных баллах.

Нормально работает, если разница между b и а не превышает 8 (например 5 и 13), а разница между с и b (в любую сторону) не превышает 4.

Существенное отличие редакторской оценки от оценки судей конечному тексту, как и возникновение отрицательной ∆ (в случае, если оценки отредактированному тексту меньше чем первоначальному варианту) придётся разбирать в индивидуальном порядке.

При соблюдении условий, что автор не оставляет текст без изменений (∆=0), и судьи стараются эти изменения увидеть, предполагаемое покрытие данной формулой корпуса конкурсных текстов 90%.

Поигрался с результатами 3 сезона (а там до 50% одинаковых оценок начальному и конечному тексту), вижу, что работает. Рейтинг авторов меняется. Например, если брать только призовые места, то "Лестница в небо" выйдет на первое место и т.д.

 

Для тех, кто хочет подумать глубже, в комментариях опубликую мысли о внутренней логике формулы.

 

В конце замечу, что использование ∆ в понимании организатора конкурса не приведет к улучшению системы оценивания. Надеюсь, что время до финала позволит принять мудрое решение. В качестве эксперимента можно првести подсчет результатов в двух системах. Конкурс замечательный, но, чтобы он жил, он должен развиваться.

На возможные вопросы постараюсь ответить.