От участников требуется только поставть оценки в пятибалльной системе 4-5 стихам и прислать их по указанному адресу.
ВАЖНО: на кажом туре конкретная привязка к оценщикам не производится. Т.е. известен состав проверяющих и матрица оценок, но не кто именно ставил конкретную оценку. Все оценки присылаются почтой сначала доверенному лицу (в данном туре - по указанному адресу), и из них формируется и публикуется матрица оценок, рейтинги, и т.д., но без привязки к конкретным оценщикам.
Это делается для того, чтобы обеспечить максимальную независимость участников при проставлении оценок.
==========================================================
Схема работы конкурса поясняется на примере ниже.
Можно сделать так, чтобы все участники конкурса сами себя оценивали.
Приведу простой пример для 6 оценщиков и 6 стихов, причем каждый оценщик оценивает по 3 стиха выбранные заранее случайным образом.
Предположим, что первый оценщик оценил 2, 4, 6 стих и поставил оценки 4, 5, 1 (первая строка матрицы:
{0, 4, 0, 5, 0, 1},
{2, 0, 3, 0, 4, 0},
{1, 0, 0, 4, 5, 0},
{0, 2, 5, 0, 0, 3},
{5, 2, 0, 0, 0, 1},
{0, 0, 3, 1, 3, 0}
Соответственно – второй оценщик – вторая строка, и т. д. – всего 6 оценщиков и 6 стихов.
Делим каждую оценку в данной строке на сумму всех оценок (усредняем), и получаем матрицу:
{0, 0.40, 0, 0.50, 0, 0.10},
{0.22, 0, 0.33, 0, 0.44, 0},
{0.10, 0, 0, 0.40, 0.50, 0},
{0, 0.20, 0.50, 0, 0, 0.30},
{0.63, 0.25, 0, 0, 0, 0.13},
{0, 0, 0.43, 0.14, 0.43, 0}
Суммируя по каждому стиху его усредненные оценки, получаем пока не усредненную коллективную оценку:
{0.947222,0.85,1.2619,1.04286,1.37302,0.525}
Делим каждое число на сумму всех чисел в строке и получаем окончательную коллективную оценку:
{0.15787, 0.141667, 0.210317, 0.17381, 0.228836, 0.0875}
Подсчитываем рейтинг оценок:
{5,3,4,1,2,6}
- т.е. на первом месте – стих № 5 (самый большой балл) и т. д.
Вычисляем отклонения индивидуальных оценок от окончательной (коллективной), как
среднее геометрическое от соответствующих разностей (корень квадратный от квадратов разностей соответствующих величин)
{0.416284, 0.256439, 0.357828, 0.363971, 0.480991, 0.297468}
И получаем рейтинг оценщиков:
{2,6,3,4,1,5}
Т.е. на первом месте оценщик № 2 – у него самое минимальное отклонение, на втором – оценщик № 6 и т.д.
Разумеется, все подсчеты делаются мгновенно, с помощью специальной программы.
Причем, если возникают сомнения в правильности подсчетов, то отдельные цифры всегда можно проверить с помощью калькулятора, или, допустим, в экселе.
Добавлю, что в матрице - все видно как на ладони. Если допустим первый оценщик оценивший две работы на 4 и 5, а третью в 1, на самом деле поставл 4 и 5 за явно плохие стихи, а то, что он оценил в 1 - стих неплохой, то это сразу будет видно. "Подгадать" же оценки, не вызывая подозрений - практически невозможно.
Важно также, что вычисление рейтинга оценщиков как раз и позволяет сделать систему самонастраивающейся. Т.е. от тура к туру накапливая все больше оценщиков, и анализируя их результаты, - качество оценок будет только повышаться. Все это, конечно, тоже можно полностью автоматизировать.