Конкурс типирования по 2 текстам: итоги эксперимента

[iris_]

Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое

Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов.

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?

[Erika A]

Только опять же, как оценка за текст связана с его качеством?
И какая взаимосвязь с опытом и аватарами?
Один Бальзак может написать крутой текст потому что он тупо этим занимался, а другой Бальзак - полный отстой, потому что никогда до этого не писал. Вот тебе и взаимосвязь.

[kurlemushe]

Просто надо звать не «качественных» а «популярных». Для определения качества нужна проф жюри а не рандомные форумные читатели.
По поводу двух Балей Эрика права. Увы у нас тут 100 Балей авторов нету, поэтому будет влиять рандом на результаты сильно.

[Буран]

Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое

Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов.

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?

Верно.

[iris_]

Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое

Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов.

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?

Верно.

Когда у всех закончится конкурс, для Парфа это будет только начало.

[Буран]

Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое

Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов.

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?

Верно.

Когда у всех закончится конкурс, для Парфа это будет только начало.

Дааааа, я буду ловить кайф. У меня будет много-много данных для анализа, я зароюсь в них и буду анализировать.

[kurlemushe]

Как я тебя понимаю

[iris_]

скорее хочется процитировать Оккаму, но мне интересно, что Парф сможет найти.

[Prob-Irka]

А вот про то, что разброс надо именно по среднеквадратичному отклонению нормировать, для меня не очевидно. Почему не линейно?
Среднеквадратичное отклонение сильно зависит от масштаба, а Парф не вводит никаких коэффициентов учитывающих это. То есть, вот он заложился, что 1.5 разброс - это самое оно для нормирования среднеквадратичным(5.5+-1.5), и все.

Получается, что мнение максималистов будет учитываться меньше сомневающихся середнячков. А мы же хотели поровну. Наверное средним значением и нормировать надо было. Или домножать разброс на (1/1.5) и только потом считать среднеквадратичное отклонение.

Я пока точно не поняла, зачем нужна коррекция на среднеквадратичное отклонение, а не простое линейное отклонение от персонального среднего значения для каждого оценщика?

Рассматриваем пример, приведенный Фуром:
Эксперт А оценивает 24 текста на 6, и 24 текста на 7 баллов.
Среднее значение его оценки равно 6,5 балла.
Эксперт Б оценивает 24 текста на 4, и 24 текста на 5 баллов.
Среднее значение его оценки равно 4,5 балла.

Рассчитайте нормированные оценки экспертов если они оба поставят оценки текстам: 4 балла и 7 баллов?
1.) с учетом среднеквадратичной коррекции и
2.) чисто по линейной шкале, без учета средннквадратичного отклонения?

Я представляю систему линейных нормированных оценок так:
1) Если эксперт А со средним баллом 6,5 ставит оценку 4, то значит он ставит этому тексту минус 2,5 балла (я посчитала ориентировочно, не учитывая для среднего значения саму оценку 4 балла)
2) Если эксперт А со средним баллом 6,5 ставит оценку 7, то значит он ставит этому тексту плюс 0,5 балла

А какова нормированная шкала с учетом среднеквадратичного отклонения?
Каковы в этом случае получатся баллы?

Fouras присоединись к нашему обсуждению здесь, плиз.
Очень трудно искать в твоей теме для флуда обсуждения методики Парфа о нормировании оценок.

[Prob-Irka]

Про нормирование оценки

Идея нормирования среднеквадратичным отклонением понятна: это как в случае с тем, что один типировщик оценивает всех от 4 до 5, а другой от 6 до 7, мы это учли и уравняли.

А потом выяснили, что один типировщик оценивает +-0.5 балла, а другой +-1.5 балла. Парф решил уравнять их баллы нормируя среднеквадратичным отклонением. А это открывает возможность манипуляции результатом: всех оцениваем одинаково низко, и только одного очень высоко. Парфовский метод в это случае даст этому выбросу очень большой вес.

Проще было оценки каждого нормировать линейно от 4 до 7, и все. Тоже самое, но нет проблем с масштабом. Или брать не среднее значение в качестве отправной точки, а среднее значение между максимум и минимумом данного типировщика, и потом нормировать среднеквадратичным. Наверное, так можно сгладить выбросы.

А еще в физике и при оценок в спорте давно заметили, что надо отбрасывать самое низкое и самое высокое значение, поскольку высока вероятность случайного выброса.

Про отбрасывание крайних значений в матстатистике я читала. Чтобы они не влияли. Но этот метод поименялся давно, когда формул матстатистики не знали.

Я до конца идею твоего линейного нормирования и учета среднеквадратичного так и не поняла.

Мне расчет нужен (для лучшего понимания) для выше приведенного примера.

[Prob-Irka]

1)Один выдает оценки 5 и 6, узкий дипозон. 2) Второй выдает оценки от 4 до 7.

И вот как они оценили рассказы a b c d e f:

	a	b	c	d	e	f
1) оценщик	6	5	6	5
2) оценщик			4	7	4	7

1) оценщик выдает оценки +-0.5
2) выдает оценки 5.5 +- 1.5

Понятно, что диапазон - это специфика оценщика, а не рассказов. Это хорошо бы учесть.

Мы можем линейно натянуть на диапазон оценки первого и второго. В нашем случае оба будут выдавать по то 4 то 7
Можем найти среднее, среднеквадратичное отклонение от среднего. и поделить отклонение от среднего на среднеквадратичное. Парф ожидал, что у максималистов даже немного уже станет диапазон, чем у обычных оценщиков.

В этом случае появляется дырка для манипуляции рейтингом. Поэтому я предлагаю плясать не от среднего, а от центра окна: среднего между минимумом и максимумом.

[Буран]

Среднее между максимумом и минимумом не годится, поскольку большинство читателей и так ставит минимум 4 и максимум 7. Но это не отменяет наличия позитивно и негативно настроенных читателей.

Поэтому вычитать у каждого читателя таки будем среднее арифметическое.

[Буран]

Делить или не делить на среднеквадратичное отклонение (или какое-то иное среднее отклонение)?

За: наличие радикальных читателей, которые чаще ставят минимальный и максимальный балл 4 и 7, и умеренных читателей, которые чаще ставят одни и те же баллы и редко от них отклоняются. Если текст попался радикальным читателям, его достоинства, а также недостатки, сильно раздуваются и он получает очень большую или очень маленькую оценку, в то время как оценка текста, за который голосовали умеренные читатели, оказывается ближе к среднему.

Против: голоса уверенных читателей, которые ставят оценки в широком диапазоне, должны цениться больше, чем голоса неуверенных читателей, робко топчущихся возле средних значений.

Против: при делении на среднее отклонение тот же радикальный читатель может манипулировать оценками, например, поставив большому количеству текстов 4 балла, и одному тексту 7 баллов, так что эти 7 баллов дадут высокое отклонение и большой вклад в оценку.

За: для шкал отношений нормировка делением обязательна, иначе нельзя будет сравнивать оценки разных читателей.

Против: шкала от 4 до 7 баллов - это не шкала отношений, а абсолютная шкала, в которой уже есть единица деления, и размах голосов всегда составляет 4 единицы.

В итоге я решил, что для данной шкалы таки лучше методика выровненного среднего: среднее вычитаем, но ни на что не делим.

[Буран]

Гипотеза Пробирки о росте сходимости между типировщиками: типировщики по ходу конкурса участся друг у друга, повышая "внутришкольную сходимость".

Рассмотрим динамику средней сходимости с популярными ТИМами - она же средняя сходимость между типировщиками. Поскольку мы рассматриваем динамику, берём средние баллы не по текстам, а по неделям. Динамика среднего балла за первые 10 недель:
01 - 8.77
02 - 11.34
03 - 10.00
04 - 10.03
05 - 13.05
06 - 9.77
07 - 13.29
08 - 8.88
09 - 8.19
10 - 13.66
11 - 9,71

Корреляция между номером недели и средним баллом составляет примерно +0,21 - иначе говоря, средняя сходимость с течением времени проявляет склонность к росту.

Предположим, что средний балл растёт по линейному закону. Регрессия методом наименьших квадратов даёт коэффициент прироста примерно 0,34 балла в неделю. Иначе говоря, аппроксимированная средняя сходимость выросла примерно с 9 баллов в 1-ю неделю до 12,4 баллов в 10-ю неделю!

[Буран]

Но являются ли эти данные статистически достоверными? Сформулируем гипотезу: средняя сходимость со временем не меняется, т.е. остаётся распределённой по одному и тому же случайному закону. Альтернативная гипотеза: средняя сходимость растёт.

Разобьём период исследования пополам и рассмотрим 2 выборки: средние сходимости в первые 5 недель и в последние 5 недель. Если верна гипотеза о неизменности средней сходимости, обе эти выборки распределены по одному и тому же закону. Альтернативная гипотеза гласит, что закон второй выборки сдвинут в сторону увеличения. Проверим гипотезу о неизменности средней сходимости по ранговому критерию Уилкоксона (его можно применять, когда размер выборки не меньше 5).

Проверка даёт отрицательный результат: сумма рангов по последним неделям (27) даже чуть меньше суммы рангов по первым неделям (28). То есть рост средней сходимости - статистически незначимый.