Конкурс типирования по 2 текстам: итоги эксперимента

Эксперимент "Типирование по текстам"

Связь между качеством текста и типируемостью автора

Сообщение iris_ » Вт ноя 28, 2017 10:46 pm

Parf писал(а):
iris_ писал(а):Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое :unknown:


Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов. :add29

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?
Аватара пользователя
iris_
Клуб пиратов
Клуб пиратов
 
Сообщения: 5116
Зарегистрирован: Пн фев 20, 2017 8:04 pm
Пол: Женский
Соционический тип: Дон Кихот
Тип по психе-йоге: Пастернак (ЭВФЛ)
Темперамент: Сангвиник
Профессия: Незнайка

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Erika A » Вт ноя 28, 2017 10:49 pm

Только опять же, как оценка за текст связана с его качеством? :D
И какая взаимосвязь с опытом и аватарами?
Один Бальзак может написать крутой текст потому что он тупо этим занимался, а другой Бальзак - полный отстой, потому что никогда до этого не писал. Вот тебе и взаимосвязь.
Желая нереального мы стремимся к совершенству. Или к саморазрушению...
Версии тима по нитке
Свидетель прихода пресвятого мотивированного Вергилия
пятого игрового дня
Аватара пользователя
Erika A
Dark side
Dark side
 
Сообщения: 18255
Зарегистрирован: Пт мар 15, 2013 2:59 am
Откуда: из города Z
Медали: 7
Пол: Женский
Соционический тип: Есенин
Тип по психе-йоге: Ахматова (ВЭЛФ)
Темперамент: Меланхолик
Профессия: Социал-провокатор

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение kurlemushe » Вт ноя 28, 2017 10:54 pm

Просто надо звать не «качественных» а «популярных». Для определения качества нужна проф жюри а не рандомные форумные читатели.
По поводу двух Балей Эрика права. Увы у нас тут 100 Балей авторов нету, поэтому будет влиять рандом на результаты сильно.
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3909
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Связь между качеством текста и типируемостью автора

Сообщение Parf » Вт ноя 28, 2017 11:04 pm

iris_ писал(а):
Parf писал(а):
iris_ писал(а):Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое :unknown:


Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов. :add29

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?


Верно. :)
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30973
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Соционический тип: Дон Кихот
Профессия: Разведчик (БВПН)

Связь между качеством текста и типируемостью автора

Сообщение iris_ » Вт ноя 28, 2017 11:53 pm

Parf писал(а):
iris_ писал(а):
Parf писал(а):
iris_ писал(а):Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое :unknown:


Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов. :add29

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?


Верно. :)

Когда у всех закончится конкурс, для Парфа это будет только начало.
Аватара пользователя
iris_
Клуб пиратов
Клуб пиратов
 
Сообщения: 5116
Зарегистрирован: Пн фев 20, 2017 8:04 pm
Пол: Женский
Соционический тип: Дон Кихот
Тип по психе-йоге: Пастернак (ЭВФЛ)
Темперамент: Сангвиник
Профессия: Незнайка

Связь между качеством текста и типируемостью автора

Сообщение Parf » Ср ноя 29, 2017 12:13 am

iris_ писал(а):
Parf писал(а):
iris_ писал(а):
Parf писал(а):
iris_ писал(а):Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое :unknown:


Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов. :add29

Ты хочешь выжить из данных все, что только можно и попытаться найти взаимосвязи какие только возможно?


Верно. :)

Когда у всех закончится конкурс, для Парфа это будет только начало.


Дааааа, я буду ловить кайф. У меня будет много-много данных для анализа, я зароюсь в них и буду анализировать. :add17
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30973
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Соционический тип: Дон Кихот
Профессия: Разведчик (БВПН)

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение kurlemushe » Ср ноя 29, 2017 12:27 am

Как я тебя понимаю :)
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3909
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение iris_ » Ср ноя 29, 2017 12:49 am

скорее хочется процитировать Оккаму, но мне интересно, что Парф сможет найти.
Аватара пользователя
iris_
Клуб пиратов
Клуб пиратов
 
Сообщения: 5116
Зарегистрирован: Пн фев 20, 2017 8:04 pm
Пол: Женский
Соционический тип: Дон Кихот
Тип по психе-йоге: Пастернак (ЭВФЛ)
Темперамент: Сангвиник
Профессия: Незнайка

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Ср ноя 29, 2017 7:34 pm

Fouras писал(а):А вот про то, что разброс надо именно по среднеквадратичному отклонению нормировать, для меня не очевидно. Почему не линейно?
Среднеквадратичное отклонение сильно зависит от масштаба, а Парф не вводит никаких коэффициентов учитывающих это. То есть, вот он заложился, что 1.5 разброс - это самое оно для нормирования среднеквадратичным(5.5+-1.5), и все.

Получается, что мнение максималистов будет учитываться меньше сомневающихся середнячков. А мы же хотели поровну. Наверное средним значением и нормировать надо было. Или домножать разброс на (1/1.5) и только потом считать среднеквадратичное отклонение.


Я пока точно не поняла, зачем нужна коррекция на среднеквадратичное отклонение, а не простое линейное отклонение от персонального среднего значения для каждого оценщика?

Рассматриваем пример, приведенный Фуром:
Эксперт А оценивает 24 текста на 6, и 24 текста на 7 баллов.
Среднее значение его оценки равно 6,5 балла.
Эксперт Б оценивает 24 текста на 4, и 24 текста на 5 баллов.
Среднее значение его оценки равно 4,5 балла.

Рассчитайте нормированные оценки экспертов если они оба поставят оценки текстам: 4 балла и 7 баллов?
1.) с учетом среднеквадратичной коррекции и
2.) чисто по линейной шкале, без учета средннквадратичного отклонения?

Я представляю систему линейных нормированных оценок так:
1) Если эксперт А со средним баллом 6,5 ставит оценку 4, то значит он ставит этому тексту минус 2,5 балла (я посчитала ориентировочно, не учитывая для среднего значения саму оценку 4 балла)
2) Если эксперт А со средним баллом 6,5 ставит оценку 7, то значит он ставит этому тексту плюс 0,5 балла

А какова нормированная шкала с учетом среднеквадратичного отклонения?
Каковы в этом случае получатся баллы?

Fouras присоединись к нашему обсуждению здесь, плиз.
Очень трудно искать в твоей теме для флуда обсуждения методики Парфа о нормировании оценок.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9735
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Ср ноя 29, 2017 7:59 pm

Literax писал(а):Про нормирование оценки

Идея нормирования среднеквадратичным отклонением понятна: это как в случае с тем, что один типировщик оценивает всех от 4 до 5, а другой от 6 до 7, мы это учли и уравняли.

А потом выяснили, что один типировщик оценивает +-0.5 балла, а другой +-1.5 балла. Парф решил уравнять их баллы нормируя среднеквадратичным отклонением. А это открывает возможность манипуляции результатом: всех оцениваем одинаково низко, и только одного очень высоко. Парфовский метод в это случае даст этому выбросу очень большой вес.

Проще было оценки каждого нормировать линейно от 4 до 7, и все. Тоже самое, но нет проблем с масштабом. Или брать не среднее значение в качестве отправной точки, а среднее значение между максимум и минимумом данного типировщика, и потом нормировать среднеквадратичным. Наверное, так можно сгладить выбросы.

А еще в физике и при оценок в спорте давно заметили, что надо отбрасывать самое низкое и самое высокое значение, поскольку высока вероятность случайного выброса.

Про отбрасывание крайних значений в матстатистике я читала. Чтобы они не влияли. Но этот метод поименялся давно, когда формул матстатистики не знали.

Я до конца идею твоего линейного нормирования и учета среднеквадратичного так и не поняла.

Мне расчет нужен (для лучшего понимания) для выше приведенного примера.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9735
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Ср ноя 29, 2017 8:24 pm

Literax писал(а):1)Один выдает оценки 5 и 6, узкий дипозон. 2) Второй выдает оценки от 4 до 7.

И вот как они оценили рассказы a b c d e f:



a b c d e f
1) оценщик 6 5 6 5
2) оценщик 4 7 4 7


1) оценщик выдает оценки +-0.5
2) выдает оценки 5.5 +- 1.5

Понятно, что диапазон - это специфика оценщика, а не рассказов. Это хорошо бы учесть.

Мы можем линейно натянуть на диапазон оценки первого и второго. В нашем случае оба будут выдавать по то 4 то 7
Можем найти среднее, среднеквадратичное отклонение от среднего. и поделить отклонение от среднего на среднеквадратичное. Парф ожидал, что у максималистов даже немного уже станет диапазон, чем у обычных оценщиков.

В этом случае появляется дырка для манипуляции рейтингом. Поэтому я предлагаю плясать не от среднего, а от центра окна: среднего между минимумом и максимумом.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9735
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Parf » Чт ноя 30, 2017 10:36 pm

Среднее между максимумом и минимумом не годится, поскольку большинство читателей и так ставит минимум 4 и максимум 7. Но это не отменяет наличия позитивно и негативно настроенных читателей.

Поэтому вычитать у каждого читателя таки будем среднее арифметическое.
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30973
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Соционический тип: Дон Кихот
Профессия: Разведчик (БВПН)

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Parf » Чт ноя 30, 2017 10:38 pm

Делить или не делить на среднеквадратичное отклонение (или какое-то иное среднее отклонение)?

За: наличие радикальных читателей, которые чаще ставят минимальный и максимальный балл 4 и 7, и умеренных читателей, которые чаще ставят одни и те же баллы и редко от них отклоняются. Если текст попался радикальным читателям, его достоинства, а также недостатки, сильно раздуваются и он получает очень большую или очень маленькую оценку, в то время как оценка текста, за который голосовали умеренные читатели, оказывается ближе к среднему.

Против: голоса уверенных читателей, которые ставят оценки в широком диапазоне, должны цениться больше, чем голоса неуверенных читателей, робко топчущихся возле средних значений.

Против: при делении на среднее отклонение тот же радикальный читатель может манипулировать оценками, например, поставив большому количеству текстов 4 балла, и одному тексту 7 баллов, так что эти 7 баллов дадут высокое отклонение и большой вклад в оценку.

За: для шкал отношений нормировка делением обязательна, иначе нельзя будет сравнивать оценки разных читателей.

Против: шкала от 4 до 7 баллов - это не шкала отношений, а абсолютная шкала, в которой уже есть единица деления, и размах голосов всегда составляет 4 единицы.

В итоге я решил, что для данной шкалы таки лучше методика выровненного среднего: среднее вычитаем, но ни на что не делим.
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30973
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Соционический тип: Дон Кихот
Профессия: Разведчик (БВПН)

Динамика сходимости по популярным ТИМам

Сообщение Parf » Вт дек 05, 2017 5:22 pm

Гипотеза Пробирки о росте сходимости между типировщиками: типировщики по ходу конкурса участся друг у друга, повышая "внутришкольную сходимость".

Рассмотрим динамику средней сходимости с популярными ТИМами - она же средняя сходимость между типировщиками. Поскольку мы рассматриваем динамику, берём средние баллы не по текстам, а по неделям. Динамика среднего балла за первые 10 недель:
01 - 8.77
02 - 11.34
03 - 10.00
04 - 10.03
05 - 13.05
06 - 9.77
07 - 13.29
08 - 8.88
09 - 8.19
10 - 13.66
11 - 9,71

Корреляция между номером недели и средним баллом составляет примерно +0,21 - иначе говоря, средняя сходимость с течением времени проявляет склонность к росту.

Предположим, что средний балл растёт по линейному закону. Регрессия методом наименьших квадратов даёт коэффициент прироста примерно 0,34 балла в неделю. Иначе говоря, аппроксимированная средняя сходимость выросла примерно с 9 баллов в 1-ю неделю до 12,4 баллов в 10-ю неделю!
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30973
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Соционический тип: Дон Кихот
Профессия: Разведчик (БВПН)

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Parf » Вт дек 05, 2017 5:23 pm

Но являются ли эти данные статистически достоверными? Сформулируем гипотезу: средняя сходимость со временем не меняется, т.е. остаётся распределённой по одному и тому же случайному закону. Альтернативная гипотеза: средняя сходимость растёт.

Разобьём период исследования пополам и рассмотрим 2 выборки: средние сходимости в первые 5 недель и в последние 5 недель. Если верна гипотеза о неизменности средней сходимости, обе эти выборки распределены по одному и тому же закону. Альтернативная гипотеза гласит, что закон второй выборки сдвинут в сторону увеличения. Проверим гипотезу о неизменности средней сходимости по ранговому критерию Уилкоксона (его можно применять, когда размер выборки не меньше 5).

Проверка даёт отрицательный результат: сумма рангов по последним неделям (27) даже чуть меньше суммы рангов по первым неделям (28). То есть рост средней сходимости - статистически незначимый.
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30973
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Соционический тип: Дон Кихот
Профессия: Разведчик (БВПН)

Пред.След.

Вернуться в Эксперимент - тексты

Кто сейчас на конференции

Зарегистрированные пользователи: arkarna, Атех, Carrie White, cooler462, Crystalize, Gabriela, GoGo [Bot], Google [Bot], Google Adsense [Bot], Gutsy, Morning, nashkhan, Nijaj, Peachy, SeaSoul, Yandex 3.0 [Bot], Варшава, туман