Конкурс типирования по 2 текстам: итоги эксперимента

Эксперимент "Типирование по текстам"

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Буран » Пт ноя 17, 2017 7:05 pm

Цели эксперимента:

1. Проверка гипотезы о существовании ТИМов и принципиальной возможности их идентификации по потоку информации (в текстовом виде).
2. Проверка качества разных методов типирования, и уровня типировщиков, использующих разные методы, по критериям сходимости с заявленными ТИМами, самосходимости и перекрёстной сходимости.
3. Оценка связи между художественными качествами текста, его типируемостью, ТИМами авторов и читателей.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Буран » Пт ноя 17, 2017 7:10 pm

Отсюда получаем 4 вида данных:

1. ТИМно-типировочные данные - связанные с существованием ТИМов и принципиальной возможностью их идентифицировать.
2. Типировочные данные - связанные с качеством типирования. В этом блоке предполагаем, что ТИМы существуют и хорошие типировщики могут их определять (если это подтвердится данными 1-го блока).
3. Литературные данные - связь между художественным качеством текста, ТИМами читателей и типировщиков. Оценки тексту от каждого читателя нормируем по мат. ожиданию и среднеквадратичному отклонению оценок читателя.
4. Конкурсные данные - связанные с организацией конкурса и качеством его проведения.

Эти 4 вида данных я и буду анализировать.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

ТИМно-типировочные данные

Сообщение Буран » Пт ноя 17, 2017 7:27 pm

-1. Средняя сходимость с заявленными ТИМами. Проверка гипотезы о её случайности.
-2. Сходимость с заявленными ТИМами у лучших типировщиков.
*3. Средняя сходимость с популярными ТИМами. Проверка гипотезы о её случайности.
*4. Сходимость с популярными ТИМами у лучших типировщиков.
-5. Средняя самосходимость. Проверка гипотезы о её случайности.
-6. Самосходимость у лучших типировщиков.
-7. Корреляция между количеством аспекта в тексте и позицией функции у автора.
-8. Корреляция между типируемостью текста и соционической энтропией автора.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Типировочные данные

Сообщение Буран » Пт ноя 17, 2017 7:28 pm

-1. Корреляции между баллами по 4 номинациям (проверка гипотезы о комплексности качеств хорошего типировщика).
*2. Корреляция между качеством типировщика и его ТИМом (проверка по основным ПР).
*3. Кластеры сходства типировщиков (расстояние между типировщиками определяем в манхэттенской метрике по 1/(x+0,01), где x - проценты за ТИМы).
-4. Анализ лучших обоснований (получивших высокие проценты по сходимости с заявленными ТИМами и самосходимости) от лучших типировщиков (получивших высокие баллы по каждой номинации).
-5. Проверка уровня "усреднённого типировщика" (по популярным ТИМам) по сходимости с заявленными ТИМами и самосходимости.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Литературные данные

Сообщение Буран » Пт ноя 17, 2017 7:28 pm

*1. Корреляции между качеством текста и его сходимостями.
-2. Корреляции между качеством текста и ТИМом автора (проверка по основным ПР).
-3. Оценка ИО между типировщиками и авторами - кто каким текстам чаще ставит высокие оценки (по параметрам ПР Аушры и Рейнина)
-4. Корреляция между качеством текста и соционической энтропией автора.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Данные по конкурсу

Сообщение Буран » Пт ноя 17, 2017 7:29 pm

*1. Динамика сходимости (проверка гипотезы Пробирки о её росте из-за просачивания информации).
*2. Динамика количества типирований (для оценки оптимальной продолжительности конкурса).
-3. Сравнение качества (по баллам) конкурсных и внеконкурсных типирований.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Буран » Пт ноя 17, 2017 7:30 pm

Условные обозначения:

* - данные, которые можно частично проанализировать ещё до конца конкурса
- - данные, которые можно проанализировать только в конце конкурса
+ - данные проанализированы
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Литературные данные: почему баллы нужно нормировать

Сообщение Буран » Пн ноя 27, 2017 8:33 pm

По правилам конкурса, в качестве оценки текста считается средний балл, поставленный читателями, по шкале от 4 до 7. Назовём эту простую и понятную методику подсчёта методикой среднего балла.

Методика среднего балла имеет ряд недостатков, и её нужно подкорректировать. Менять правила конкурса мы уже не будем, а вот для анализа итогов эксперимента используем более совершенную методику.

Недостаток методики среднего балла - неравномерность читателей по выставляемых ими оценкам. Есть более критические читатели, которые большинству текстов ставят низкие оценки, и более позитивные, которые оценивают большинство текстов высоко. При этом некоторые читатели могут просмотреть только часть текстов. Например, пусть текст №1 оценивают только критические читатели, которые всем ставят 4 и 5 баллов, а текст №2 - только позитивные читатели, которые всем ставят 6 и 7 баллов. Тогда, независимо от художественных достоинств текстов, текст №1 получит не больше 5 баллов, а текст №2 - не меньше 6 баллов. Явно эти оценки далеки от истины.

Этот недостаток легко исправить, если учитывать не баллы читателя по шкале 4-7, а скорректированные баллы: из каждого балла, поставленного читателем, вычитается средний балл, который он поставил всем текстам. Тогда оценки текстов могут быть как положительными, так и отрицательными, что имеет ясный смысл: положительная оценка - выше среднего, отрицательная - ниже среднего. При этом сумма баллов, поставленных каждым читателем всем текстам, оказывается равна 0, а значит, вклад позитивных и критических читателей в оценку текстов уравнивается. Получаем методику выровненного среднего.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Литературные данные: почему баллы нужно нормировать

Сообщение Буран » Вт ноя 28, 2017 4:55 pm

Оценки, нормированные по методике выровненного среднего, как среднее арифметическое примерно 10 значений с мат. ожиданием 0 и среднеквадратичным отклонением не больше 1,5 , если бы оценки были независимы, примерно подчинялись бы нормальному распределению с мат. ожиданием 0 и среднеквадратичным отклонением не больше 0,47. Но оценки зависимы - они определяются качеством текста. Поэтому можно считать, что они с уровнем доверия 90% определяют качество текста с погрешностью порядка плюс-минус 0,78.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Связь между качеством текста и типируемостью автора

Сообщение Буран » Вт ноя 28, 2017 4:57 pm

Проверим некоторые гипотезы о связи между качеством текста и соционическими параметрами автора.

Гипотеза №1 (автор - Пробирка): многие авторы пишут не с литературными целями, а для того, чтобы читатели подтвердили их ТИМ, намеренно вставляя в текст соционические шаблоны. От этого качество текста, разумеется, падает.

Гипотеза №2 (автор - Парф): чем больше в тексте аспектов и чем разнообразнее они применяются, тем выше качество текста.

Качество текста будем измерять методом нормированных оценок.

Если верна гипотеза №1, то:
1. Имеется отрицательная корреляция между качеством текста и его типируемостью (сходимостью типировщиков по популярным ТИМам и его самосходимостью)
2. Имеется положительная корреляция между качеством текста и соционической энтропией автора, то есть разбросом предполагаемых им ТИМов (поскольку автор, не уверенный в своём ТИМе, меньше стремится намеренно вставлять в текст соционические шаблоны).

Если верна гипотеза №2, то:
1. Имеется отрицательная корреляция между качеством текста и его типируемостью.
2. Корреляция между качеством текста и соционической энтропией автора близка к 0 или даже отрицательна (поскольку автор, знающий свой ТИМ, более осознанно применяет аспекты).
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Проверка связи между качеством текста и сходимостью типировщ

Сообщение Буран » Вт ноя 28, 2017 4:58 pm

Будем предполагать, что качество текста и его типируемость образуют многомерное нормальное распределение. Возьмём уровень доверия 90%.

Корреляция между качеством текста и сходимостью по популярным ТИМам в этом случае лежит в доверительном интервале [-0,66; -0,08]. То есть действительно имеется отрицательная корреляция, хотя, видимо, она невелика (можно уточнить её величину, если взять больше текстов). Это аргумент в пользу как гипотезы №1, так и гипотезы №2.

Эти данные будут обновляться. :)
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Erika A » Вт ноя 28, 2017 5:26 pm

Качество от оценки типировщиков не всегда зависит. :unknown:
Желая нереального мы стремимся к совершенству или к саморазрушению
Версии тима по нитке
Свидетель прихода пресвятого мотивированного Вергилия 5-го игрового дня
Люблю чтение, учёбу и игру на нервах
Аватара пользователя
Erika A
Dark side
Dark side
 
Сообщения: 23712
Зарегистрирован: Пт мар 15, 2013 2:59 am
Откуда: Запоріжжя
Медали: 8
Пол: Женский
Соционический тип: Гамлет
Тип по психе-йоге: Ахматова (ВЭЛФ)
Темперамент: Меланхолик

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Буран » Вт ноя 28, 2017 5:28 pm

Erika A писал(а):Качество от оценки типировщиков не всегда зависит. :unknown:


Ну, я измеряю то, что могу измерить. :unknown:
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Связь между качеством текста и типируемостью автора

Сообщение iris_ » Вт ноя 28, 2017 6:40 pm

Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое :unknown:
Аватара пользователя
iris_
Киноклуб
Киноклуб
 
Сообщения: 5342
Зарегистрирован: Пн фев 20, 2017 8:04 pm
Пол: Женский
Соционический тип: Габен
Тип по психе-йоге: Руссо (ЭЛФВ)
Темперамент: Сангвиник

Связь между качеством текста и типируемостью автора

Сообщение Буран » Вт ноя 28, 2017 10:41 pm

iris_ писал(а):Мне кажется, что тексты написанные на интуитивные аспекты ставятся оценки выше, чем другие аспекты особенно на ЧЛ, хотя количество аспектов в тексте примерно одинаковое :unknown:


Зависимость качества текста от ТИМа автора я тоже проверю, но только в конце конкурса. Сейчас у меня нет информации о ТИМах авторов. :add29
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

След.

Вернуться в Эксперимент - тексты

Кто сейчас на конференции

Зарегистрированные пользователи: cooler462, GoGo [Bot], Google [Bot], Joker, vadimr, Yandex 3.0 [Bot], Yandex [Bot], Феликс