Конкурс типирования по 2 текстам: итоги эксперимента

Эксперимент "Типирование по текстам"

О контрольных группах и несоционических озарениях.

Сообщение Prob-Irka » Ср дек 06, 2017 1:16 am

Parf писал(а):Гипотеза Пробирки о росте сходимости между типировщиками: типировщики по ходу конкурса учатся друг у друга, повышая "внутришкольную сходимость".


Парф, все верно, но я имела в виду также данные предыдущего конкурса по текстам, там было "неслепое" типирование, эксперты просто прятали свои версии под спойлер, а иногда и не прятали. Поэтому и учились друг у друга. Аналогичная картина наблюдается в типировочных темах, там типировщики спорят друг с другом невольно сближая свои соционические версии до четырех главных версий.
На разных форумах и соционических площадках сходимость постепенно увеличивается до 15-25%. У лучших учеников персональных школ сходимость может доходить до 40-45%. Поэтому я и ввела понятие "внутришкольная сходимость", но важнейшим условием такой "внутришкольной" сходимости является спор между "школьниками", они должны убеждать друг-друга, должны выискивать функции, аргументировать... Всего этого разнообразия в конкурсе нет потому, что важнейшим нашим условием была идея "слепого типирования" в ЛС.
Парф через неделю выкладывает версии с коротким обоснованием. Никто никого у нас в конкурсе не переубеждает. И это хорошо! Такого чистого эксперимента давно не проводилось.

Но!
Для каждого эксперимента должна быть контрольная группа. Для "слепого" типирования должна быть альтернатива "неслепого" типирования с обсуждением.
Этой группой могут быть опоздавшие и пришедшие позже эксперты. Нужно просить вновь прибывших экспертов типировать все тексты с самого начала и вносить в контрольную группу тех, кто готов признаться, что смотрел чужие версии. И подсматривать чужие версии тоже можно ОФИЦИАЛЬНО разрешать, и не наказывать, а просто вносить эти данные в контрольную группу. Контрольная группа тоже может быть номинирована призами.

******
Считаю важным иметь контрольную группу и для поиска текстов одного и того же автора. Контрольная группа может состоять из 2-3 человек не экспертов, которые совместно вычитывают тексты и предполагают, что этот и этот текст принадлежит по вероятности этому или этому автору.
"Выкапывателям авторов" разрешается обсуждать предположения друг с другом в ЛС. А если нет персональных предположений о конкретном форумчанине, то им нужно предполагать парность текстов ТУПО по стилям написания.

В конце посчитать средние значения самосходимости как по несоционическим догадкам, так и по ТИМному типированию.
Замечу, что самосходимость типировщиков смешанная: к ТИМным догадкам добавляются и несоционические догадки о парности текстов.
Честно будет потом от самосходимости типировщиков вычесть процент самосходимости несоционических предположений контрольной группы.

Контрольная группа несоционических предположений может быть сформирована даже из любых догадок типировщиков. Просто типировщикам нужно разрешить присылать Парфу озарения о СТИЛИСТИЧЕСКОЙ похожести тех или иных текстов или на стиль общения какого-то форумчанина.
После раскрытия авторства можно будет вычесть эти несоционические озарения от ТИМных совпадений по авторам.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9697
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Случайная сходимость с популярными ТИМами

Сообщение Parf » Чт дек 07, 2017 1:00 pm

Гипотеза Пробирки о типировании в стереотипный набор ТИМов: есть распределение частот заявленных ТИМов на форуме - будем называть его стереотипным распределением ТИМов - и можно получить хорошую сходимость, не читая тексты, а просто выдавая ТИМы случайно в соответствии со стереотипным распределением. Будем называть такой алгоритм типирования общим недифференцированным или кастрюльным (потому что все тексты и ТИМы смешиваются, как в кастрюле).

Стереотипное распределение ТИМов авторов с точки зрения типировщиков можно оценить, усреднив проценты за ТИМы по всем типированиям. Получим такое распределение:
ИЛЭ - 9,4%
СЭИ - 4,7%
ЛИИ - 4,3%
ЭСЭ - 3,4%
СЛЭ - 2,4%
ИЭИ - 11,0%
ЛСИ - 2,9%
ЭИЭ - 10,9%
СЭЭ - 3,3%
ИЛИ - 11,1%
ЭСИ - 3,8%
ЛИЭ - 8,8%
ИЭЭ - 8,5%
СЛИ - 4,5%
ЭИИ - 5,1%
ЛСЭ - 5,9%

Очевидно, если типировщик будет типировать в соответствии с кастрюльным алгоритмом, его результатом по сходимости с популярными ТИМами будет скалярный квадрат стереотипного распределения, то есть 7,4%.
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Недифференцированная сходимость и сходимость по текстам

Сообщение Parf » Чт дек 21, 2017 5:13 pm

В действительности, типировщики весьма далеки от кастрюльного распределения вероятных ТИМов - у каждого из них есть своё собственное индивидуальное распределение ТИМов. Но при этом типировщик может всё равно действовать в соответствии с индивидуальным "кастрюльным" (недифференцированным) алгоритмом - по-прежнему не читать тексты, а выдавать ТИМы случайно в соответствии со своим индивидуальным распределением вероятности.

Гипотеза Пробирки (о недифференцированной сходимости): особенности текстов никак не влияют на версии типировщиков. Типировщики просто типируют с помощью индивидуальных недифференцированных алгоритмов - или, по крайней мере, даже если они как-то опираются на тексты, их сходимости не превышают индивидуальные недифференцированные.

Сходимость S каждого типировщика (и с заявленными ТИМами, и с популярными ТИМами, и самосходимость) составляется из 3 параметров:

S = N + T + E,

где N - индивидуальная недифференцированная сходимость типировщика (определяющая, насколько точно он угадал стереотипное распределение ТИМов авторов), T - сходимость, основанная на понимании им соционических особенностей текстов, E - случайная ошибка, вызванная тем, что типировщик случайно выдал не тот ТИМ. Случайная ошибка каждого типировщика складывается из множества независимых случайных ошибок (их количество равно количеству протипированных текстов N), поэтому можно считать, что она имеет примерно нормальное распределение с нулевым математическим ожиданием и дисперсией не больше 1/(4N).

Гипотеза Пробирки предполагает, что T = 0 - то есть типировщики никак не могут, анализируя тексты, повысить свою сходимость, а любое превышение над недифференцированной сходимостью является случайным.

Посчитаем для сходимостей типировщиков по популярным ТИМам значения N (индивидуальная недиффенерцированная сходимость) и T+E (сходимость по текстам + случайная ошибка). Получаем такую таблицу:

Типировщик Инд. недиф. По текстам

Parf 7,62% 3,81%
kurlemushe 8,52% 1,53%
Сумеречный кот 7,88% 4,87%
Типировщик 7,88% 1,85%
Erika A 8,28% 3,91%
Mimozzka 7,57% 3,78%
Сита 7,41% 2,95%
iris_ 7,57% 4,06%
Fladen 6,5% 0,77%
ENTP 5,82% -1,03%
Скорпион_под_шубой 8,2% 2,89%

При взгляде на неё возникает подозрение, что недифференцированная сходимость по популярным ТИМам по текстам таки существует и не случайна: она положительна (причём может достигать 4%) у всех типировщиков, кроме ENTP. Но у него есть систематическое отклонение от случайного значения 6,25% в сторону минуса и по индивидуальной недифференцированной сходимости с популярными ТИМами - это может быть вызвано особенностью методики его типирования, экспериментальной и весьма необычной.

В общем, надо провести проверку гипотезы о незначимости текстов при типировании - но только перед этим её нужно корректно сформулировать. :add14
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Динамика количества типировщиков - понижение

Сообщение Parf » Сб янв 27, 2018 7:17 pm

Проверим, меняется ли со временем среднее количество типировщиков. Рассмотрим среднее количество типировщиков на 1 текст в неделю за первые 16 недель и проверим гипотезу: "среднее количество типировщиков не растёт и не падает". Альтернативная гипотеза: "оно растёт или падает". Возьмём количества типировщиков за первые 8 недель и последние 8 недель и проверим их однородность по двустороннему критерию Уилкоксона. Сумма рангов для первых 8 недель равна 93, для последних 8 недель - 43. Это означает, что количество типировщиков со временем падает (с уровнем доверия 99%).
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Снижение количества типировщиков в арифметической прогрессии

Сообщение Parf » Сб янв 27, 2018 7:18 pm

Оценим скорость его падения, предположив, что количество типировщиков не зависит от количества текстов в неделю и уменьшается по линейному закону (в арифметической прогрессии). Регрессия методом наименьших квадратов даёт уменьшение примерно на 0,18 типировщика в неделю - иначе говоря, примерно каждые 5 недель уходит 1 типировщик, а все 16 недель ушло на 3 типировщика больше, чем пришло. В реальности примерно так и есть: если считать тех, кто типировал более-менее систематически, за 16 недель ушли Эй прохожий проходи, Карина, Грим, iris_ и Mimozzka, а пришли ornithologist и Brittany.

Правда, линейная регрессия даёт скромный диапазон уменьшения количества типировщиков с 12,4 до 9,67 , в то время как реально оно уменьшилось с 14 в 1-ю неделю до 8 в 16-ю неделю. Может быть, количество типировщиков убывает не в арифметической, а в геометрической прогрессии? Или всё-таки есть значимая зависимость от количества текстов?

Убывание в геометрической прогрессии даёт (регрессией методом наименьших квадратов для логарифма количества типировщиков) убывание с 11 типировщиков до 10,61 - ещё более скромный и далёкий от реальности диапазон. Так что арифметическая прогрессия всё-таки более адекватно описывает реальность - но, видимо, есть и неучтённые факторы.
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Зависимость от количества текстов

Сообщение Parf » Сб янв 27, 2018 7:19 pm

Предположим, что главный неучтённый фактор - количество текстов. Проверим зависимость количества типирований от количества текстов. Для этого возьмём остаточные количества типировщиков (при вычитании из реального количества типировщиков линейной регрессии). Вспомним, что с 1-й недели по 5-ю типировали по 2 текста, с 6-й по 11-ю - по 3 текста, а с 12-й по 15-ю - по 4 текста (в 16 неделю типировали 3 текста + 2 наполовину, но это пока единичный результат, который сравнивать с другими рановато - не хватает статистики).

Проверяем 3 выборки (объёмом 5, 6 и 4 элемента) из остаточных количеств типирований на однородность по критерию Крускалла-Уоллиса. Проверка дала значение суммы усреднённых по выборкам квадратов рангов 6,12 , что больше критического (с уровнем доверия 90%) значения 4,60. То есть для остаточных значений остаётся значимый качественный фактор, зависящий от количества текстов. Проверка пар остатков (для 2 и 3 текстов, для 2 и 4 и для 3 и 4) на однородность по критерию Манна-Уитни (обобщённому критерию Уилкоксона) подтверждает различие: для 2 и 3, 3 и 4 текстов оно незначимо, а вот для 2 и 4 текстов уже значимо: остатки для 2 текстов больше остатков для 4 текстов (с уровнем доверия 99%).

Но на самом деле различие между остатками для 2 текстов и остатками для 4 текстов оказалось сглаженным: при нахождении коэффициента убывания типировщиков со временем мы не учли качественный скачок при переходе от 2 текстов к 4, и из-за этого коэффициент убывания оказался по модулю больше. Но, несмотря на это, качественный скачок всё равно оказался статистически значимым. Реальный же коэффициент убывания со временем (из которого вычтен качественный скачок) меньше по модулю, а значит качественный скачок - ещё больше и точно является статистически значимым.

Следовательно, при оценке количества типировщиков нужно учитывать оба критерия: время и количество текстов.
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Сб янв 27, 2018 11:20 pm

Parf
Я считаю, что самым верным будет импульс экспертов в зависимости от их скорости типирования единицы текста и от их массовости.
Естественно импульс считается для каждого типировщика, а потом все данные суммируются для каждой недели.

Если недельный суммарный импульс будет падать, то это плохо.

Количество текстов приходящийся на Одни сутки для всех экспертов = [(Количество протипированных текстов от каждого эксперта) : (Количество дней, через которое прислал конкретный эксперт свои версии, отсчитывая от даты публикации)] × (Число экспертов с такими же показателями).
Либо сумма отдельных экспертных импульсов.

Таким образом, результат взаимодействия тел зависит от их массы и скорости движения.
Импульсом тела называют векторную физическую величину, равную произведению массы тела и его скорости.
p = mv.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9697
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Parf » Сб янв 27, 2018 11:59 pm

Если увеличить количество текстов в неделю, импульс увеличится. :)
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Вс янв 28, 2018 2:33 am

Parf писал(а):Если увеличить количество текстов в неделю, импульс увеличится. :)

При увеличении числа текстов в неделю:
А) увеличится число ушедших экспертов (сумма импульсов экспертов значительно уменьшится), и импульс в результате сильно уменьшится.
Б) часть экспертов из-за увеличения числа текстов запоздает с типированием (скорость замедлится), импульс дополнительно уменьшится.
В) часть экспертов начнет не успевать типировать все тексты, (примеры такие есть, среди них и Парф тоже), и процент протипированных приведет к уменьшению импульса.
Г) некоторых экспертов увеличение текстов может на первых порах активировать ускорить скорость (увеличится импульс), чтобы успеть протипировать все тексты, но надолго ли таких экспертов хватит, неизвестно.

Из моего опыта прежних текстовых конкурсов : три-четыре текста были потолком по скорости в десять дней, и максимумом по усталости при длительном типировании.

Если ты просмотришь данные по каждому эксперту, когда и сколько они тебе присылали типирований, то увидишь, что задержки и пропуски в типировании начались с увеличением числа текстов. Составь графики импульса эксперта и заметишь тенденции двойной (прямой и обратной) зависимости.

И при расчете импульсов не учитывай супер-скорости двух новых опоздавших типировщиков: они уникумы и импульс у них огромный (по скорости и массе протипированных прежних текстов), не попадающий под нормальное распределение обычных экспертов.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9697
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Parf » Вс янв 28, 2018 9:50 am

Зачем все эти абстрактные рассуждения, когда у меня есть цифры, показывающие, что импульс увеличивался при росте количества текстов.

Но меня не волнует импульс, мне важно среднее количество типировщиков на один текст. А оно падает. :(
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Вс янв 28, 2018 11:56 am

Parf писал(а):Но меня не волнует импульс, мне важно среднее количество типировщиков на один текст. А оно падает. :(

Одна из причин, что число типировщиков падает, это усталость от типирования БОЛЬШОГО числа текстов в НЕДЕЛЮ. Чем больше ты увеличиваешь их число, тем чаще начинают пропускать тексты (ты сам стабильно не типировал 1 из 4-х и называл причину "нет времени типировать все").
Типирование не должно превращаться в массовое закидывание типировщиков текстами, особенно тех кто делает подробный анализ.
Остаются те эксперты, кто может типировать хоть 10 в неделю, но таких очень мало.
Литературное обсуждение с ростом числа текстов в неделю тоже упало. Сторонние читатели на форуме писали, что они их даже читать не усппевают.
Попробуй привлечь внимание к лит.обсуждению и разбору самих текстов, может и типировщики вернуться.

Проведи рекламную компанию для набора экспертов.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9697
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение ENTP » Вс янв 28, 2018 2:57 pm

Prob-Irka писал(а):
Parf писал(а):Но меня не волнует импульс, мне важно среднее количество типировщиков на один текст. А оно падает. :(

Одна из причин, что число типировщиков падает, это усталость от типирования БОЛЬШОГО числа текстов в НЕДЕЛЮ.

Да. 5 текстов - для меня психологически сложно. Я делаю вывод: "Ой, там работы на несколько часов", и всё время откладываю эту работу.

Когда после очередного откладывания вспоминаю о том, что надо бы протипировать, уже воскресенье :D

3 текста психологически легче.
ENTP
Гуру
Гуру
 
Сообщения: 8561
Зарегистрирован: Пт май 11, 2007 2:39 am
Медали: 6

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение kurlemushe » Вс янв 28, 2018 3:25 pm

Да, соглашусь...
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3909
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Prob-Irka » Вс янв 28, 2018 6:53 pm

ENTP писал(а):Да. 5 текстов - для меня психологически сложно. Я делаю вывод: "Ой, там работы на несколько часов", и всё время откладываю эту работу.

Когда после очередного откладывания вспоминаю о том, что надо бы протипировать, уже воскресенье :D

3 текста психологически легче.

kurlemushe писал(а):Да, соглашусь.


Именно так и поясняли свою позицию "против публикации числа текстов более 3-х" многие типировщики в моих предыдущих текстовых конкурсах.
Причина звучала так: "Ой, текстов стало больше, я на пару дней типирование отложу, потом найду время".

Есть эксперты, сумевшие 40 текстов за две недели протипировать. Но остаться только с такими скорострельными типировщиками, -- это не выход.
Конкурсу нужны оба типировочных крыла: "ясновидящие скорострелки" и долго анализирующие "черепашки".

Меня сейчас беспокоит ситуация, как нам упросить постоянных экспертов ENTP и kurlemushe протипировать пропущенные тексты в режиме "открытого" типирования?
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9697
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Конкурс типирования по 2 текстам: итоги эксперимента

Сообщение Parf » Вс янв 28, 2018 6:55 pm

Главное, что сейчас беспокоит меня - как закончить конкурс поскорее. 8-)
Аватара пользователя
Parf
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 30381
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Профессия: Разведчик (БВПН)

Пред.След.

Вернуться в Эксперимент - тексты

Кто сейчас на конференции

Зарегистрированные пользователи: Самотипирование, cooler462, GoGo [Bot], Google [Bot], Google Adsense [Bot], Google Search Appliance, Рукомойник, Гримми, Start_error, Yandex 3.0 [Bot], яра