Социофорум - бесплатное обучение онлайн

Parf писал(а):Гипотеза Пробирки о росте сходимости между типировщиками: типировщики по ходу конкурса учатся друг у друга, повышая "внутришкольную сходимость".

Парф, все верно, но я имела в виду также данные предыдущего конкурса по текстам, там было "неслепое" типирование, эксперты просто прятали свои версии под спойлер, а иногда и не прятали. Поэтому и учились друг у друга. Аналогичная картина наблюдается в типировочных темах, там типировщики спорят друг с другом невольно сближая свои соционические версии до четырех главных версий.
На разных форумах и соционических площадках сходимость постепенно увеличивается до 15-25%. У лучших учеников персональных школ сходимость может доходить до 40-45%. Поэтому я и ввела понятие "внутришкольная сходимость", но важнейшим условием такой "внутришкольной" сходимости является спор между "школьниками", они должны убеждать друг-друга, должны выискивать функции, аргументировать... Всего этого разнообразия в конкурсе нет потому, что важнейшим нашим условием была идея "слепого типирования" в ЛС.
Парф через неделю выкладывает версии с коротким обоснованием. Никто никого у нас в конкурсе не переубеждает. И это хорошо! Такого чистого эксперимента давно не проводилось.

Но!
Для каждого эксперимента должна быть контрольная группа. Для "слепого" типирования должна быть альтернатива "неслепого" типирования с обсуждением.
Этой группой могут быть опоздавшие и пришедшие позже эксперты. Нужно просить вновь прибывших экспертов типировать все тексты с самого начала и вносить в контрольную группу тех, кто готов признаться, что смотрел чужие версии. И подсматривать чужие версии тоже можно ОФИЦИАЛЬНО разрешать, и не наказывать, а просто вносить эти данные в контрольную группу. Контрольная группа тоже может быть номинирована призами.

******
Считаю важным иметь контрольную группу и для поиска текстов одного и того же автора. Контрольная группа может состоять из 2-3 человек не экспертов, которые совместно вычитывают тексты и предполагают, что этот и этот текст принадлежит по вероятности этому или этому автору.
"Выкапывателям авторов" разрешается обсуждать предположения друг с другом в ЛС. А если нет персональных предположений о конкретном форумчанине, то им нужно предполагать парность текстов ТУПО по стилям написания.

В конце посчитать средние значения самосходимости как по несоционическим догадкам, так и по ТИМному типированию.
Замечу, что самосходимость типировщиков смешанная: к ТИМным догадкам добавляются и несоционические догадки о парности текстов.
Честно будет потом от самосходимости типировщиков вычесть процент самосходимости несоционических предположений контрольной группы.

Контрольная группа несоционических предположений может быть сформирована даже из любых догадок типировщиков. Просто типировщикам нужно разрешить присылать Парфу озарения о СТИЛИСТИЧЕСКОЙ похожести тех или иных текстов или на стиль общения какого-то форумчанина.
После раскрытия авторства можно будет вычесть эти несоционические озарения от ТИМных совпадений по авторам.

Гипотеза Пробирки о типировании в стереотипный набор ТИМов: есть распределение частот заявленных ТИМов на форуме - будем называть его стереотипным распределением ТИМов - и можно получить хорошую сходимость, не читая тексты, а просто выдавая ТИМы случайно в соответствии со стереотипным распределением. Будем называть такой алгоритм типирования общим недифференцированным или кастрюльным (потому что все тексты и ТИМы смешиваются, как в кастрюле).

Стереотипное распределение ТИМов авторов с точки зрения типировщиков можно оценить, усреднив проценты за ТИМы по всем типированиям. Получим такое распределение:
ИЛЭ - 9,4%
СЭИ - 4,7%
ЛИИ - 4,3%
ЭСЭ - 3,4%
СЛЭ - 2,4%
ИЭИ - 11,0%
ЛСИ - 2,9%
ЭИЭ - 10,9%
СЭЭ - 3,3%
ИЛИ - 11,1%
ЭСИ - 3,8%
ЛИЭ - 8,8%
ИЭЭ - 8,5%
СЛИ - 4,5%
ЭИИ - 5,1%
ЛСЭ - 5,9%

Очевидно, если типировщик будет типировать в соответствии с кастрюльным алгоритмом, его результатом по сходимости с популярными ТИМами будет скалярный квадрат стереотипного распределения, то есть 7,4%.

В действительности, типировщики весьма далеки от кастрюльного распределения вероятных ТИМов - у каждого из них есть своё собственное индивидуальное распределение ТИМов. Но при этом типировщик может всё равно действовать в соответствии с индивидуальным "кастрюльным" (недифференцированным) алгоритмом - по-прежнему не читать тексты, а выдавать ТИМы случайно в соответствии со своим индивидуальным распределением вероятности.

Гипотеза Пробирки (о недифференцированной сходимости): особенности текстов никак не влияют на версии типировщиков. Типировщики просто типируют с помощью индивидуальных недифференцированных алгоритмов - или, по крайней мере, даже если они как-то опираются на тексты, их сходимости не превышают индивидуальные недифференцированные.

Сходимость S каждого типировщика (и с заявленными ТИМами, и с популярными ТИМами, и самосходимость) составляется из 3 параметров:

S = N + T + E,

где N - индивидуальная недифференцированная сходимость типировщика (определяющая, насколько точно он угадал стереотипное распределение ТИМов авторов), T - сходимость, основанная на понимании им соционических особенностей текстов, E - случайная ошибка, вызванная тем, что типировщик случайно выдал не тот ТИМ. Случайная ошибка каждого типировщика складывается из множества независимых случайных ошибок (их количество равно количеству протипированных текстов N), поэтому можно считать, что она имеет примерно нормальное распределение с нулевым математическим ожиданием и дисперсией не больше 1/(4N).

Гипотеза Пробирки предполагает, что T = 0 - то есть типировщики никак не могут, анализируя тексты, повысить свою сходимость, а любое превышение над недифференцированной сходимостью является случайным.

Посчитаем для сходимостей типировщиков по популярным ТИМам значения N (индивидуальная недиффенерцированная сходимость) и T+E (сходимость по текстам + случайная ошибка). Получаем такую таблицу:

Типировщик Инд. недиф. По текстам

Parf 7,62% 3,81%
kurlemushe 8,52% 1,53%
Сумеречный кот 7,88% 4,87%
Типировщик 7,88% 1,85%
Erika A 8,28% 3,91%
Mimozzka 7,57% 3,78%
Сита 7,41% 2,95%
iris_ 7,57% 4,06%
Fladen 6,5% 0,77%
ENTP 5,82% -1,03%
Скорпион_под_шубой 8,2% 2,89%

При взгляде на неё возникает подозрение, что недифференцированная сходимость по популярным ТИМам по текстам таки существует и не случайна: она положительна (причём может достигать 4%) у всех типировщиков, кроме ENTP. Но у него есть систематическое отклонение от случайного значения 6,25% в сторону минуса и по индивидуальной недифференцированной сходимости с популярными ТИМами - это может быть вызвано особенностью методики его типирования, экспериментальной и весьма необычной.

В общем, надо провести проверку гипотезы о незначимости текстов при типировании - но только перед этим её нужно корректно сформулировать.

Проверим, меняется ли со временем среднее количество типировщиков. Рассмотрим среднее количество типировщиков на 1 текст в неделю за первые 16 недель и проверим гипотезу: "среднее количество типировщиков не растёт и не падает". Альтернативная гипотеза: "оно растёт или падает". Возьмём количества типировщиков за первые 8 недель и последние 8 недель и проверим их однородность по двустороннему критерию Уилкоксона. Сумма рангов для первых 8 недель равна 93, для последних 8 недель - 43. Это означает, что количество типировщиков со временем падает (с уровнем доверия 99%).

Оценим скорость его падения, предположив, что количество типировщиков не зависит от количества текстов в неделю и уменьшается по линейному закону (в арифметической прогрессии). Регрессия методом наименьших квадратов даёт уменьшение примерно на 0,18 типировщика в неделю - иначе говоря, примерно каждые 5 недель уходит 1 типировщик, а все 16 недель ушло на 3 типировщика больше, чем пришло. В реальности примерно так и есть: если считать тех, кто типировал более-менее систематически, за 16 недель ушли Эй прохожий проходи, Карина, Грим, iris_ и Mimozzka, а пришли ornithologist и Brittany.

Правда, линейная регрессия даёт скромный диапазон уменьшения количества типировщиков с 12,4 до 9,67 , в то время как реально оно уменьшилось с 14 в 1-ю неделю до 8 в 16-ю неделю. Может быть, количество типировщиков убывает не в арифметической, а в геометрической прогрессии? Или всё-таки есть значимая зависимость от количества текстов?

Убывание в геометрической прогрессии даёт (регрессией методом наименьших квадратов для логарифма количества типировщиков) убывание с 11 типировщиков до 10,61 - ещё более скромный и далёкий от реальности диапазон. Так что арифметическая прогрессия всё-таки более адекватно описывает реальность - но, видимо, есть и неучтённые факторы.

Предположим, что главный неучтённый фактор - количество текстов. Проверим зависимость количества типирований от количества текстов. Для этого возьмём остаточные количества типировщиков (при вычитании из реального количества типировщиков линейной регрессии). Вспомним, что с 1-й недели по 5-ю типировали по 2 текста, с 6-й по 11-ю - по 3 текста, а с 12-й по 15-ю - по 4 текста (в 16 неделю типировали 3 текста + 2 наполовину, но это пока единичный результат, который сравнивать с другими рановато - не хватает статистики).

Проверяем 3 выборки (объёмом 5, 6 и 4 элемента) из остаточных количеств типирований на однородность по критерию Крускалла-Уоллиса. Проверка дала значение суммы усреднённых по выборкам квадратов рангов 6,12 , что больше критического (с уровнем доверия 90%) значения 4,60. То есть для остаточных значений остаётся значимый качественный фактор, зависящий от количества текстов. Проверка пар остатков (для 2 и 3 текстов, для 2 и 4 и для 3 и 4) на однородность по критерию Манна-Уитни (обобщённому критерию Уилкоксона) подтверждает различие: для 2 и 3, 3 и 4 текстов оно незначимо, а вот для 2 и 4 текстов уже значимо: остатки для 2 текстов больше остатков для 4 текстов (с уровнем доверия 99%).

Но на самом деле различие между остатками для 2 текстов и остатками для 4 текстов оказалось сглаженным: при нахождении коэффициента убывания типировщиков со временем мы не учли качественный скачок при переходе от 2 текстов к 4, и из-за этого коэффициент убывания оказался по модулю больше. Но, несмотря на это, качественный скачок всё равно оказался статистически значимым. Реальный же коэффициент убывания со временем (из которого вычтен качественный скачок) меньше по модулю, а значит качественный скачок - ещё больше и точно является статистически значимым.

Следовательно, при оценке количества типировщиков нужно учитывать оба критерия: время и количество текстов.

Parf
Я считаю, что самым верным будет импульс экспертов в зависимости от их скорости типирования единицы текста и от их массовости.
Естественно импульс считается для каждого типировщика, а потом все данные суммируются для каждой недели.

Если недельный суммарный импульс будет падать, то это плохо.

Количество текстов приходящийся на Одни сутки для всех экспертов = [(Количество протипированных текстов от каждого эксперта) : (Количество дней, через которое прислал конкретный эксперт свои версии, отсчитывая от даты публикации)] × (Число экспертов с такими же показателями).
Либо сумма отдельных экспертных импульсов.

Таким образом, результат взаимодействия тел зависит от их массы и скорости движения.
Импульсом тела называют векторную физическую величину, равную произведению массы тела и его скорости.
p = mv.

Если увеличить количество текстов в неделю, импульс увеличится.

Parf писал(а):Если увеличить количество текстов в неделю, импульс увеличится.

При увеличении числа текстов в неделю:
А) увеличится число ушедших экспертов (сумма импульсов экспертов значительно уменьшится), и импульс в результате сильно уменьшится.
Б) часть экспертов из-за увеличения числа текстов запоздает с типированием (скорость замедлится), импульс дополнительно уменьшится.
В) часть экспертов начнет не успевать типировать все тексты, (примеры такие есть, среди них и Парф тоже), и процент протипированных приведет к уменьшению импульса.
Г) некоторых экспертов увеличение текстов может на первых порах активировать ускорить скорость (увеличится импульс), чтобы успеть протипировать все тексты, но надолго ли таких экспертов хватит, неизвестно.

Из моего опыта прежних текстовых конкурсов : три-четыре текста были потолком по скорости в десять дней, и максимумом по усталости при длительном типировании.

Если ты просмотришь данные по каждому эксперту, когда и сколько они тебе присылали типирований, то увидишь, что задержки и пропуски в типировании начались с увеличением числа текстов. Составь графики импульса эксперта и заметишь тенденции двойной (прямой и обратной) зависимости.

И при расчете импульсов не учитывай супер-скорости двух новых опоздавших типировщиков: они уникумы и импульс у них огромный (по скорости и массе протипированных прежних текстов), не попадающий под нормальное распределение обычных экспертов.

Зачем все эти абстрактные рассуждения, когда у меня есть цифры, показывающие, что импульс увеличивался при росте количества текстов.

Но меня не волнует импульс, мне важно среднее количество типировщиков на один текст. А оно падает.

Parf писал(а):Но меня не волнует импульс, мне важно среднее количество типировщиков на один текст. А оно падает.

Одна из причин, что число типировщиков падает, это усталость от типирования БОЛЬШОГО числа текстов в НЕДЕЛЮ. Чем больше ты увеличиваешь их число, тем чаще начинают пропускать тексты (ты сам стабильно не типировал 1 из 4-х и называл причину "нет времени типировать все").
Типирование не должно превращаться в массовое закидывание типировщиков текстами, особенно тех кто делает подробный анализ.
Остаются те эксперты, кто может типировать хоть 10 в неделю, но таких очень мало.
Литературное обсуждение с ростом числа текстов в неделю тоже упало. Сторонние читатели на форуме писали, что они их даже читать не усппевают.
Попробуй привлечь внимание к лит.обсуждению и разбору самих текстов, может и типировщики вернуться.

Проведи рекламную компанию для набора экспертов.

Prob-Irka писал(а):

Parf писал(а):Но меня не волнует импульс, мне важно среднее количество типировщиков на один текст. А оно падает.

Одна из причин, что число типировщиков падает, это усталость от типирования БОЛЬШОГО числа текстов в НЕДЕЛЮ.

Да. 5 текстов - для меня психологически сложно. Я делаю вывод: "Ой, там работы на несколько часов", и всё время откладываю эту работу.

Когда после очередного откладывания вспоминаю о том, что надо бы протипировать, уже воскресенье

3 текста психологически легче.

Да, соглашусь...

ENTP писал(а):Да. 5 текстов - для меня психологически сложно. Я делаю вывод: "Ой, там работы на несколько часов", и всё время откладываю эту работу.

Когда после очередного откладывания вспоминаю о том, что надо бы протипировать, уже воскресенье

3 текста психологически легче.

kurlemushe писал(а):Да, соглашусь.

Именно так и поясняли свою позицию "против публикации числа текстов более 3-х" многие типировщики в моих предыдущих текстовых конкурсах.
Причина звучала так: "Ой, текстов стало больше, я на пару дней типирование отложу, потом найду время".

Есть эксперты, сумевшие 40 текстов за две недели протипировать. Но остаться только с такими скорострельными типировщиками, -- это не выход.
Конкурсу нужны оба типировочных крыла: "ясновидящие скорострелки" и долго анализирующие "черепашки".

Меня сейчас беспокоит ситуация, как нам упросить постоянных экспертов ENTP и kurlemushe протипировать пропущенные тексты в режиме "открытого" типирования?

Главное, что сейчас беспокоит меня - как закончить конкурс поскорее.