Страница 1 из 215

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 8:58 pm
Marat
Коротенько о методе:
Чебурашки заполняют анкету, Ведущий их перетасовывает (25 анкет). Эксперты читают заполненные анкеты и каждый из них раздаёт всем по ТИМу и отправляет свои версии Ведущему в ЛС
Те же самые Чебурашки предоставляют 25 комплектов фотографий (по 10-15 с носа). Эксперты смотрят фотографии и каждый из них раздаёт всем по ТИМу и отправляет версии Ведущему в ЛС.
Потом Ведущий объявляет какая анкета соответствует какой фотографии и мы сравниваем ТИМы, определяем разброс, считаем сходимость, собираем статистику и раздаём ТИМы.Все анкеты и все фотографии будут доступны только участникам форума.
По окончании конкурса все анкеты и все фотографии будут удалены.
Конфиденциальность гарантируется.

Подробнее:
-На первой странице этой темы будут размещены анкеты от Чебурашек.
-Чебурашки берут анкету отсюда
-Чебурашки заполняют анкету, собирают фото и отправляют на мыло bosita@mail.ru
-Эксперты читают анкету заполненную чебурашками и отправляют to Bosita в ЛС от одной до четырёх версий, с указанием процента уверенности.
-Эксперты последовательно типируют все 25 анкет (20 чебурашек + 5 подставных)
далее...
-На первой странице этой темы будут размещены фотографии.
-Чебурашки берут требования к фотографиям отсюда
-Эксперты смотрят фотографии и отправляют сообщения to Bosita в ЛС от одной до четырёх версий, с указанием процента уверенности.
-Эксперты последовательно типируют все 25 чебурашек (20 чебурашек + 5 подставных)
далее...
-считаем и подводим итоги. Побеждает тот, чьи версии по анкете совпадут с версиями по фото.


-Ведущий Bosita
-Файл составил Гена
-С чебурашками связывался я

Эксперты, не стесняйтесь задавать вопросы. Вот тема для вопросов ТЫЦ.
Чебурашки, не пишите в эту тему (спалитесь)!

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 8:58 pm
Marat
Босите слать сообщения в таком формате
тема сообщения: анкета-1
текст сообщения:
1. ИСЭ 70%
2. СИИ 20%
3.ЭЛИ 6%
4. ЛЭИ 4%


от одной до четырёх версий с указанием процентов.
Если уверены в одной версии, то шлите одну.
Если у вас 4 версии без указания процентов, то будет засчитано по 25% за каждую из четырёх версий.

Конкурс пройдёт в 4 этапа:
1. типирование по анкетам.
2. типирование по фотографиям.

эти два этапа закончатся тогда, когда последний эксперт отправит версию на последнего чебурашку (через неделю после появления ссылки на последнюю партию фотографий).
3. Раскрытие соответствий анкет и фото (какое фото какой анкете соответствует) УЖЕ РАСКРЫТО
4. Ещё раз отправляем свои варианты ведущему в ЛС, на этот раз основываясь на материалах фото+анкета (срок - неделя, до 25 января включительно).
5. Обсуждение возможных ТИМов чебурашек (только на этом этапе можно открыто обсуждать ТИМы чебурашек). Этот этап продлится неделю.
6. оглашение результатов.

Конкурс прдошёл к концу. Графики результатов конкурса можете посмотреть ниже.
ИТОГИ:

Результаты отражают статистику по 15 экспертам и 10 персонажам.
Из статистики вычтены эксперты, не выславшие несколько версий, те чья доля случайного совпадения выше 40%, а также те кто участвовал вне конкурса.

Проверялась сходимость внутри группы и сходимость каждого эксперта с самим собой.
Средняя сходимость внутри группы, по анкетам = 12,65%
Средняя сходимость внутри группы, по фото = 11,78%
Средняя сходимость каждого с самим собой = 9,07

В результате выяснилось, что средняя сходимость внутри группы в 1,34 раза выше чем с собой.

1.gif
1.gif (9.14 КБ) Просмотров: 4600

2.gif
2.gif (17.65 КБ) Просмотров: 4599


Соответственно места распределились следующим образом:
1 место zyava за самосходимость на 10,25% выше случайности.
2 место romantic за самосходимость на 9,19% выше случайности.
3 место feres за самосходимость на 9,09% выше случайности.

:add17 :add6 :add17 :add6 :add17 :add6 :add17 :add6
УРА, ТОВАРИЩИ!

Теперь информация для чебурашек:

Ихтис писал(а):Данные без Гены

Изображение

1. По анкете - 349 версий, по 22 на 10 объектов, то есть по 2 на объект.
2. По фото - 407 версий, 25 на 10, 2-3 версии на объект.
3. По анкете+фото - 756 версий, 47 на 10, 4-5 на объект.
4. Окончательно - 225 версий, 14 на 10, 1-2 на объект.
Все материалы - 981 версий, 61 на 10, 6 на объект.

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 8:59 pm
Гена
concour_individual.zip
(74.49 КБ) Скачиваний: 79

Программка, с помощью которой нетерпеливый типировщик может подсчитать показатели своей "самосходимости" в перекрестном типировании.
Для запуска программки нужен MS Office не ниже 2002 г. в комплектации с MS Access.
Перед запуском программы надо отрегулировать уровень безопасности MS Office так, чтобы он позволял исполнять свои VBA-скрипты.

romantic_example_xls.zip
(59.69 КБ) Скачиваний: 61

Пример расчета для данных участника ''romantic" (первое место) в Excel.
Для обретения ясности, как именно считается. (только для случаев, где доля одного типа не превышает 50%).

zyava_example_xls.zip
(22.24 КБ) Скачиваний: 59

То де для участника 'zyava" (второе место)

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 8:59 pm
Гена
Для продвинутых пользователей.
competition_stage3_mdb.zip
(182.78 КБ) Скачиваний: 75

- Файл проекта и базы данных NS Access (формат 2002-2003 г), полностью открытый для просмотра и редактирования.
Содержит все данные до 3 этапа конкурса включительно (первичные версии типировщиков, соответствие парных материалов, расчеты на их основе).
Без инфографики. Версия не включает также 2 последних усовершенствования порядка расчета приведенного показателя сходимости.


Для большинства пользователей
income_xls.zip
(32.94 КБ) Скачиваний: 63

Файл учетной книги NS Excel (формат 2002-2003 г) Содержит исходные данные для расчетов (первичные версии типировщиков, соответствие парных материалов, списком участников).

outcome_xls.zip
(41.74 КБ) Скачиваний: 50

Эксель Файл с результатами расчетов и инфографикой.

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 8:59 pm
Гена
Принцип построения основного рейтинга. Рейтинг упорядочивает типировщиков по доле совпадения собственных версий между типированиями по фото и по анкете в парах материалов, отражающих одного типируемого.
Чтобы неравномерное распределение версий в ответах эксперта не давало ему преимуществ, все результаты приводятся к случаю равномерного распределения по 16 типом. Поэтому расчеты получаются достаточно сложные.

selfy.png
selfy.png (44.76 КБ) Просмотров: 4292


Расшифровка названий колонок

"НСС" - натуральная сходимость с собой в связанных парах материалов. Например, в 8 случаях из 10 типы версий совпали.

"В." - "вычет". Количество случаев (из числа типирований парных материалов), которое при имеющемся раскладе версий совпадают независимо от того, вслепую назначены эти версии или нет. Такое происходит, когда доля одного из типов в версиях превышает 50%. Например, если из 26 версий 20 - за тип ИЛЭ, то на оценку доли совпадений остается всего 26-20 = 6 случаев. Если оттипированных пар связанных материалов 10, то вычет составит 10 - 6 = 4. Все поля вправо от "Вычета" рассчитываются уже за вычетом этих наперед совпадающих случаев.

"ДСС" - "доля случайных совпадений". Вычисляется как доля совпадений при переборе всех комбинаций материалов "анкета против фото", кроме пар материалов, относящихся к одному типируемому. Например, когда есть версии по 13 анкетам и 13 фото, и по 10 из них - парные то всего перебирается 13 · 13 - 10 = 159 комбинаций. Чем разнообразнее и равномернее распределение типов в пакете версий, тем ниже доля случайных совпадений. В пределе - 1/16.

"ДНС" - "доля ожидаемых совпадений". Если Вычет = 0, то ДНС = НСС. При наличии вычета - меньше. Например, если вычет - 4, а НСС = 8/10, то ДНС = (8-4),(10-4) = 4/6. (Эти значения - в колонках "Усп."/"Оп.")
Усп. - "количество успехов" - неслучайных совпадений (за вычетом).
Оп. - "количество опытов" - протитипированных пар связанных материалов (за вычетом).

"ПДС" - приведенная доля совпадений. Ключевой показатель рейтинга. Вычисляется как [ДНС]^-(LOG(16)/LOG([ДСС])). Чем выше ДСС отн. 1/16, тем существеннее уменьшается ДНС.

ПДС - показатель надежности одного бинарного различения. Точнее говоря, 4-х бинарных различений, как при диагностике соционического типа (1 из 16). В первой строке рейтинга - ситуация, когда ПДС оказывается в 4 раза ниже исходной НСС. Это вызвано резко неравномерным распределением типов. "НГ" - нижняя граница интервала 95%-го доверия для ПДС. Вычисляется по формуле обратного бета-распределения (биномиальная модель случайности). В первой строке рейтинга ситуация, когда НГ с 50 раз ниже исходной НСС. Это вызвано как неравномерным распределением типов, так и ограниченностью числа опытов (учитывается всего 6). Когда НГ ниже 1/16, нет оснований признавать результат отличным от чисто случайного.

"Неопр." - неопределенность доли совпадений, вызванная неравномерностью распределения типов и поправкой.

Оформление серым шрифтом - типировщики вне конкурса.
Черная горизонтальная линия на диаграмме - уровень чистой случайности (1/16).

Рассмотрим порядок расчетов приведенного показателя на примере Гены (1-я строка списка).

Распределение версий:
Анкета Фото
ИЛЭ 10 10
ИЭИ 2 1
ИЭЭ 1 1
СЛИ 1

В наборе из 26 материалов перемешаны 10 пар материалов о 10-ти типируемых. В моих типированиях в 8 из 10 пар версии совпали.
Но поскольку в моих типированиях всего 6 версий - не ИЛЭ, то из 10 пар в (10-6)=4 версии будут совпадать при любом раскладе. Поэтому эти 4 пары следует исключить из расчета показателя доли совпадений.
Остается 10-4=6 пар и 8-4=4 совпадений. Соответствующая доля совпадений: 4/6=0,6667

Эти доли совпадений следует сравнить с долей случайных совпадений версий между анкетами и фото.
Всего таких комбинаций на 13*13-10=159, но в моем случае по 4 типирования удаляются, поэтому остается (13-4)*(13-4)-9*9-10=71 комбинация.
количество совпадающих считается перемножением значений в одной строке таблицы
Анкета Фото
ИЛЭ 6 6 =36
ИЭИ 2 1 =2
ИЭЭ 1 1 =1
СЛИ 1
Из них = неслучайных совпадений: 8
Итого, 36+2+1-8 = 31 комбинаций. Доля случайных совпадений 31/71=0,437

Чтобы привести полученное соотношений частот неслучайных и случайных совпадений к идеальному случаю равномерного распределения 16-ти типов, выполняется расчет следующего показателя, по которому и строится рейтинг:

Приведенная доля совпадений ПДС = 0,6667^(-log(16)/log(0,437)) - 0,257.

Оценка частоты попадания в тип рассчитывается из (оптимистического) допущения о равенстве погрешностей диагностики (по анкете и фото) и их независимости.

ЧКП - (1+SQR(15*(16*ПДС-1))/16

В случае Гены это 49%.

Более подробно пример разобран в эксель-файле

gena_example_xls.zip
(20.08 КБ) Скачиваний: 47


Итого, в данном случае корректирующая формула занизила фактическую долю совпадений почти в 4 раза.
Квазипопадения. Погрешность моей диагностики по фото значительно ниже, чем по анкете. Во всяком случае, после сопоставления материалов я обнаружил ошибки в своих типированиях по анкете и не обнаружил - в типированиях по фото. Если считать, что все типирования по фото верные, то оценка ЧКП занижает мою долю попаданий по фото более, чем в двое, а по анкете - почти вдвое. Разумеется, такие значительные искажения возникают только в случае очень значительной неравномерности распределения типов.

Второй рейтинг упорядочен по убыванию общей средней сходимости типировщика с группой (по фото и по анкете), в самой диаграмме общая сходимость не показана, только отдельно по фото и по анкетам. Можно видеть, что почти у всех типировщиков доля совпадений с собой ниже, чем доля совпадений с другими. Это говорит о наличии у участников форума некоторого общего мнения ("совместного знания"), но оно разное по фотам и по анкетам.

groupy.png
groupy.png (55.63 КБ) Просмотров: 4339


Колонки:
"Сам" - сходимость с собой между анкетой и фото
"Анкета" - сходимость с остальными по анкетам
"Фото" - сходимость с остальными по фото
"После" - сходимость с остальными после устранения противоречивости версий между анкетой и фото
"А+Ф" - =("Анкета"+"Фото")/2 (для упорядочивая списка и для расчетов соотношений)
"Рост" - ="После"/"А+Ф" (во сколько раз улучшилась сходимость после устаранения противоречивости своих версий
"Групп" - ="А+Ф"/"Сам" (во сколько раз сходмиость с группой выше, чем сходимость с самим собой).
"С/Г" = "Сам"/"А+Ф" = во сколько раз собственная сходимость выше сходимости с группой

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 10:09 pm
Гена
Сходимость в парах типировщиков. Эти диаграммы есть и в эксель-файле "outcome".

До оглашения соответствия половинчатых материалов.
На диагонали - сходимость типировщика с собой.
Выше-левее диагонали - сходимость по анкетам.
Нижее-правее диагонали - сходимость по фото.
convergence.png
convergence.png (78.64 КБ) Просмотров: 4335


Сходимость после исправления противоречивых версий.
post_convergence.png
post_convergence.png (22.65 КБ) Просмотров: 4335


Сходимость с самооценкой типирующихся.
convergence_with_self-concept.png
convergence_with_self-concept.png (93.65 КБ) Просмотров: 4303


Разница средних между анкетой и фото (22% против 10%) показывает, насколько типирование по анкете вносит в результаты погрешность, вызванную тем, что типировщик ведется на самооценку типируемого.

Исходные данные
Анкета Фото Тип Вес
1 7 ЛСЭ 25%
1 7 ИЛИ 25%
1 7 ИЛЭ 25%
1 7 ЛИИ 25%
2 4 ЭИИ 55%
2 4 ИЭИ 15%
2 4 СЛИ 15%
2 4 ЭИЭ 15%
4 5 ИЛЭ 100%
8 2 ИЭЭ 50%
8 2 ЭИЭ 25%
8 2 ЭИИ 25%
9 11 ИЛИ 30%
9 11 ИЛЭ 30%
9 11 ЛСИ 20%
9 11 ЛИИ 20%
10 6 СЛИ 75%
10 6 ИЛИ 15%
10 6 ИЛЭ 10%
5 0 ИЭИ 100%

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 10:09 pm
Гена
Типируемые.
Главный вывод из распределения результатов: Все версии являются случайными и не заслуживают доверия.

leading_versions.png
leading_versions.png (16.58 КБ) Просмотров: 4417


Распределение версий по каждому типируемому.

Парные материалы.
distrib_even.png
distrib_even.png (141.8 КБ) Просмотров: 4411


Непарные материалы.
distr_odd.png
distr_odd.png (30.23 КБ) Просмотров: 4411

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 10:10 pm
Гена
Следующая диаграмма демонстрирует потенциальные возможности теста с типированием парных материалов.
Имеющиеся результаты эксперимента, из ограниченности объема выборки, не являются статистически значимыми, поэтому не убедительны.
rating2.png
rating2.png (65.8 КБ) Просмотров: 4315

Принцип построения приведенного ниже рейтинга.
1. Выбираются типировщик, чьи версии наиболее самосогласованы (по анкете и фото). В данном случае это Гена.
2. Из версий выбранного типировщика выбираеются те, что совпали для анкеты и фото. В данном случае таких 8.
Эти версии принимаются за вероятно истинные. Во всяком случае, это наиболее надежные версии из всех, что есть в результатах теста.
3. Для всех типировщиков вычисляется доля совпадения с наиболее надежными версиями.

Тестирование формул предсказания вероятности попадания в тип.

predictions.png
predictions.png (25.35 КБ) Просмотров: 4276

Расшифровка названий колонок
"ПДС" - приведенная доля совпадений с собой. Ключевой показатель рейтинга.
"K(Q)" = 1+14*16/15*(1-[ПДС]) - поправка, учитывающая, что ошибки независимы лишь при доле совпадений 1/16. (На практике при доле совпадений, близкой к 1, вся ошибка идет в тип маски).
"Попад." - прогноз доли попаданий в воображаемый истинный тип по величине ПДС, основанный на допущении, что погрешности распознавания типа по фото и анкете равны по величине
Формула вычисления - решение квадратного уравнения: (1+КОРЕНЬ(K(Q)*((K(Q)+1)*[ПДС]-1)))/(K(Q)+1).
"А+Ф" - фактическая доля совпадений с наиболее надежными версиями, выявленными экспериментом.
"Попад2." - прогноз доли попаданий в воображаемый истинный тип по величине "Попад.", исходя из предположения, что, имея возможность сопоставить два не совпавших диагноза,
полученные на половинчатых материалах, типировщик с вероятностью [Попад]^(1/4) выберет правильный диагноз (если он был в А+Ф).
Формула: "Попад2." = [Попад]*([Попад] + 2*(1-[Попад])*[Попад]^(1/4)))
Величина [Попад]^(1/4) - вероятность правильного выбора при бинарном различении с избирательностью, продемонстрированной на половинтачых материалах.
"После" - фактическая доля совпадений с наиболее надежными версиями, выявленными экспериментом, после исправления не совпавших версий.

Предполагается, что оценка "Попад." предсказывает поведение "А+Ф", а "Попад2." - "После". Наилучшее согласование наблюдается для Аллиты.

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 10:10 pm
Гена
Reserved 7

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 10:31 pm
Bosita
Анкеты
анкета1 Версии принимаются до 25 ноября.
анкета2 Версии принимаются до 1 декабря.
анкета3 Версии принимаются до 2 декабря.
анкета4 Версии принимаются до 5 декабря.
анкета5 Версии принимаются до 7 декабря.
анкета6.doc анкета6.rtf Версии принимаются до 9 декабря.
фото1 Версии принимаются до 9 декабря.
фото2 Версии принимаются до 10 декабря.
фото3 Версии принимаются до 11 декабря.
анкета7 Версии принимаются до 12 декабря
анкета8 Версии принимаются до 14 декабря
фото4 Версии принимаются до 17 декабря.
фото5 Версии принимаются до 18 декабря.
фото6 Версии принимаются до 19 декабря.
фото7 Версии принимаются до 21 декабря.
фото8 Версии принимаются до 22 декабря.
анкета9 Версии принимаются до 23 декабря
анкета10 Версии принимаются до 25 декабря
анкета11 Версии принимаются до 27 декабря
анкета12 Версии принимаются до 16 января
фото9 Версии принимаются до 16 января
фото10 Версии принимаются до 16 января
фото11 Версии принимаются до 16 января
фото12 Версии принимаются до 16 января
фото13 Версии принимаются до 16 января
анкета13 Версии принимаются до 16 января

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Ср ноя 12, 2014 10:31 pm
Bosita
РЕЗУЛЬТАТЫ
С одной стороны, с точки зрения статистики, результаты каждого из экспертов не превысили "порога случайного тыка". И наверное, было бы правильно никому не присуждать призовые места.
Но! Во-первых, это был пробный конкурс, возможно, не хватило количества чебурашек для развернутой статистики;
конкурс был длинный, долгий, не из самых увлекательных и было бы некрасиво по отношению к участвующим оставить без должного "поощрения" экспертов, показавших лучший результат.

Поэтому Награждение будет :)
Да, и поясню своё решение.
Основываться буду на таблицах Гены, поскольку таблица Ихтис не учитывает проценты(на учёт которых изначально была основная ставка).
В призовые места Гену я включать не буду. Объясню почему:

1. Настолько большой процент одного ТИМа среди чебурашек, мягко говоря, маловозможен;
2. Только он один увидел такое удивительное количество Донов (больше ни одним экспертом не подтверждается такая догадка);
3. Как минимум троих он затипировал в Доны необоснованно (троих чебурашек я знаю, они кто угодно, только не Доны, в том числе и я);
4. При том, что Гена почти всех затипировал в Доны, его же система подсчетов (которая по его словам должна была пресекать подобные выходки) поставила его на первое место.
5. Да и надо признать, что несмотря ни на что, награждая сейчас Гену, мы просто поощрим экспертов в следующий раз выбирать один-два ТИМа для максимальной самосходимости. :no: тогда в чем смысл конкурса??

Ну а теперь о приятном :Yahoo!: :)
Изображение

Первое место - Zyava
Второе место - Romantic
Третье место - Feres

Выражаю благодарность Гене за проделанный труд во имя общего дела :friends:

Ура, товарищи! :add17 :add17 :add17

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Чт ноя 13, 2014 12:08 am
Prob-Irka
Если заметите случайно спалившегося Чебурашку, то скиньте пожалуйста ссылку на его пост мне в Личку. Я (как модераторша) могу стереть этот пост, чтобы его заметило поменьше экспертов. Для конкурса важен каждый не спалившийся чебурашка.

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Чт ноя 13, 2014 3:22 am
Мэйпл
Эксперты читают анкету и анонимно отправляют to Bosita

Что значит анонимно отправляют?

PS. Bosita нас выручила! Ура :)

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Вт ноя 18, 2014 10:32 pm
cooler462
первый пошел. апну тему, а то в списке активных ее нет.

Конкурс перекрёстного типирования. Анкета vs Фото.

СообщениеДобавлено: Вт ноя 18, 2014 10:44 pm
vselennaya
Подпишусь :)