Найден метод определения качества тестов

Обсуждение соционических экспериментов

Найден метод определения качества тестов

Сообщение Светлана_ » Пт янв 02, 2015 7:46 am

Результаты исследования сходимости между некоторыми соционическими тестами

Эксперименты, проекты. А результаты?

И наконец, обработали данные и получили что-то весьма интересное. В 2013-2014 году мы проводили разные эксперименты с типированиями всевозможными тестами. Сравнивали вдоль и поперек. И что же получили?
А вот что.

Первое. Сходимость диагноза ТИМа нескольких основных тестов лежит в переде 40-50%. Типирование по текстам сайта "Типодром" очень слабое. Этот тест отвалился.

Второе. Далее мы предприняли попытку более детального сравнения. А , именно, диагностирование отдельных функций. Эту задачу можно было решить только с помощью тех тестов, которые на выходе дают не только ТИМ, но функциональный профиль. Таких тестов в интернет пространстве всего три: тест Мегедь-Овчарова, Гуленко и Таланова. Сравнивая функциональные профили этих тестов, мы получили корреляцию в области 0.4.

Далее сравнивалась диагностика для каждой функции в отдельности. Для семи функций эти три теста коррелируют между собой примерно 0.3-0.4, а по белой сенсорике диагностика резко различается. То есть семь функций имеют примерно одинаковое одинаковое смысловое содержание у авторов тестов, а одна функция - разное.

Попарная корреляция по БС между тестами Таланов и Гуленко, Мегель-Овчарова даже имеет отрицательный коэффициент. Это свидетельствует о кардинальных отличиях смыслового содержания по этой функции у авторов этих тестов.

Напрашивается вопрос: не в этой ли функции заложены основные разногласия между социониками?

Обработка данных по эксперименту сравнения пяти соционических тестов (ССТ).

Сбор данных по эксперименту проводился с ноября 2013 по март 2014 года. За это время было прислано 238 анкет от анонимных респондентов. Они предоставили результаты типирования пятью свободными тестами и заполнили дополнительно два опросника (авторы В.В. Гуленко и В.Л. Таланов), которые были обработаны автором проекта.

В качестве сравнения использовались 5 свободных опросника и два эксклюзивных:

1)Тест Мегедь-Овчарова для определения акцентов характера от 2013 года (80 вопросов).

2)Тест Ферзена (40 вопросов).

3) Текстовый тест с сайта «Типодром». Социотип по тексту.

4)Тест В.Воробьева (28 вопросов).

5) Тест Гуленко на ТИМ (68 вопросов).

6) Тест Гуленко на функциональный профиль (ФАП-80) от 2013 года (80 вопросов).

7) Тест Таланова SST-584 (584 вопроса).

diagramma1.jpg
diagramma1.jpg (22.43 КБ) Просмотров: 3258

Результаты этого этапа показывают уровень совпадений в диапазоне от 9 до 50% при общем среднем 46%. На этом этапе тест сайта «Типодром» слишком сильно отличается от остальных тестов, чем показывает, что тест еще «сырой». В данной выборке тестов «Типодром» оказался самым слабым. Результат в 46% является очень хорошим.

Сходимость функционального профиля

Предыдущий этап констатировал наличие закономерности в типировании разными тестами. И хотя сходимость 40-50% чисто математически считается высокой, психологически такой результат не удовлетворяет пользователя. Важно разобраться в деталях, как получается окончательная версия ТИМа. Поэтому в данном эксперименте использовались тесты, дающие не просто готовый ТИМ, а раскладку по функциям. Такую информацию дают три известных теста: тест Мегедь-Овчарова, Тест Гуленко на функциональный профиль (ФАП) и Тест Таланова. В статье принимались сокращенные названия тестов: тест Мегедь-Овчарова (М), тест ФАП Гуленко (Ф) и тест Таланова (Т).

diagramma3.jpg
diagramma3.jpg (22.47 КБ) Просмотров: 3258

Диапазон изменения средних корреляций по функциям лежит от -0.06 до +0.49. Причем белая сенсорика резко выделяется своей отрицательной корреляцией. Остальные же функции имеют корреляцию в узком диапазоне 0.35-0.49. Этот результат дает основание полагать, что по всем функциям, кроме S, создатели тестов имеют некоторое сходное представление. И это представление вложили в свои тесты. С белой сенсорикой дело обстоит иначе.

Авторы по-разному понимают смысл этой функции или неосознанно вложили в тест разный смысл. Так или иначе, намеренно или случайно, однако в исследуемых опросниках смысл этой функции разный. Причем смысл БС, вкладываемый Гуленко и Мегедь в чем-то сходен, а БС Таланова кардинально отличается от первых двух.

Заключение


1)Данное исследование явно показывает детали сходства и различия представлений соционических понятий разными авторами.

2)Средняя сходимость окончательных диагнозов ТИМа между авторскими тестами 46%.

3)Средняя попарная корреляция диагностирования отдельных функций 0,35. Причем 7 из 8-ми функций коррелируют в диапазоне 0,36-0,49, что указывает на явную смысловую связь.

4)Диагностирование присутствия белой сенсорики тестом Таланова имеет отрицательную корреляцию с тестами Гуленко ФАП и Мегедь-Овчарова. Это говорит о том, что смысловое значение этого соционического понятия сильно отличается.

4)При планировании межшкольных соционических экспериментов выборка испытуемых имеет решающее значение. Если в группе испытуемых оказывается много белосенсорных, то сходимость диагнозов будет минимальная. Уменьшение же количества белосенсорных приведет к более оптимистичным результатам.

Автор Светлана Сибирская.

Статья полностью http://grafol.ru/swet/CCT-FAP.html


Вторая часть.
Исследуем функциональный профиль


Для исследования сходимости функционального профиля использовались, способные выдавать детальный функциональный профиль. Такими свойствами обладают только три теста: тест Мегедь-Овчарова, тест Гуленко на функциональный профиль (ФАП) и тест Таланова. В статье принимались сокращенные названия тестов: тест Мегедь-Овчарова (М), тест ФАП Гуленко (Ф) и тест Таланова (Т).

Исследование внутренней корреляции теста показало, что тест Мегедь-Овчарова имеет высокую вероятность ошибочности. По тесту Гуленко вероятность ошибиться слабая, а по тесту Таланова - вероятность ошибочности самая низкая.
подробности тут
http://grafol.ru/swet/cct_rezult.html
Последний раз редактировалось Светлана_ Сб янв 17, 2015 11:00 pm, всего редактировалось 4 раз(а).
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Selfhood » Пт янв 02, 2015 9:32 am

Так Мегедь же всех в Гамлеты типирует! :lol: Или уже нет? :(
Аватара пользователя
Selfhood
Старожил
Старожил
 
Сообщения: 5715
Зарегистрирован: Вт дек 25, 2007 10:16 pm
Откуда: Республика кровавая и тюремная
Медали: 3
Пол: Мужской
Соционический тип: Робеспьер
Тип по психе-йоге: Андерсен (ЭЛВФ)

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Пт янв 02, 2015 9:38 am

Selfhood писал(а):Так Мегедь же всех в Гамлеты типирует! :lol: Или уже нет? :(

Я не знаю кого она куда типирует. Это результат типирования тестами, а не живыми людьми.
Можно считать, что типируют авторы, через вложенное представление в авторские тесты. И результат получился таким.
У Мегедь и Гуленко по белой сенсорике больше согласия, чем у Таланова и Гуленко, и Таланова и Мегедь. По остальным же функциям согласия больше.Что бы это значило?
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Selfhood » Пт янв 02, 2015 9:40 am

Возможно, у Мегедь меньше отсебятины в теории, она просто - как бы это лучше выразиться - переоформила Гуленко.
Аватара пользователя
Selfhood
Старожил
Старожил
 
Сообщения: 5715
Зарегистрирован: Вт дек 25, 2007 10:16 pm
Откуда: Республика кровавая и тюремная
Медали: 3
Пол: Мужской
Соционический тип: Робеспьер
Тип по психе-йоге: Андерсен (ЭЛВФ)

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Пт янв 02, 2015 9:45 am

Selfhood писал(а):Возможно, у Мегедь меньше отсебятины в теории, она просто - как бы это лучше выразиться - переоформила Гуленко.

Предположение взрывоопасное.
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение ip_armad » Вт янв 06, 2015 8:17 pm

4)Диагностирование присутствия белой сенсорики тестом Таланова имеет отрицательную корреляцию с тестами Гуленко ФАП и Мегедь-Овчарова. Это говорит о том, что смысловое значение этого соционического понятия сильно отличается.


Светлана_, а с какой другой функцией чаще всего путают значение БС? С интуицией? (там корреляция Мегедь с Талановым тоже не очень серьезная)
Аватара пользователя
ip_armad
Активист
Активист
 
Сообщения: 418
Зарегистрирован: Чт окт 22, 2009 12:55 am
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Августин (ЛЭФВ)

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Ср янв 07, 2015 2:50 am

ip_armad писал(а):
4)Диагностирование присутствия белой сенсорики тестом Таланова имеет отрицательную корреляцию с тестами Гуленко ФАП и Мегедь-Овчарова. Это говорит о том, что смысловое значение этого соционического понятия сильно отличается.


Светлана_, а с какой другой функцией чаще всего путают значение БС? С интуицией? (там корреляция Мегедь с Талановым тоже не очень серьезная)

Это не проверялось. Просто вычислялась корреляция.
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение quarz » Ср янв 07, 2015 11:42 am

А у кого, получается, самая правильная БС (понятие)?

Работа интересная и важная, спасибо :add25
Если ты ждал подходящего момента... это был он.
Аватара пользователя
quarz
Гуру
Гуру
 
Сообщения: 9485
Зарегистрирован: Пн авг 22, 2011 11:14 am
Медали: 6
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Паскаль (ЛЭВФ)
Темперамент: Меланхолик
Профессия: корабль в бутылке

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Ср янв 07, 2015 3:57 pm

Хочу сказать, что когда вычисляется корреляция, то сравнивается весь ряд из испытуемых. Такая своеобразная гребенка из чисел. И эти гребенки сравниваются целиком по всем 250 анкетам. Если пики и впадины гребенки имеют сходство, то корелляция положительная, если совсем сходства нет, то отрицательная.

Поэтому детализация здесь невозможна. И вопрос с какой функцией БС путают в данном случае из другой плоскости.
Это все равно, что спрашивать об одном зубе гребенки.

Вопрос правильная БС или не правильная, здесь также не решается. Вывод только один: он в чем-то разный. А вот в чем разный. Это надо дальше копать. Взять статьи Таланова по функциям. есть такая на его сайте. Затем взять публикации Гуленко и Мегедь и попробовать сравнить. Но и это сравнение не даст точный ответ.

По моему разумению смысл в статейных формулировках может различаться со смыслом, вложенным (неосознанно) в вопросы тестов-анкет. Хотя сравнение публикаций также даст что-то.
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение ip_armad » Ср янв 07, 2015 10:09 pm

Светлана_ писал(а):когда вычисляется корреляция, то сравнивается весь ряд из испытуемых. Такая своеобразная гребенка из чисел. И эти гребенки сравниваются целиком по всем 250 анкетам. Если пики и впадины гребенки имеют сходство, то корелляция положительная, если совсем сходства нет, то отрицательная.

Поэтому детализация здесь невозможна. И вопрос с какой функцией БС путают в данном случае из другой плоскости.
Это все равно, что спрашивать об одном зубе гребенки.

А почему? Можно сделать так: отсортировать весь ряд испытуемых по величине различия БС в анкетах Таланова и Мегедь (значения функций ведь нормируются одинаково?), а потом взять лишь верхнюю часть выборки (к примеру, 1/3, где БС максимально отличается) и вычислить те же корреляции только для нее. :) Потом сделать то же с нижней частью выборки (где значения БС близки) и сравнить результаты.

Я не гарантирую, что получится какой-то конкретный результат, но это первое, что сделал бы, если у меня были такие данные.))

Можно и чисто визуально посмотреть на отсортированную таблицу, не вычисляя ничего, но лишь заметить, к примеру, если какие-то ТИМы встречаются чаще прочих в верхней части, где наибольший разнобой по БС.
Аватара пользователя
ip_armad
Активист
Активист
 
Сообщения: 418
Зарегистрирован: Чт окт 22, 2009 12:55 am
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Августин (ЛЭФВ)

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Чт янв 08, 2015 12:11 am

Да. можно, но я не сделала так.

А вот на скорую руку сделала корреляцию каждой функции с каждой для пары ФАП-Тест Таланова. Вот посмотрите.
корреляциТМ=.jpg
корреляциТМ=.jpg (51.51 КБ) Просмотров: 3106

По оси абсцисс функции теста Гуленко ФАП. Столбики в блоке - это функции теста Таланова.
Здесь показаны корреляции каждой функции с каждой, то есть например первый блок столбиков показывает корреляцию ЧЛ ФАП со всеми функциями теста Таланова (ЧЛ-ЧЭ-ЧС-ЧИ-БЛ-БЭ-БС-БИ). Мы видим, что ЧЛ-ФАП положительно коррелирует с ЧЛ, ЧС, БЛ теста Таланова и отрицательно с остальными. Здесь знАчимая корреляция ( выше 0.4 только с ЧЛ и ЧС.

Блок по БС (белая сенсорика) показывает малознАчимую ( меньше 0.3) положительную корреляцию с Т=ЧЭ, Т=ЧИ, Т=БЭ,Т=БИ и отрицательную корреляцию с остальными.

В идеале знАчимая положительная корреляция должна быть только между одноименными функциями, в реальности же картина получилась более сложная.
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение ip_armad » Чт янв 08, 2015 9:01 pm

Да, картина интересная. И вот что подозреваю:

1) По тесту Гуленко функции, очень вероятно, не ортогональны друг к другу;
2) У талановского теста тоже есть потенциальный косяк - часть вопросов, вносящих вклад в одну функцию, на самом деле касаются слабости противоположной ф-ции (такие вопросы были особо заметны как раз для БС, насколько я помню). В тесте Гуленко такого нет, откуда и разное представление функций;
3) Наконец, выборка респондентов может быть сильно асимметрична по ТИМам, откуда вылезут и "цветные шумы" в корреляциях.

Еще, на картинке я бы обратил внимание тоже на 3 типа зависимости по боковым корреляциям:

* гуленковские ЧЛ, ЧС, ЧЭ антикоррелируют со всеми белыми талановскими функциями;
* гуленковские БЭ, БС, БИ вместе коррелируют со всей талановской интуицией-этикой (и антикоррелируют с логикой и ЧС);
* гуленковские ЧИ, БЛ - сопоставимая корреляция соотв. с талановской интуицией и логикой обоих цветов.

Поэтому склонен думать, что здесь вылез наружу какой-то робо-доноцентризм в представлениях функций по Гуленко. Но это так, заметки по первому впечатлению.
Аватара пользователя
ip_armad
Активист
Активист
 
Сообщения: 418
Зарегистрирован: Чт окт 22, 2009 12:55 am
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Августин (ЛЭФВ)

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Пт янв 09, 2015 8:04 am

Для чистоты анализа интересно посмотреть внутреннюю корреляцию тестов. То есть корреляцию каждой функции с каждой внутри самого теста.
Вот выборка для трех тестов : Мегель-Овчарова, ФАП Гуленко и Таланова.
мегедь.jpg
мегедь.jpg (47.18 КБ) Просмотров: 3075

Гуленко.jpg
Гуленко.jpg (40.33 КБ) Просмотров: 3075

Таланов.jpg
Таланов.jpg (39.02 КБ) Просмотров: 3075
Последний раз редактировалось Светлана_ Пт янв 09, 2015 8:23 am, всего редактировалось 1 раз.
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение Светлана_ » Пт янв 09, 2015 8:17 am

Диаграммы показывают ортогональность выявления функций. В идеале корреляция между одноименными функциями должна быть единица, а между разноименными отрицательная.

Здесь, чем меньше корреляция между разноименными функциями, тем лучше. Высокая корреляция показывает схожесть, подобие, наложение смыслов разных функций.

Низкая корреляция показывает большую отграниченность разных функций друг от друга.

Тест Мегедь-Овчарова показывает слишком высокую корреляцию между разноименными функциями, следовательно наложение, спутывание слишком велико. У теста ФАП Гуленко лучше отрабоатаны смыслы. Здесь меньшая внутренняя корреляция и , поэтому бОльшая отграниченность одних функций от других. В тесте Гуленко хоть маленькая корреляция, но всё же положительная. Тест Таланова показывает еще бОльшую отграниченность ортогональных функций. Здесь есть даже отрицательная корреляция.
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Белая сенсорика в загоне или результат эксперимента ССТ

Сообщение ip_armad » Сб янв 10, 2015 1:10 am

Светлана_ писал(а):В идеале корреляция между одноименными функциями должна быть единица, а между разноименными отрицательная.

В идеале, сумма корреляций разноименных ф-ций должна быть равна нулю. Поэтому проверьте нормировку функций для тестов Мегедь и Гуленко, там может где-то взято не то среднее значение.

(Кстати, сейчас задумался, как правильно нормировать функции - относительно среднему для каждой из них по всей выборке, или относительно среднему 8-ми функций для конкретного испытуемого? Ведь в соционике ТИМ отражает не столько, к примеру, как соотносится ЧЛ Васи с ЧЛ Петей, а как соотносятся все функции Васи друг с другом. Какая-то функция может быть сильнее среднего по выборке, но слабее противоположной ф-ции того же человека. Так что, возможно, придется учитывать и это. Но это так, общетеоретическое, вклад в корреляции здесь скорее всего малозначим из-за усреднения по выборке.)
Аватара пользователя
ip_armad
Активист
Активист
 
Сообщения: 418
Зарегистрирован: Чт окт 22, 2009 12:55 am
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Августин (ЛЭФВ)

След.

Вернуться в Эксперименты

Кто сейчас на конференции

Зарегистрированные пользователи: cooler462, GoGo [Bot], Google [Bot], Google Search Appliance, Joker, STOPYCH, vadimr, Yandex 3.0 [Bot], Yandex [Bot]