Страница 1 из 3

Найден метод определения качества тестов

СообщениеДобавлено: Пт янв 02, 2015 7:46 am
Светлана_
Результаты исследования сходимости между некоторыми соционическими тестами

Эксперименты, проекты. А результаты?

И наконец, обработали данные и получили что-то весьма интересное. В 2013-2014 году мы проводили разные эксперименты с типированиями всевозможными тестами. Сравнивали вдоль и поперек. И что же получили?
А вот что.

Первое. Сходимость диагноза ТИМа нескольких основных тестов лежит в переде 40-50%. Типирование по текстам сайта "Типодром" очень слабое. Этот тест отвалился.

Второе. Далее мы предприняли попытку более детального сравнения. А , именно, диагностирование отдельных функций. Эту задачу можно было решить только с помощью тех тестов, которые на выходе дают не только ТИМ, но функциональный профиль. Таких тестов в интернет пространстве всего три: тест Мегедь-Овчарова, Гуленко и Таланова. Сравнивая функциональные профили этих тестов, мы получили корреляцию в области 0.4.

Далее сравнивалась диагностика для каждой функции в отдельности. Для семи функций эти три теста коррелируют между собой примерно 0.3-0.4, а по белой сенсорике диагностика резко различается. То есть семь функций имеют примерно одинаковое одинаковое смысловое содержание у авторов тестов, а одна функция - разное.

Попарная корреляция по БС между тестами Таланов и Гуленко, Мегель-Овчарова даже имеет отрицательный коэффициент. Это свидетельствует о кардинальных отличиях смыслового содержания по этой функции у авторов этих тестов.

Напрашивается вопрос: не в этой ли функции заложены основные разногласия между социониками?

Обработка данных по эксперименту сравнения пяти соционических тестов (ССТ).

Сбор данных по эксперименту проводился с ноября 2013 по март 2014 года. За это время было прислано 238 анкет от анонимных респондентов. Они предоставили результаты типирования пятью свободными тестами и заполнили дополнительно два опросника (авторы В.В. Гуленко и В.Л. Таланов), которые были обработаны автором проекта.

В качестве сравнения использовались 5 свободных опросника и два эксклюзивных:

1)Тест Мегедь-Овчарова для определения акцентов характера от 2013 года (80 вопросов).

2)Тест Ферзена (40 вопросов).

3) Текстовый тест с сайта «Типодром». Социотип по тексту.

4)Тест В.Воробьева (28 вопросов).

5) Тест Гуленко на ТИМ (68 вопросов).

6) Тест Гуленко на функциональный профиль (ФАП-80) от 2013 года (80 вопросов).

7) Тест Таланова SST-584 (584 вопроса).

diagramma1.jpg
diagramma1.jpg (22.43 КБ) Просмотров: 1340

Результаты этого этапа показывают уровень совпадений в диапазоне от 9 до 50% при общем среднем 46%. На этом этапе тест сайта «Типодром» слишком сильно отличается от остальных тестов, чем показывает, что тест еще «сырой». В данной выборке тестов «Типодром» оказался самым слабым. Результат в 46% является очень хорошим.

Сходимость функционального профиля

Предыдущий этап констатировал наличие закономерности в типировании разными тестами. И хотя сходимость 40-50% чисто математически считается высокой, психологически такой результат не удовлетворяет пользователя. Важно разобраться в деталях, как получается окончательная версия ТИМа. Поэтому в данном эксперименте использовались тесты, дающие не просто готовый ТИМ, а раскладку по функциям. Такую информацию дают три известных теста: тест Мегедь-Овчарова, Тест Гуленко на функциональный профиль (ФАП) и Тест Таланова. В статье принимались сокращенные названия тестов: тест Мегедь-Овчарова (М), тест ФАП Гуленко (Ф) и тест Таланова (Т).

diagramma3.jpg
diagramma3.jpg (22.47 КБ) Просмотров: 1340

Диапазон изменения средних корреляций по функциям лежит от -0.06 до +0.49. Причем белая сенсорика резко выделяется своей отрицательной корреляцией. Остальные же функции имеют корреляцию в узком диапазоне 0.35-0.49. Этот результат дает основание полагать, что по всем функциям, кроме S, создатели тестов имеют некоторое сходное представление. И это представление вложили в свои тесты. С белой сенсорикой дело обстоит иначе.

Авторы по-разному понимают смысл этой функции или неосознанно вложили в тест разный смысл. Так или иначе, намеренно или случайно, однако в исследуемых опросниках смысл этой функции разный. Причем смысл БС, вкладываемый Гуленко и Мегедь в чем-то сходен, а БС Таланова кардинально отличается от первых двух.

Заключение


1)Данное исследование явно показывает детали сходства и различия представлений соционических понятий разными авторами.

2)Средняя сходимость окончательных диагнозов ТИМа между авторскими тестами 46%.

3)Средняя попарная корреляция диагностирования отдельных функций 0,35. Причем 7 из 8-ми функций коррелируют в диапазоне 0,36-0,49, что указывает на явную смысловую связь.

4)Диагностирование присутствия белой сенсорики тестом Таланова имеет отрицательную корреляцию с тестами Гуленко ФАП и Мегедь-Овчарова. Это говорит о том, что смысловое значение этого соционического понятия сильно отличается.

4)При планировании межшкольных соционических экспериментов выборка испытуемых имеет решающее значение. Если в группе испытуемых оказывается много белосенсорных, то сходимость диагнозов будет минимальная. Уменьшение же количества белосенсорных приведет к более оптимистичным результатам.

Автор Светлана Сибирская.

Статья полностью http://grafol.ru/swet/CCT-FAP.html


Вторая часть.
Исследуем функциональный профиль


Для исследования сходимости функционального профиля использовались, способные выдавать детальный функциональный профиль. Такими свойствами обладают только три теста: тест Мегедь-Овчарова, тест Гуленко на функциональный профиль (ФАП) и тест Таланова. В статье принимались сокращенные названия тестов: тест Мегедь-Овчарова (М), тест ФАП Гуленко (Ф) и тест Таланова (Т).

Исследование внутренней корреляции теста показало, что тест Мегедь-Овчарова имеет высокую вероятность ошибочности. По тесту Гуленко вероятность ошибиться слабая, а по тесту Таланова - вероятность ошибочности самая низкая.
подробности тут
http://grafol.ru/swet/cct_rezult.html

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Пт янв 02, 2015 9:32 am
Selfhood
Так Мегедь же всех в Гамлеты типирует! :lol: Или уже нет? :(

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Пт янв 02, 2015 9:38 am
Светлана_
Selfhood писал(а):Так Мегедь же всех в Гамлеты типирует! :lol: Или уже нет? :(

Я не знаю кого она куда типирует. Это результат типирования тестами, а не живыми людьми.
Можно считать, что типируют авторы, через вложенное представление в авторские тесты. И результат получился таким.
У Мегедь и Гуленко по белой сенсорике больше согласия, чем у Таланова и Гуленко, и Таланова и Мегедь. По остальным же функциям согласия больше.Что бы это значило?

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Пт янв 02, 2015 9:40 am
Selfhood
Возможно, у Мегедь меньше отсебятины в теории, она просто - как бы это лучше выразиться - переоформила Гуленко.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Пт янв 02, 2015 9:45 am
Светлана_
Selfhood писал(а):Возможно, у Мегедь меньше отсебятины в теории, она просто - как бы это лучше выразиться - переоформила Гуленко.

Предположение взрывоопасное.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Вт янв 06, 2015 8:17 pm
ip_armad
4)Диагностирование присутствия белой сенсорики тестом Таланова имеет отрицательную корреляцию с тестами Гуленко ФАП и Мегедь-Овчарова. Это говорит о том, что смысловое значение этого соционического понятия сильно отличается.


Светлана_, а с какой другой функцией чаще всего путают значение БС? С интуицией? (там корреляция Мегедь с Талановым тоже не очень серьезная)

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Ср янв 07, 2015 2:50 am
Светлана_
ip_armad писал(а):
4)Диагностирование присутствия белой сенсорики тестом Таланова имеет отрицательную корреляцию с тестами Гуленко ФАП и Мегедь-Овчарова. Это говорит о том, что смысловое значение этого соционического понятия сильно отличается.


Светлана_, а с какой другой функцией чаще всего путают значение БС? С интуицией? (там корреляция Мегедь с Талановым тоже не очень серьезная)

Это не проверялось. Просто вычислялась корреляция.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Ср янв 07, 2015 11:42 am
quarz
А у кого, получается, самая правильная БС (понятие)?

Работа интересная и важная, спасибо :add25

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Ср янв 07, 2015 3:57 pm
Светлана_
Хочу сказать, что когда вычисляется корреляция, то сравнивается весь ряд из испытуемых. Такая своеобразная гребенка из чисел. И эти гребенки сравниваются целиком по всем 250 анкетам. Если пики и впадины гребенки имеют сходство, то корелляция положительная, если совсем сходства нет, то отрицательная.

Поэтому детализация здесь невозможна. И вопрос с какой функцией БС путают в данном случае из другой плоскости.
Это все равно, что спрашивать об одном зубе гребенки.

Вопрос правильная БС или не правильная, здесь также не решается. Вывод только один: он в чем-то разный. А вот в чем разный. Это надо дальше копать. Взять статьи Таланова по функциям. есть такая на его сайте. Затем взять публикации Гуленко и Мегедь и попробовать сравнить. Но и это сравнение не даст точный ответ.

По моему разумению смысл в статейных формулировках может различаться со смыслом, вложенным (неосознанно) в вопросы тестов-анкет. Хотя сравнение публикаций также даст что-то.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Ср янв 07, 2015 10:09 pm
ip_armad
Светлана_ писал(а):когда вычисляется корреляция, то сравнивается весь ряд из испытуемых. Такая своеобразная гребенка из чисел. И эти гребенки сравниваются целиком по всем 250 анкетам. Если пики и впадины гребенки имеют сходство, то корелляция положительная, если совсем сходства нет, то отрицательная.

Поэтому детализация здесь невозможна. И вопрос с какой функцией БС путают в данном случае из другой плоскости.
Это все равно, что спрашивать об одном зубе гребенки.

А почему? Можно сделать так: отсортировать весь ряд испытуемых по величине различия БС в анкетах Таланова и Мегедь (значения функций ведь нормируются одинаково?), а потом взять лишь верхнюю часть выборки (к примеру, 1/3, где БС максимально отличается) и вычислить те же корреляции только для нее. :) Потом сделать то же с нижней частью выборки (где значения БС близки) и сравнить результаты.

Я не гарантирую, что получится какой-то конкретный результат, но это первое, что сделал бы, если у меня были такие данные.))

Можно и чисто визуально посмотреть на отсортированную таблицу, не вычисляя ничего, но лишь заметить, к примеру, если какие-то ТИМы встречаются чаще прочих в верхней части, где наибольший разнобой по БС.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Чт янв 08, 2015 12:11 am
Светлана_
Да. можно, но я не сделала так.

А вот на скорую руку сделала корреляцию каждой функции с каждой для пары ФАП-Тест Таланова. Вот посмотрите.
корреляциТМ=.jpg
корреляциТМ=.jpg (51.51 КБ) Просмотров: 1188

По оси абсцисс функции теста Гуленко ФАП. Столбики в блоке - это функции теста Таланова.
Здесь показаны корреляции каждой функции с каждой, то есть например первый блок столбиков показывает корреляцию ЧЛ ФАП со всеми функциями теста Таланова (ЧЛ-ЧЭ-ЧС-ЧИ-БЛ-БЭ-БС-БИ). Мы видим, что ЧЛ-ФАП положительно коррелирует с ЧЛ, ЧС, БЛ теста Таланова и отрицательно с остальными. Здесь знАчимая корреляция ( выше 0.4 только с ЧЛ и ЧС.

Блок по БС (белая сенсорика) показывает малознАчимую ( меньше 0.3) положительную корреляцию с Т=ЧЭ, Т=ЧИ, Т=БЭ,Т=БИ и отрицательную корреляцию с остальными.

В идеале знАчимая положительная корреляция должна быть только между одноименными функциями, в реальности же картина получилась более сложная.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Чт янв 08, 2015 9:01 pm
ip_armad
Да, картина интересная. И вот что подозреваю:

1) По тесту Гуленко функции, очень вероятно, не ортогональны друг к другу;
2) У талановского теста тоже есть потенциальный косяк - часть вопросов, вносящих вклад в одну функцию, на самом деле касаются слабости противоположной ф-ции (такие вопросы были особо заметны как раз для БС, насколько я помню). В тесте Гуленко такого нет, откуда и разное представление функций;
3) Наконец, выборка респондентов может быть сильно асимметрична по ТИМам, откуда вылезут и "цветные шумы" в корреляциях.

Еще, на картинке я бы обратил внимание тоже на 3 типа зависимости по боковым корреляциям:

* гуленковские ЧЛ, ЧС, ЧЭ антикоррелируют со всеми белыми талановскими функциями;
* гуленковские БЭ, БС, БИ вместе коррелируют со всей талановской интуицией-этикой (и антикоррелируют с логикой и ЧС);
* гуленковские ЧИ, БЛ - сопоставимая корреляция соотв. с талановской интуицией и логикой обоих цветов.

Поэтому склонен думать, что здесь вылез наружу какой-то робо-доноцентризм в представлениях функций по Гуленко. Но это так, заметки по первому впечатлению.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Пт янв 09, 2015 8:04 am
Светлана_
Для чистоты анализа интересно посмотреть внутреннюю корреляцию тестов. То есть корреляцию каждой функции с каждой внутри самого теста.
Вот выборка для трех тестов : Мегель-Овчарова, ФАП Гуленко и Таланова.
мегедь.jpg
мегедь.jpg (47.18 КБ) Просмотров: 1157

Гуленко.jpg
Гуленко.jpg (40.33 КБ) Просмотров: 1157

Таланов.jpg
Таланов.jpg (39.02 КБ) Просмотров: 1157

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Пт янв 09, 2015 8:17 am
Светлана_
Диаграммы показывают ортогональность выявления функций. В идеале корреляция между одноименными функциями должна быть единица, а между разноименными отрицательная.

Здесь, чем меньше корреляция между разноименными функциями, тем лучше. Высокая корреляция показывает схожесть, подобие, наложение смыслов разных функций.

Низкая корреляция показывает большую отграниченность разных функций друг от друга.

Тест Мегедь-Овчарова показывает слишком высокую корреляцию между разноименными функциями, следовательно наложение, спутывание слишком велико. У теста ФАП Гуленко лучше отрабоатаны смыслы. Здесь меньшая внутренняя корреляция и , поэтому бОльшая отграниченность одних функций от других. В тесте Гуленко хоть маленькая корреляция, но всё же положительная. Тест Таланова показывает еще бОльшую отграниченность ортогональных функций. Здесь есть даже отрицательная корреляция.

Белая сенсорика в загоне или результат эксперимента ССТ

СообщениеДобавлено: Сб янв 10, 2015 1:10 am
ip_armad
Светлана_ писал(а):В идеале корреляция между одноименными функциями должна быть единица, а между разноименными отрицательная.

В идеале, сумма корреляций разноименных ф-ций должна быть равна нулю. Поэтому проверьте нормировку функций для тестов Мегедь и Гуленко, там может где-то взято не то среднее значение.

(Кстати, сейчас задумался, как правильно нормировать функции - относительно среднему для каждой из них по всей выборке, или относительно среднему 8-ми функций для конкретного испытуемого? Ведь в соционике ТИМ отражает не столько, к примеру, как соотносится ЧЛ Васи с ЧЛ Петей, а как соотносятся все функции Васи друг с другом. Какая-то функция может быть сильнее среднего по выборке, но слабее противоположной ф-ции того же человека. Так что, возможно, придется учитывать и это. Но это так, общетеоретическое, вклад в корреляции здесь скорее всего малозначим из-за усреднения по выборке.)