Приглашение в группу экспертов по доработке тестов, опросов

Профессиональные тесты, методы диагностики

Приглашение в группу экспертов по доработке тестов, опросов

Сообщение tipatov » Вс окт 04, 2009 11:33 pm

Коллеги, добрый день.

Наша гипотеза подтвердилась на серьезной выборке и при детальном, глубоком мат.статистическом анализе. К сожалению, некоторые методики, тесты, опросники необходимо дорабатывать по причине:
*** иногда формулировки вопросов переведены с иностранного языка без учета наших национальных/социальных особенностей
*** иногда в ключах и шкалах встречаются ошибки

Для примера:
------------------------------------
*** Вас беспокоило бы то, что Вы залезли в долги?
90% респондентов ответили на этот вопрос ДА
Шкала Выявляет бесстрастие, эгоизм. В нашей культуре, в отличие от западной, наличие долга считается почти унизительным. В связи с этим, наличие долга беспокоит большинство представителей нашей культуры.
*** Предполагаемая альтернатива: - Вас беспокоило бы то, что Вы не вернули знакомому однажды взятую книгу?
------------------------------------
*** Бывает ли Вас иногда дурное настроение?
95% респондентов ответили на этот вопрос ДА
Оно "иногда" бывает у любого. Исключить относительность формулировки.
*** Предполагаемая альтернатива: - Вы чаще, чем другие склонны к плохому настроению?
------------------------------------
*** Иметь возможность использовать свои умения и таланты для служения важной цели
*** Я бы хотел посвятить свою карьеру достижению важной и полезной цели
эти вопросы вызывают встречные комментарии респондентов
*** меня смущает, слово "важной цели", для кого важной?

и т.д.

Неужели мы такие умные, что заметили ошибки, которые не замечали много лет психологи, социологи, исследователи?!

И вот здесь вскрывается суть проблемы:
*** Сами методики используется в большинстве случаев психологами/социологами – изначально гуманитариями. Чаще всего это прекрасные гуманитарии, но слабые математики. Этого и не требует профессия. В результате они часто берут готовые методики, веря им без тени сомнения (как в аксиому). И соответственно мало, кто их перепроверял.
*** Для перепроверки методик нужны специализированные инструменты –
******* это грамотные способы сбора информации с социально-демографическими данными
******* это более емкие объемы выборки
******* это подробный сбор каждого ответа по каждому вопросу каждого респондента (а не только результирующие шкал)
******* это более глубокие мат.-статистические методы анализа

Все это реализовали мы в нашем проекте.

И теперь пришло время обратиться к вам, HR-ам, директорам, психологам, социологам. Обратиться к вам, как к экспертам в вашей области для доработки методики.
Опять же для того, чтобы улучшить наш общий инструментарий – тесты, опросники.

Мы приглашаем вас поучаствовать в опросе/интервью. Его суть – ваше экспертное мнение, опыт, знания, желания участвовать в доработке методик.
Часть интервью будет состоять из обсуждения самих формулировок вопросов. Старых и предлагаемых новых, адаптированных, с учетом наших национальных особенностей, с учетом изменившейся социальной обстановки в наших странах. Часть интервью будет состоят из вашего мнения по вопросам подбора/оценки персонала

С уважением и благодарностью относимся ко всей нашей аудитории:
*** кому интересны сами методики, опросники для более глубокого познания себя
*** кто использует эти методики в своей работе
нам особенно интересно мнение экспертов в этой области, очень приветствуется профильное образование и/или опыт:
*** психологическое
*** социологическое
*** экономическое
*** филологическое

Итак, для тех, кто принял решение участвовать в этом опросе, просим прислать свое согласие для получения непосредственно опросника/интервью.
Лучше всего будет это сделать через отдельную страницу: http://b-t.com.ua/opros_expert.php
с уважением, Типатов Николай
Аватара пользователя
tipatov
Участник
Участник
 
Сообщения: 108
Зарегистрирован: Вт авг 26, 2008 1:04 pm
Откуда: Украина, Харьков
Пол: Мужской
Темперамент: Холерик
Профессия: Бизнес-тренер

Приглашение в группу экспертов по доработке тестов, опросов

Сообщение Jack*S » Пт окт 30, 2009 2:58 am

tipatov
Ты знаешь я эти полгода занимался математической проверкой одиночных вопросов.

Например, есть вопрос с дихотомическими ответами:
1. *Да*
2. *Нет*.

Или с более расширенными ответами:
1. *Дважды Да*,
2. *Да*,
3. *Больше Да, чем Нет*,
4. *Больше Нет, чем Да*,
5. *Нет*,
6. *Дважды Нет*.

В обеих случаях вопрос должен быть адаптирован, сориентирован на НЕКУЮ ИДЕАЛЬНУЮ СОЦИАЛЬНУЮ группу , которая отвечает относительно симметрично (50 на 50). Иначе получается однобокие не репрезентативные результаты, как у иностранных неадаптированных к нашей аудитории вопросов. У не репрезентативных вопросов ответы одинаковые у 70-90% респондентов.

Теперь об ИДЕАЛЬНОЙ СОЦИАЛЬНОЙ ГРУППЕ.
1. Как правило интерес к психологическим тестам - у молодежи.
2. Как правило - у женского пола.
3. Как правило это люди интеллигентные, читающие, студенты (студенты и люди с высшим образованием).

Но это не идеальная группа. Необходимо тестировать вопрос на минимум трёх разных группах:
1. По возрасту,
2. По мужчинам и женщинам,
3. По образованию.
В каждой группе будут асимметричные проценты ответов и главное, там будет разное число респондентов!
Но в каждой группе нужно выводить именно проценты по *Да* и *Нет* и так формулировать вопрос, чтобы ответы *Да/Нет* были 50%/50% в среднем на объединенную группу.
Необходимо добиваться такой формулировки вопроса, чтобы он был чувствителен к обоим вариантам.

Хочу обратить внимание, что вычисления отношения Да/Нет всех респондентов, это не одно и тоже, если высчитывать процент по каждой группе и ПОТОМ считать средний процент идеальной группы. Эта идеальная группа сбалансирована по возрасту и другим параметрам, чувствительным к результату. Важно найти эти чувствительные параметры и только их использовать для деления на контрольные группы.

Я заметил, что даже небольшое изменение в формулировке вопроса, добавление пары слов, или замена одного слова на другое сразу меняет процентное соотношение, сдвигает результаты в сторону сильной асимметрии даже для ИДЕАЛЬНОЙ ГРУППЫ респондентов. И такой асимметричный вопрос не работает.

Поэтому вижу только один путь: нужно проверять вопросы по группам респондентов с определенными параметрами, например:
1. Женщина, хорошист или отличница, от 10 до 20 лет.
2. Мужчина, хорошист или отличник, от 10 до 20 лет.
3. Женщина, троечница, от 10 до 20 лет.
4. Мужчина, троечник, от 10 до 20 лет.
.... и т.д.
А формулировками добиваться хоть какой-то симметрии (чувствительности) теста в каждой группе или хотя бы в ИДЕАЛЬНОЙ ГРУППЕ.

Попробую выразиться еще проще: Если видишь, что вопрос имеет ответы (Да/Нет) с соотношением 60/40 или 70/30, то убирай эти вопросы или меняй формулировку, добиваясь симметричности по ИДЕАЛЬНОЙ ГРУППЕ. Важно! Расчеты всегда в % по группам и в % по идеальной группе.

Кстати, это относится и к соционическим тестам. Если ответы на вопрос в дихотомическом тесте сильно асимметричны, то итоговый результат имеет огромный крен в сторону одного из ТИМов. Выход один: формулируйте каждую дихотомию так, чтобы ответы Да или Нет были относительно равноправны.
Jack*S
Местный
Местный
 
Сообщения: 1896
Зарегистрирован: Вт апр 25, 2006 12:54 pm
Медали: 2
Пол: Мужской
Темперамент: Меланхолик
Профессия: холерический

Приглашение в группу экспертов по доработке тестов, опросов

Сообщение Jack*S » Пт окт 30, 2009 3:02 am

tipatov
Если ты это прочел, дай мне знать хотя бы коротким ответом или репликой. И не говори о том, что ответы НЕ должны быть симметричны. За полгода я насобирал статистику более 2-3 тысяч человек, видоизменяя 4 вопроса.
Jack*S
Местный
Местный
 
Сообщения: 1896
Зарегистрирован: Вт апр 25, 2006 12:54 pm
Медали: 2
Пол: Мужской
Темперамент: Меланхолик
Профессия: холерический

Приглашение в группу экспертов по доработке тестов, опросов

Сообщение tipatov » Сб ноя 07, 2009 11:27 am

Jack*S писал(а):tipatov
Если ты это прочел, дай мне знать хотя бы коротким ответом или репликой. И не говори о том, что ответы НЕ должны быть симметричны. За полгода я насобирал статистику более 2-3 тысяч человек, видоизменяя 4 вопроса.

Сергей, мы так и собираемся делать
с уважением, Типатов Николай
Аватара пользователя
tipatov
Участник
Участник
 
Сообщения: 108
Зарегистрирован: Вт авг 26, 2008 1:04 pm
Откуда: Украина, Харьков
Пол: Мужской
Темперамент: Холерик
Профессия: Бизнес-тренер

Приглашение в группу экспертов по доработке тестов, опросов

Сообщение IVlad » Вс янв 10, 2010 3:55 pm

Да, да, да! Я очень рад, что есть люди занимающиеся такой важной работой!
Действительно, практически все опросники нуждаются в серьезной переработке.
Где можно подробнее познакомиться с вашей работой?
IVlad
Новичок
Новичок
 
Сообщения: 2
Зарегистрирован: Вс янв 10, 2010 3:36 pm
Пол: Мужской
Соционический тип: Драйзер
Тип по психе-йоге: Эпикур (ФЛЭВ)

Приглашение в группу экспертов по доработке тестов, опросов

Сообщение tipatov » Пн янв 11, 2010 10:33 pm

IVlad писал(а):Где можно подробнее познакомиться с вашей работой?

практически по каждой методике у меня собирается статистика,
многие я выкладываю там же на сайте и здесь на форуме:
статистика по тесту Айзенка - http://b-t.com.ua/test_ayzenk_rez_25.html
статистика по тесту карьерные якоря http://b-t.com.ua/test_karyera_stat2092.html
здесь наш коллега пишет о самих методиках: http://psytest.wordpress.com/test_analy ... r_anchors/
с уважением, Типатов Николай
Аватара пользователя
tipatov
Участник
Участник
 
Сообщения: 108
Зарегистрирован: Вт авг 26, 2008 1:04 pm
Откуда: Украина, Харьков
Пол: Мужской
Темперамент: Холерик
Профессия: Бизнес-тренер


  • { SIMILAR_TOPICS }
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в Профессиональные

Кто сейчас на конференции

Зарегистрированные пользователи: cooler462, GoGo [Bot], Google [Bot], Google Search Appliance, Joker, LeRoy, morkel, Yandex 3.0 [Bot], Yandex [Bot]