Кирилл Улитин, UX-архитектор в «МойОфис», рассказал на конференции ProductSense, как делать полезные для бизнеса опросы, чистить данные в анкетах и легко анализировать открытые вопросы.
По данным опроса 2018 года 62% компаний используют опросы. Но если спросить, кто действительно хочет их использовать, процент будет гораздо ниже. Это проблема восприятия: кто-то где-то провел опрос, который не пойми кто заполнил. Но хотя опросные методы кажутся немодными и они не очень похожи на вездесущий CustDev, которому учат на тренингах, это вполне рабочий инструмент. Просто нужно правильно готовиться, анализировать и обрабатывать результаты.
Перед началом опроса надо сформулировать цель, наметить гипотезы и определить требования к выборке, как и в любом исследовании. Требования к выборке можно обозначить очень быстро — в ваших гипотезах уже будут фигурировать люди и действия, которые они совершают. Останется только задать ограничения по демографии и сформулировать критерии скрининг-вопросов.
Не надо портить выборку эффектом «уличного фонаря», когда мы ищем не там, где потеряли, а там, где светло. Рассылать опросы туда, где нет целевой аудитории бесполезно. Группы продактов тоже не подходят, если, конечно, вы не делаете продукт именно под них. Ищите места, где обитают ваши пользователи. Это могут быть ваши внутренние пользователи или пользователи вашего сервиса — им можно отправить опросы по имейлу. Еще в интернете есть много тематических сообществ (форумы, группы, чаты). Мы закидываем в них опросы и получается неплохая конверсия.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Составлять опрос довольно дорого, поэтому стоит обратить внимание на готовые варианты. Например, стандартные шкалы. Тот же рейтинг NPS — одна из вариаций шкалы Лайкерта. Или основанная на ней же методология Кана. Она использует парные вопросы, чтобы проверить, хотят ли пользователи получить новую фичу. Можно взять и полностью готовый опросник — тот же Standart Usability Scale. Кстати, недавно его перевели ребята из «Юзетикс».
А иногда вообще достаточно просто найти готовое исследование или отчет — их сейчас очень много. Можно поискать на consumerbarometer.com или ResearchGate. Будут полезны и мета-статьи, в которых собраны результаты разных исследований. Найти такую статью — большая удача.
Я могу провести интервью максимум с пятью респондентами в день, зато задизайнить опрос и получить 100, 200 и даже больше заполненных анкет — вполне реально. Методика простая: проводим несколько интервью, анализируем ответы, делаем тематический анализ и на этом материале составляем опрос. Такой метод можно использовать как для подготовки опроса, так и для масштабирования интервью.
Опрос с правильно подготовленными вариантами ответа гораздо удобнее как для респондента, так и для исследователя — он сокращает время, которое нужно потратить на заполнение и анализ. Чем проще респонденту заполнить опросник, тем выше будет конверсия. Но всегда нужно помнить про крайний сценарий, когда ни один из вариантов респонденту не подходит.
Иногда лучше совсем не получить ответ на вопрос, чем испортить себе статистику нерелевантными ответами, когда участники выбирают что-то случайным образом. Вообще подводных камней, которые приводят к различным смещениям, довольно много. Я рекомендую глянуть статью на google.research, а еще лучше — пройти курс от Мэрилендского университета на coursera.
Как правильно предлагать проходить опросы в сообществах и социальных сетях?
Вопросы надо организовывать послойно — сначала приветствие, скрининг-вопросы, вопросы о продукте, а уже потом демография. Есть люди, которые в принципе не раскрывают свои данные: возраст, пол и т.д. И ставить такие вопросы вперед — значит, терять ответы этой подгруппы, а это приводит к смещению выборки.
Респонденты в анкете ведут себя достаточно типично: заходят, прокручивают до конца и возвращаются обратно. Поэтому надо определиться, готовы мы показать человеку сразу все вопросы или каждый вопрос поставим на отдельную страницу/разобьем вопросы на блоки. Если второй вариант, то в опросе должны быть навигация и прогресс-бар.
С прогресс-баром тоже есть нюансы: с одной стороны, он дает пользователю обратную связь, показывает, на сколько процентов вопросов ответил человек, но с другой, если анкета очень большая, прогресс-бар демонстрирует всю тщетность усилий. Так что использовать его лучше в коротких опросниках на 10–15 минут.
Если есть вопросы, в которых можно выбрать несколько вариантов, обязательно надо добавить пункты «Нет ответа» и «Другое». Также полезно добавлять открытые вопросы. Например, их удобно использовать, чтобы уточнить что-то у респондента или получить свободный ответ. Иногда этот ответ может оказаться очень неожиданным. Например, респондент отвечает: «Вот на этот пункт я нажала случайно». Так мы можем проверить респондента и получить более качественные данные.
Перед запуском опросы необходимо тестировать. Сделать это несложно: отправьте его какому-нибудь респонденту, подходящему под ЦА, сядьте с ним рядом или попросите расшарить экран и оценивайте, понимает или не понимает он сам опрос и отдельные пункты. После работы над ошибками опрос надо разослать по маленькой выборке — хотя бы по своим коллегам. Это решит две задачи: вы измерите среднее время заполнения опроса и еще раз проверите опрос на ошибки и неточности.
А вот пример большой боли — анкета с ProductCamp. Ее проблема в том, что шкала Лайкерта использована неправильно. В вопросах должно быть нечетное количество ответов, а здесь их — шесть. Плюс эта анкета величиной с многоэтажный дом, и трудно найти человека, который доберется до конца и заполнит ее честно.
Чтобы избежать таких проблем, проводите предварительную фильтрацию. В случае ProductCamp для начала надо узнать, на какие доклады хотел бы пойти респондент, и только потом просить его поставить оценку. Простой пример: прежде чем спросить, для чего люди используют мессенджеры, мы же сначала узнаем, какими мессенджерами человек вообще пользуется.
Я промониторил предпочтения коллег и получил интересную статистику: самый популярный инструмент — Google Формы. Профессиональные решения сильно отстают. Это печально, потому что в Google Формах нет основных инструментов, которые нужны для качественного опроса.
За профессиональные инструменты даже необязательно платить деньги. Да, есть много платных сервисов: TypeForm, SurveyMonkey, SurveyGizmo с очень ограниченной бесплатной версией. Но существует и отличный бесплатный инструмент — self-hosted система LimeSurvey. Это open source-решение: его можно установить на свой сервер и использовать. Дополнительная фишка — в LimeSurvey можно добавлять нестандартную аналитику. Например, подключить вебвизор и смотреть, как респонденты заполняют опрос.
Базовые метрики для аналитики — это количество открывших опрос, IP-адреса, реферальная ссылка, которая покажет, какой источник будет самым эффективным, время старта и окончания опроса. Еще мы ценим возможность подключить любые необходимые функции.
На изображении — наша воронка по последним 20 опросам. 50% людей заполняет опросы, 40% отваливается и еще 10% заполняет опросы частично. Анализируя воронку, можно понять, насколько правильно мы задизайнили опрос, хорошо ли он приносит анкеты и т.д.
Интересное исследование 2017 года об индикаторах смещения ответов в онлайн-опросах показало, что есть связь между временем ответа на вопрос и правдивостью. Чем дольше респондент отвечает на вопрос, тем больше вероятность нечестного ответа. Конечно, такую методологию довольно сложно использовать и ни один существующий инструмент пока не позволяет этого делать достоверно, но можно схитрить.
Например, у меня в одном вопросе стоял видеоролик. Человек должен был посмотреть его и после этого ответить на вопрос. Я изучил аналитику по времени ответа на этот вопрос и отследил, что часть респондентов дает ответы гораздо раньше, чем заканчивается ролик. Это навело меня на мысль, как можно проанализировать заполнение анкеты по времени.
Я поделил респондентов на группы по времени, которое они тратят на разные секции анкеты. По центру в нем была медиана, ниже — первый квартиль, сверху — третий квартиль. Все ответы ниже первого квартиля с большой долей вероятности недостоверны. И таких людей может быть 10−15%. С помощью графика, привязанного ко времени заполнения анкет, можно почистить данные, чтобы получить более качественные результаты.
Что касается анализа, есть две новости — хорошая и плохая. Плохая новость в том, что формулы для анализа предела погрешности и доверительных интервалов довольно сложные и требуют глубокого погружения. А хорошая — выборки из интернета нельзя анализировать с помощью таких формул. Потому что они — невероятностные (см. доклад AAPOR, Американской ассоциации исследователей общественного мнения), а формулы ориентированы именно на вероятностные выборки.
Любые данные из опроса надо вначале привязать к разным сегментам пользователей. Простой пример — использование аудиосообщений в мессенджере. Вариантов ответа два: люди либо используют их, либо не используют. И если бы я построил среднее значение по всем респондентам, получил бы 20–30% положительных ответов.
Но если сегментировать респондентов на тех, кто занимает руководящую должность, и простых специалистов, то разница окажется серьезной — результаты отличаются в разы. Важно не просто получать данные, но и разносить их по сегментам.
О разных подходах к сегментации — в статье Михаила Правдина, UX Research Lead в Avito.
С обработкой закрытых вопросов все более-менее понятно. Трудности начинаются там, где надо проанализировать открытые вопросы — то есть просто куски текста. И если у нас не 10 анкет, а 1000, то это выглядит проблемой.
Но есть очень простой способ анализа открытых вопросов: берем все полученные ответы, разбиваем в любом сервисе для seo-анализа текста на ключевые слова и получаем статистику — сколько раз каждое слово встречается в ответах. После этого мы анализируем главные темы, то есть объединяем слова в тематические группы. Так можно быстро оцифровать все открытые вопросы. В этом поможет либо простой скрипт на Python, либо формула SEARCH в любом редакторе электронных таблиц.
Компании с большим количеством довольных и вовлеченных работников на 17% эффективнее и на 21% прибыльнее тех, где ситуация с вовлеченностью сотрудников противоположна / Варвара Гранкова
На днях сотрудники Financial Times (FT) обнаружили на своих рабочих столах яркие листки с информацией о том, что FT усовершенствует систему измерения вовлеченности сотрудников и переходит от ежегодного анкетирования к ежеквартальному. Всем сотрудникам по электронной почте должна прийти ссылка на первый опрос, «прохождение которого займет не более 15 минут».
Обычно ничто не влияет на вовлеченность так негативно, как анкеты о вовлеченности, особенно если их составители имеют смелость утверждать, что ответы займут 15 минут. Но я только что вернулась из отпуска и была настроена благодушно. Поэтому я перешла по ссылке и начала оценивать, как мне нравится работать в FT, по шкале от 0 до 10 баллов.
В целом я довольна тем, что мне платят деньги за работу, которая мне нравится, и что меня окружают симпатичные и умные коллеги. Поэтому я довольно быстро справилась с первыми вопросами типа «порекомендую ли я FT в качестве места работы» или «ощущаю ли я профессиональный рост», поставив щедрые оценки своему работодателю. Затем я добралась до такого вопроса: «С какой вероятностью вы останетесь в FT, если вам предложат такую же работу в другом месте?» Предполагается, что опрос проводится анонимно – об этом постоянно напоминается в анкете. Но что если это не так?
Если ответы будут чересчур лояльными, кто-то наверху может решить, что я простофиля, мнение которой можно не брать в расчет. С другой стороны, стоит ли намекать, что я могу и сменить работу?
Каковы причины, по которым сотрудники опасаются анкетирования? Самая очевидная – проблема достоверности ответов. В свою очередь, недостаточная достоверность объясняется тем, что сотрудники редко имеют представление, как подбираются вопросы и как будут использованы ответы.
Однако анкетирование только частный случай, а проблема измерения вовлеченности гораздо шире.Мода на измерение вовлеченности началась более 20 лет назад, породив небольшую армию консультантов и множество сервисов, на которые компании тратят порядка $720 млн в год. Тем не менее, несмотря на потраченное время и усилия, до сих пор нет ясного понимания, что же такое вовлеченность. Входят ли в это понятие чувства сотрудников или их действия? Должны ли сотрудники разделять цели компании или это не столь уж важно?
Существует более 50 определений вовлеченности, говорится в докладе комиссии при правительстве Великобритании. По сути, все они сводятся к довольно очевидной мысли, что люди работают лучше там, где, как им кажется, их ценят и понимают. Другими словами, хорошее отношение к сотрудникам оказывает положительное влияние на бизнес – удивительно положительное, как считают, например, в исследовательской компании Gallup, активно продвигающей теорию вовлеченности.
В Gallup утверждают, что компании с большим количеством довольных и вовлеченных работников на 17% эффективнее и на 21% прибыльнее тех, где ситуация с вовлеченностью сотрудников противоположна. Другие исследователи предлагают схожие данные. Однако действительно ли вовлеченность увеличивает производительность? Или вовлеченность выше потому, что компании более эффективны?
Мнения экспертов расходятся. Профессор организационной психологии в лондонском Queen Mary University Роб Бринер говорит о почти полном отсутствии качественных данных, которые позволяли бы ответить на два основных вопроса о вовлеченности: действительно ли она на что-то влияет и могут ли компании повлиять на нее? При этом даже ярые сторонники теории вовлеченности признают, что, несмотря на потраченные миллионы долларов, показатели вовлеченности практически не растут. Gallup называет это ни много ни мало как «глобальным кризисом вовлеченности сотрудников», указывая, что за последнее десятилетие процент вовлеченных сотрудников почти не изменился.
Вернемся к анкетам. Сейчас распространяется мнение, что слишком много компаний считают, что составить странный опросник для сотрудников достаточно для того, чтобы поставить галочку напротив пункта «вовлеченность». Гораздо важнее довести дело до конца и предпринять реальные шаги, чтобы работники стали счастливее, а их производительность выросла. Другими словами, компания может проводить сколько угодно опросов. Но если она раздражает своих сотрудников глуповатыми управленцами, слишком строгим дресс-кодом, множеством корпоративных правил по всем поводам и т. д., отношение работников будет соответствующим.
Тем не менее в целом хотелось бы думать, что усилия по повышению вовлеченности сотрудников не лишены смысла. Наверное, любой сотрудник предпочтет работать в компании, которая пытается повысить вовлеченность сотрудников, нежели в той, которая этого не делает. Однако управленческую моду на вовлеченность может постичь судьба многих подобных трендов, и со временем ей на смену придет другая мода. Но этот тренд по крайней мере относительно безвреден, и, возможно, однажды появятся доказательства, что все усилия по повышению вовлеченности сотрудников действительно приносят пользу.
Перевела Надежда Беличенко
Новости СМИ2
Отвлекает реклама? Подпишитесь, чтобы скрыть еёПолучение данных о зарплате
Текущая работа Предложение работы
Опрос передовой практики компенсации Payscale теперь открыт для участия. Пройдите опрос прямо сейчас!
Получите информацию и уверенность в правильности оплаты труда с помощью актуальных, проверенных данных о заработной плате и ведущего в отрасли программного обеспечения для компенсации на базе искусственного интеллекта.
Цена за работу
Изучите наш Отчет о состоянии удаленной работы за 2021 г., чтобы узнать, почему сотрудники придерживаются подхода «работа из любого места» и как работодатели соответствующим образом развивают свои стратегии удаленной работы.
Читать отчет
Переопределите и автоматизируйте компенсацию с помощью Payfactors, мощного и масштабируемого решения для управления компенсациями для любой организации.
Сделайте компенсацию мощной
Узнайте больше о компенсации с MarketPay, лучшим в своем классе решением корпоративного уровня, которое предоставляет комплексные инструменты анализа данных и управление опросами в одном месте.
Повышение практики компенсации
Данные — это сила, и каждый должен иметь их. Начните с нашего инструмента профиля заработной платы, чтобы оценить ценность ваших профессиональных навыков на открытом рынке. Давай, почувствуй силу.
Заполните профиль заработной платы
Объекты в виде концентрических кругов светятся, меняют цвет и фиксируются в статическом положении, обрамляющем текст на экране. Круги перемещаются во время прокрутки.
Изменение происходит.
Будьте готовы.
Payscale предоставляет людям и работодателям свежие, прозрачные и проверенные данные о заработной плате, простое в использовании программное обеспечение и услуги для правильного получения заработной платы в любых рыночных условиях.
Мы стремимся обеспечить точность оплаты, предоставляя надежные данные о рынке заработной платы, которые остаются достоверными и прозрачными для соответствующих источников.
Узнайте, почему это важно
>300
традиционные партнеры по опросам
Легко загружайте свои собственные опросы в решения Payscale и получайте доступ к более чем 10 000 соответствующих опросов о вознаграждениях от сотен сторонних издателей.
5,5 тыс.
оплачиваемые вакансии от работодателей
Получите доступ к ежеквартально обновляемым данным опроса HRIS от более чем 2000 участвующих клиентов Payscale, представляющих более двух миллионов сотрудников в 40 отраслях и число их постоянно растет.
350K
новые онлайн-профили заработной платы в месяц
Ожидайте самые свежие данные о вознаграждениях, доступные где угодно, с ежедневными, постоянно проверяемыми онлайн-профилями опросов от более чем восьми миллионов посетителей в месяц.
Поиск самой справедливой и мотивирующей компенсации для членов вашей команды — одна из самых важных задач для таких руководителей отдела кадров, как вы. Наряду с организацией структуры вашей компании и обеспечением того, чтобы сотрудники оставались вовлеченными и мотивированными, определение специального плана вознаграждения является ключом к росту вашей организации и ее развитию с течением времени.
Популярным методом оценки справедливой стратегии вознаграждения сотрудников является обращение к действительному обзору вознаграждения (или заработной платы) .
Точные, актуальные и своевременные результаты опроса о вознаграждении очень помогают при сравнительном анализе структуры вознаграждения в вашей организации.
Однако для многих организаций задача проведения обследования заработной платы является утомительной и часто требует много времени. Кроме того, в Руководстве Министерства юстиции по использованию данных о заработной плате должен соблюдаться , поскольку заработная плата покрывается Законом Шермана о борьбе с правосудием.
Мы в Astron Solutions помогли многим организациям и предприятиям разработать стратегию управления персоналом и планы вознаграждения. Благодаря нашему опыту HR-консалтинга, мы создали это руководство, чтобы глубже понять, нужны ли опросы о компенсации и могут ли они помочь вашей организации. Вы изучите следующие темы:
Вы можете нажать на раздел, который вас больше всего интересует, но мы рекомендуем начинать сверху, чтобы убедиться, что вы не пропустите существенных пробелов. Давайте начнем!
В статье журнала Chron Рут Мейхью «Сильные и слабые стороны обследования заработной платы» объясняется, что
Обследование заработной платы обычно содержит данные о заработной плате. Опросы могут сравнивать заработную плату сотрудников между отделами, по компаниям или организациям, в зависимости от должности или должности, а также заработок работников в разных географических регионах. Специалисты по персоналу используют данные опросов для построения структур компенсации или для определения того, получают ли сотрудники справедливую и конкурентоспособную заработную плату.
Проще говоря, результаты исследования компенсаций дают ключевое представление о должностных обязанностях и их заработной плате, помогая работодателям определить и наилучшим образом разработать собственную компенсационную стратегию.
Обследование компенсаций может фокусироваться на названиях должностей, географических регионах, размерах работодателей и отраслях, и, как правило, в первую очередь сообщает данные о денежных компенсациях. Эти данные обследования обычно состоят из поддающихся количественной оценке аспектов вознаграждения, таких как:
9 9 найти один с учетом всех уникальных соображений вашей организации.
Многие организации и предприятия также обращаются к консультантам по персоналу и другим внешним агентствам за помощью в проведении пользовательских опросов. Это профессионалы, которые будут работать с вами, чтобы помочь создать и провести лучший опрос, отвечающий вашим потребностям.
Однако, прежде чем принимать какие-либо решения, давайте рассмотрим преимущества и распространенные проблемы, которые могут возникнуть при проведении опросов о компенсации.
Опросы о вознаграждении могут дать вам ключевое представление о том, как другие организации взаимодействуют со своими сотрудниками. В частности, опросы о заработной плате имеют следующие преимущества, которыми могут воспользоваться руководители отдела кадров:
Из вышесказанного может показаться, что почему бы вам не принять участие в опросах о компенсации, чтобы помочь вашей собственной практике управления персоналом и организации? Тем не менее, есть некоторые проблемы, которые могут возникнуть с опросами о компенсации, о которых вы узнаете далее.
Проведение опросов о вознаграждениях — это не так просто, как узнать у конкурентов, сколько они платят своим сотрудникам. Давайте рассмотрим общие проблемы, которые могут возникнуть при проведении опросов о вознаграждении:
Прежде чем приступить к индивидуальному опросу, необходимо учесть некоторые моменты. Опросы компенсаций основаны на данных, поэтому лучший ресурс — это всегда хорошая практика.
Принимая во внимание все преимущества и проблемы, перечисленные выше, обследование заработной платы может быть не на 100% необходимым в любое время для всех организаций.
Но это определенно может гарантировать, что вы справедливо оплачиваете и привлекаете своих сотрудников, что должно всегда быть главной заботой. Если вы уже решили, что заинтересованы в использовании опроса о компенсации, теперь вы, вероятно, задаетесь вопросом, как на самом деле его провести.
Всегда помните, что очень важно использовать авторитетные источники.
Иногда недорогой и часто простой вариант — обратиться к уже опубликованным опросам о вознаграждениях, будь то от консалтинговых фирм, интернет-компаний или Министерства труда. Фактически, некоторые достоверные данные обследований заработной платы можно получить бесплатно через Бюро статистики труда Министерства труда (www.bls.gov). Помимо BLS и профессиональных ассоциаций, эффективными источниками бесплатных данных о заработной плате могут быть доски объявлений о вакансиях.
Однако для более специализированных вакансий, управленческих или C-уровневых должностей гораздо сложнее найти точные данные и опрос, соответствующие вашим потребностям. Для исследования компенсаций, которое действительно может дать вам представление о вашей собственной стратегии управления персоналом, лучше всего подойдет индивидуальный опрос, который вы проведете с помощью консультанта по компенсациям .
Индивидуальный опрос о компенсации имеет несколько преимуществ, в том числе:
Проведение стороннего пользовательского опроса означает, что вам необходимо выяснить правильную аудиторию для опроса и задать ключевые вопросы, которые помогут вашей организации. Но, как вы узнали из предыдущего раздела, проведение вашего опроса состоит из более просто спрашивая людей, сколько им платят. Необходимо учитывать юридические аспекты и аспекты конфиденциальности, поэтому необходимо сотрудничать с авторитетной службой, которая может гарантировать, что вы на правильном пути.
Мы не только предлагаем обширные консультационные услуги в области управления персоналом, но и в Astron Solutions также создаем и проводим специальные опросы о заработной плате для организаций и ассоциаций в уникальных областях. Обладая более чем 20-летним опытом, мы можем помочь таким лидерам, как вы:
Об авторе