Экспертное мнение опросник вход: Экспертное мнение — вход в личный кабинет

Экспертное мнение опросник вход: Экспертное мнение — вход в личный кабинет

Экспертное мнение: Реднапп и Ширер обвиняют Моуриньо, Крауч — игроков

Жозе Моуриньо, вероятно, уже исчерпал свой кредит доверия среди значительной части фандома «Тоттенхэм Хотспур», но у него все еще есть поклонники среди журналистов, экспертов и бывших игроков «шпор». Один человек, который вписывается во все три эти категории — бывший нападающий «Тоттенхэма» Питер Крауч.

 

В своей периодической колонке вопросов и ответов в Daily Mail на вопрос читателя, думает ли он, что Моуриньо все еще будет возглавлять «Тоттенхэм» в финале Кубка Карабао, Крауч, к удивлению многих, встал на защиту португальского менеджера.

 

“Вы должны дать ему шанс поехать на «Уэмбли». Неужели все так плохо в данный момент, что вы хотите, чтобы другой человек отвечал за столкновение с «Манчестер Сити»? Конечно, Жозе заслуживает такой возможности.»

 «Я уже говорил, как мне нравится Моуриньо. Мы с ним всегда хорошо ладили, он всегда отзывался обо мне положительно; он всегда был готов дать мне совет, когда наши пути пересекались.»

 

«Но я не могу притворяться, что у него все идет хорошо в тот момент, когда это явно не так. «Тоттенхэм» в последнее время очень разочаровывает, но что меня во всем этом раздражает, так это индивидуальные ошибки, которые портят игры. Выдающиеся игроки совершают ошибки, которых не должно быть.»

 

Соглашайтесь или не соглашайтесь с мнением Краучи, он действительно озвучивает контраргумент к тому, что многие поклонники шпор высказывают в социальных сетях. У Моуриньо действительно есть история менеджера ”больших матчей», и он действительно получил «шпоры» в первый финал Кубка с 2015 года. 

 

Алан Ширер утверждает, что постоянная ротация состава команды Жозе Моуриньо, особенно в обороне, оказывает разрушительное влияние на результативность игры.

 

В субботу «шпоры» проиграли «Манчестер Сити» со счетом 3-0, причем всех трех голов вполне можно было избежать, поскольку, во-первых, Пьер-Эмиль Хейбьерг привез пенальти, а затем Илкай Гюндоган получил слишком много места внутри штрафной во втором голе

 

Наконец, Гюндоган смутил Давинсона Санчеса третьим голом. «Сити» был лучшей командой, но все три гола можно и нужно было предотвратить.

 

Ширер считает, что перестановки в обороне Моуриньо — поскольку Эрик Дайер вернулся в центр защиты, а Джафет Танганга впервые вышел в старте в лиге в этом сезоне — способствовали тому, что португалец сам не понимает какая комбинация в защите лучше.

 

«Я думаю, что он все еще ищет, я знаю, что есть оправдания для этого из-за количества игр, и он, безусловно, играл в середине недели [матч Кубка Англии против» Эвертона»]», — сказал Ширер в интервью BBC.

 

«Но постоянные изменения — я думаю, именно поэтому вы видите так много ошибок в команде.»

Моуринью последовательно менял свою оборону с задней четверки на тройку и проводил ротацию, и никто не был гарантированным игроком стартового состава, за исключением левого защитника Серхио Регилона, когда он был в форме.

 

Джейми Реднапп солидарен с Ширером в воппосе, почему Жозе Моуриньо виноват в ошибках «Тоттенхэма» в матче с «Ман Сити», однако приводит и другой аргумент.

 

«Выглядит так, будто он пытается угодить фанатам, и это не работает. Постоянно ротирует заднюю четверку — когда это давало кому-либо уверенность?»

 

«Затем он говорит, что они сделали ошибки — да, потому что ты продолжаешь менять четверку защитников каждую неделю.»

 

«Это команда, которой не хватает уверенности, но он должен взять на себя ответственность за это. Он приводит Деле Алли и Гарета Бейла, и он хочет, чтобы они выручили его.»

 

«Он плохо с ними обращался, они не были в команде, и теперь вы просите их что-то изменить для вас? Современный футбол работает не так.»

 «Вам нужно держать игроков в составе, и Жозе сейчас имеет привычку расстраивать слишком много людей, которые ему нужны как союзники, а не враги.» — приводит слова Реднаппа Sky Sports.

 

Чье экспертное мнение вам ближе?

• голосов: 39

  Крауч прав: надо поддержать главного тренера

• голосов: 4

  Алану Ширеру, как и всем, очевидно, что Жозе перегнул с ротацией

• голосов: 7

  Прислушайтесь к Реднаппу — Моуриньо проигрывает из-за конфликта с талантливыми игроками

• голосов: 18

  Это дилетанты, а настоящие эксперты — в комментариях на SpursArmy!

Назад Вперед

Экспертное мнение — вход в личный кабинет

Экспертное мнение – портал, который заинтересован в том, чтобы собирать мнения и отзывы пользователей, и впоследствии менять продукцию или услуги различных производителей/поставщиков так, чтобы она удовлетворяла конечного потребителя. Это не просто классический опросник. Здесь собраны опросы от лучших мировых производителей, и все они заинтересованы в том, чтобы собрать как можно больше различных мнений от потребителей разной категории.

Для того чтобы получить доступ к представленному функционалу, клиентам предлагается выполнить вход в личный кабинет Экспертное Мнение. Но сначала нужно будет заполнить регистрационную анкету.

Вход в личный кабинет

Чтобы авторизоваться в системе опросника Экспертное мнение, потребуется выполнить следующие действия:

1. Перейти на официальный сайт портала по ссылке: expertnoemnenie.ru.
2. Справа в верхнем углу кликнуть на кнопку «Войти». Для удобного поиска она подсвечивается зеленым цветом на белом фоне.
   
3. Выполняется переход на страницу аутентификации: https://expertnoemnenie.ru/login.
4. Заполнить идентификационные поля: в первое вписывают адрес электронной почты, во второе – пароль, который ранее задавался при регистрации личного кабинета.
5. Нажать на «Войти».

Внимание: есть также возможность авторизоваться через сервис Mail.ru, либо учетные записи в социальных сетях Одноклассники, ВКонтакте или ФейсБук. Вся личная информация потребителей копируется, и переносится в профиль. Также на портале Экспертное мнение ответственно относятся к конфиденциальности, поэтому остальные зарегистрированные пользователи системы не увидят информации друг о друге.

Регистрация личного кабинета

Перед тем, как авторизоваться, если пользоваться стандартным способом, а не входом через социальные сети или виртуальные сервисы, сначала нужно зарегистрировать личный кабинет опросника Экспертное мнение. Этот процесс выполняется по инструкции:

1. Перейти на официальный сайт опросника по ссылке: expertnoemnenie.ru.
2. В центральной части экрана кликнуть на «Зарегистрироваться за 10 секунд». Кнопка для быстрого поиска специально подсвечивается красным ярким цветом.
3. Выполняется переход на https://expertnoemnenie.ru/registration/start, где потребуется ввести адрес электронной почты, а также задать пароль.
4. Нажать на «Далее».
5. Подтвердить e-mail. На него придет письмо со ссылкой для активации. По ссылке переходят, чтобы продолжить процедуру создания личного кабинета.
6. Ввести некоторые личные данные.
7. Завершить процедуру создания личного кабинета.

Также после первой авторизации пользователю рекомендуется поработать со своим профилем. Его нужно постараться заполнить по максимуму. В этом случае есть вероятность получения большего количества опросов, которые можно будет пройти до конца, чтобы в результате получить денежное вознаграждение от производителя и системы.

Внимание: зарегистрироваться можно и со страницы для входа в личный кабинет Экспертного мнения. Для этого на https://expertnoemnenie.ru/login нужно промотать экран вниз, и под кнопкой для входа нажать на «Зарегистрироваться». Затем выполняется переход в раздел создания учетных записей, где нужно следовать дальнейшим инструкциям. Этот способ подходит в случае, если пользователь сначала хотел регистрироваться через другой аккаунт, то потом решил переключиться на стандартный способ.

Как в случае с авторизацией, можно пройти процедуру регистрации через учетную запись в Одноклассниках, ВКонтакте или аккаунт на сервисе Мэйл.Ру.

Восстановление пароля

Поскольку на данный момент у людей много аккаунтов на разных порталах в сети, опция по восстановлению доступа от личного кабинета Экспертного Мнения является очень актуальной. Если нужно ей воспользоваться, потребуется действовать по инструкции:

1. Перейти через главную страницу в раздел для авторизации.
2. На https://expertnoemnenie.ru/login под полем для ввода секретной комбинации символов нажать на кнопку «Забыли пароль».

Внимание: для начала следует нажать на кнопку с изображением глаза, расположенную прямо в поле для ввода пароля. Она открывает символы, и предлагает пользователю проверить правильность написания, раскладку, регистр и т.д. Если есть полная уверенность, что все введено верно, но войти в личный кабинет все равно не получается, тогда нужно пользоваться данной инструкцией.

3. Выполняется переход на https://expertnoemnenie.ru/recover-password, где в поле вводят e-mail. Он обязательно должен быть привязан к учетной записи, поскольку в противном случае данная инструкция не сработает.
4. Нажать «Восстановление пароля».
5. Получить письмо со ссылкой для сброса.
6. Пройти по ссылке и задать новую секретную комбинацию символов.
7. Авторизоваться в личном кабинете по стандартной схеме.

Если вход и регистрация выполнялись через учетные записи в социальных сетях, то данная опция не пригодится. Вход в ЛК будет выполняться без ввода пароля.

Функционал аккаунта

Основная задача личного кабинета опросника Экспертное мнение заключается в том, чтобы обеспечивать пользователей возможностью рассказывать свои отзывы о различных товарах или услугах, и получать за это денежные вознаграждения. Также на портал можно приглашать друзей и знакомых, чтобы увеличивать свой уровень заработка посредством реферальной программы. Естественно, каждому пользователю предлагается возможность корректировать свою анкету, исправлять данные.

Контактные данные

Связаться с командой Экспертного мнения предлагается через официальные группы в соц.сетях:

Также предлагается написать свои обращения или описать проблемы взаимодействия с личным кабинетом на почту: [email protected].

Сбер примет участие в разработке европейского регулирования сферы искусственного интеллекта. АРБ: Ассоциация российских банков

Специальный комитет по искусственному интеллекту (ИИ) Совета Европы запустил на своём сайте общественное обсуждение вопросов будущего регулирования ИИ, чтобы аккумулировать точки зрения самых разных заинтересованных сторон: представителей национальных государственных органов, международных организаций, бизнеса, гражданского общества, академических кругов и технического сообщества. В том числе предлагается определить необходимость дополнительных мер безопасности при разработке новых технологий ИИ.

Рабочую группу по проведению глобальных консультаций Спецкомитета по ИИ Совета Европы (CAHAI-COG) возглавляет представитель РФ — управляющий директор Центра регулирования AI Сбербанка Андрей Незнамов. По его словам, проводимые консультации — важная часть формирования европейской политики в области ИИ. При этом принципиально важно обеспечить учёт интересов Российской Федерации, отечественных разработчиков ИИ и экспертов при создании новой архитектуры регулирования.

«Сейчас Совет Европы, проводя опрос по ключевым развилкам регламентации сферы ИИ, предоставил нам возможность внести вклад в определение нашего будущего. Ведь новые технологии — тонкая область, требующая особого внимания. Важно обеспечить антропоцентричность регулирования, безусловную защиту всех прав и свобод человека — и одновременно гарантировать возможность развития для новых технологий, которые могут значительно повысить благосостояние всего человечества» — Андрей Незнамов, Управляющий директор Центра регулирования AI Сбербанка.

Консультации продлятся до 29 апреля 2021 года. Заполнить опросник можно на английском языке на сайте Совета Европы. В опросе могут принимать участие компании, научные и некоммерческие организации.

Сбербанк как центр компетенций федерального проекта «Искусственный интеллект» и сторона соглашения с Правительством РФ о развитии высокотехнологичной отрасли «Искусственный интеллект» активно участвует в реализации Национальной стратегии развития ИИ до 2030 года, а также Концепции развития регулирования отношений в сфере технологий ИИ и робототехники до 2024 года.

Приложение — Коммерсантъ Информационные технологии (117806)

Блокчейн, большие данные, машинное обучение, искусственный интеллект, виртуальная реальность — за счет этих новых технологий происходит цифровая трансформация России. О том, как они влияют на бизнес IT-компаний, чем хороша методология Agile и чего ждут участники рынка от государства, “Ъ” рассказал президент группы компаний «Рамакс» Лев Разумовский.

— По инвестициям в Research and Development (R&D) сфера информационных технологий лидирует. Какие изменения в сфере IT произошли в последнее время?

— Мы переживаем четвертую промышленную революцию. Ее характеризуют взрывные изменения на всех этапах обработки информации. Так, на производство информации повлияло появление интернета вещей и соцсетей: они генерируют данные, растущие в объеме по экспоненте. Каждые пять лет количество информации, производимой в мире, увеличивается на порядок. Коренным образом изменяются технологии передачи этих данных. Появилась технология верифицированного обмена информацией, блокчейн, инновационные методы распределенного хранения и параллельной ее обработки. Машинное обучение и искусственный интеллект позволяют выделять новые сущности из информации, а виртуальная и дополненная реальности коренным образом изменяют ее визуализацию.

— Как эти изменения трансформируют деятельность участников рынка: заказчиков, вендоров и системных интеграторов?

— Еще 15–20 лет назад инновации рождались в научных лабораториях информационных гигантов: IBM, Oracle, Microsoft, SAP. Большинство инноваций проходило один и тот же путь — от лаборатории до конечного заказчика. Составлялась документация к продукту, обучались люди, которые затем учили партнеров, партнеры приходили с технологией к заказчикам, пытаясь их убедить в том, насколько она полезна. В конце концов инновация становилась обычным продуктом в арсенале интегратора и применялась широким кругом заказчиков. Процесс занимал от трех до восьми лет. А потом стало понятно, что времени на это больше нет. Вспомним, что в 2013 году про биткойн знали только узкие специалисты, гики и криминальные элементы. Еще через год про него знали все специалисты, а еще через два — уже все вокруг. Сейчас же, всего через пять лет, популярность криптовалюты падает по определенным причинам.

И всем нужно реагировать на это. Так, на глазах меняется отношение вендоров к их священной корове — авторскому праву. Десять лет назад треть любого контракта с иностранным вендором была посвящена охране интеллектуальной собственности: что с ней можно делать, а что — нельзя. Сегодня же все вендоры выкладывают свои инструменты в открытый доступ в качестве продукта с открытым исходным кодом. Microsoft выпускает Azure, в котором много бесплатных продуктов, Google и Facebook — свои библиотеки TensorFlow и PyTorch для работы с большими данными, IBM предоставляет открытую блокчейн-платформу HyperLedger, и любой программист может пользоваться этими инструментами. Вендорам становится понятно, что сегодня важно не строить заборы вокруг авторских прав, а, наоборот, выбрасывать свои продукты на рынки, чтобы партнеры и программисты их использовали, несли в массы и сами развивали новые технологии.

Следующий в цепочке — системный интегратор. Каждый из них теперь обязан иметь свою R&D-лабораторию и становиться «мини-«Гуглом»» или «микро-«Майкрософтом»». При работе с новыми технологиями нет готовых рецептов: каждая задача требует опыта работы непосредственно с данными конкретного заказчика.

Ключевым образом меняется роль самого заказчика: она выдвигается на первый план. Только он знает, где и как получить данные. Потом системный интегратор их обрабатывает, показывает результат заказчику. И тут начинается самое интересное. В 99% случаев первый результат не устраивает заказчика, после чего необходимо итерационно, поэтапно возвращаться к обработке данных. И только заказчик является мерилом того, когда можно считать результат положительным и что подкрутить, чтобы его улучшить.

Приведу пример роли заказчика в оценке результатов. Мы делали систему обработки входящей информации в разрозненных каналах коммуникаций с клиентами для одной авиакомпании для автоматического определения тональности сообщений: положительна она, нейтральна или отрицательна. Мы построили модель, которая по всем классическим правилам давала очень высокую точность, а заказчик пришел в ужас, утверждая, что модель нерелевантна. Мы попросили показать, что не так. И заказчик сказал следующее: «Вот, например, девушка пишет, что купила билет на рейс и выехала в аэропорт, но проколола колесо, попала под дождь, когда его меняла, опоздала на рейс, промокла, заболела и больная лежит дома. Ваша система оценивает это сообщение как негативное». Мы говорим: «Конечно, человек опоздал на рейс и заболел — это негативное сообщение». А нам отвечают: «Для девушки — да, но это же не вина нашей авиакомпании, поэтому данное сообщение мы оцениваем как нейтральное».

— По каким трендам развиваются инновации? И какие новые технологии наиболее перспективны, на ваш взгляд?

— Популярность всех новых технологий развивается по классической кривой в виде горба с хвостом. Когда инновация появляется на рынке, то все хотят ее попробовать. Как грибы, растут стартапы, а заказчики-пионеры начинают эту технологию внедрять. Со временем становится понятно, что далеко не всегда ее внедрение экономически оправданно, и интерес частично угасает. Но потом находится та ниша, где эта технология дает экономический эффект. Популярность вновь растет, но уже медленнее, пока не зафиксируется на каком-то значении.

Я вижу две бурно развивающиеся технологии. Одна из них — это все, что связано с аналитикой больших данных, машинным обучением, искусственным интеллектом. Другая технология — это Process Mining: она позволяет на основе данных из информационных систем заказчика анализировать и выявлять слабые места в бизнес-процессах компании. А технологии интернета вещей и блокчейна уже зарекомендовали себя и находятся на этапе стабильного роста.

— В каких сферах бизнеса инновации приносят наибольшую эффективность?

— Они наиболее эффективны там, где есть большие, постоянно растущие объемы данных. Там, где эти системы данных сложные и разнородные, то есть когда данные поступают из множества источников, неструктурированные и неполные, в этом случае их очень сложно анализировать экспертам. Ну и, конечно, очень важны готовность и даже здоровый авантюризм руководства, чтобы первыми внедрить у себя новые решения.

— Как преобразования на рынке влияют на деятельность IT-компаний?

— Коренным образом. Каждая компания должна иметь у себя R&D-центр. Два года назад мы у себя такое подразделение создали, сейчас в нем работают более 50 человек. Кроме того, сейчас сотрудники параллельно с работой должны постоянно обучаться. Это, по сути, единственный способ оставаться на плаву в мире новых технологий, ведь люди, которые приходят из вузов в производство, понимают, что то, чему они учились, уже устарело. Я думаю, в ближайшие пять лет нас ждет кардинальное изменение на рынке обучения — уже сегодня мы видим, какой популярностью пользуются открытые онлайн-университеты.

Помимо этого, появляются новые методы управления, например, Agile. Конечно, у них есть свои минусы. Но главное, они призваны ускорить реакцию компании на внешние изменения, а также позволяют на самом раннем этапе проекта вовлечь заказчика в работу над ним.

— Что происходит с кадровой политикой под влиянием цифровой трансформации?

— Кадры — это самая острая проблема в IT. Их катастрофически не хватает. Один из главных вопросов внутри нашей компании — набор сотрудников и их удержание. Опытных специалистов относительно немного, а число реализуемых на рынке проектов растет, что является вызовом для любой IT-компании.

Но это как раз тот случай, когда новые технологии помогают нам вытянуть себя за волосы из болота, то есть решить те проблемы, которые они же и создают. Например, мы внедряем у себя и планируем в дальнейшем предлагать внешним заказчикам продукты, помогающие решить проблему кадров. Одна из таких систем — платформа Work`n`Roll — генерирует токены внутри компании и присуждает их сотруднику за хорошую работу. В обмен на них он может получать билеты в театр, направления на курсы, путевку и т. д. Кроме того, растет уверенность сотрудников в том, что положенные им бонусы они точно получат, потому что система поддерживает протокол smart-контрактов. Дополнительный эффект от этой системы: сотрудники учатся новым технологиям — блокчейну, криптовалютам, smart-контрактам.

Еще одна наша система называется iEmployee. Иногда то, что новый сотрудник не подходит, выясняется поздно — уже когда его трудоустроили, и он увольняется. Система iEmployee анализирует исторические данные в виде резюме, опросников, первых интервью с соискателями и позволяет HR-специалисту определить вероятность того, что сотрудник подходит компании и не откажется потом там работать. Причем iEmployee не заменяет HR-специалиста, а выступает в качестве советчика и рекомендателя. И вот именно этот кентавр — единое целое между человеком и алгоритмом — позволяет принимать более качественные решения.

Возрастает и роль аутсорсинга. Новые технологии — Big Data, машинное обучение — очень разнородны, и ни одна компания не может назвать себя тотальным специалистом по всем инновациям. Потому в ближайшем будущем станет больше узкопрофессиональных команд, иногда даже состоящих из одного специалиста, которые будут предоставлять аутсорсинговые услуги для более крупных компаний. Недаром очень интенсивно обсуждается термин «гиг-экономика» — когда огромное количество продуктов в IT будет создаваться интеграторами, работающими с независимыми группами, фрилансерами-разработчиками.

— Чего ожидает бизнес от госорганов в связи с цифровизацией?

— Роль госорганов важна — мы только что наблюдали полный хаос на рынке криптовалют из-за отсутствия регулирования. А с другой стороны, нужна умеренность. В России за последнее время вышло три важных документа, которые касаются новых технологий. Первый вводит понятие цифрового права и цифровых денег, второй касается регулирования больших данных. Третий — глобальная программа цифровой экономики России. Главный их плюс — привлечение внимания к новым технологиям. Как только об этом начинает говорить государство, на ситуацию вынужден обращать внимание и весь бизнес, что положительно сказывается на рынке в целом. Немаловажно и то, что выделяются значительные бюджеты на развитие этих технологий.

Однако подход к разработке вышеуказанных документов ровно такой же, какой был 10–15 лет назад. Основной задачей ставится максимальное регулирование со стороны государства. Если говорить о проекте закона о регулировании больших данных, основной фокус в нем делается на том, чтобы в руках государства были сосредоточены данные обо всех компаниях, которые эти данные поставляют. Практически ничего не сказано о том, как нужно эффективно обеспечить обмен данными между компаниями, хотя именно это может дать скачок на рынке Big Data.

В программе цифровой экономики ставятся конкретные количественные цели до 2024 года. Но есть программа стратегического развития IT-технологий на период 2012–2020 годов, и мы по ней вообще-то должны еще жить два года. Так вот в ней не упоминается половина из тех технологий, которые в новой цифровой программе определены как ключевые! Это показывает, насколько рискованно при нынешней динамике IT-технологий давать выраженные в цифрах обязательства на такой долгий период.

Хотелось бы, чтобы такие документы отражали качественные процессы и не ставили количественных задач, которые с большой долей вероятности не будут выполнены. Главное, чтобы они разрабатывались и утверждались при непосредственном участии активных игроков, реализующих эти технологии, и были направлены в первую очередь на развитие рынка в интересах всех его участников.

Интервью взяла Вера Панова

Жить онлайн | Бизнес-портал status-media.com: новости делового мира и финансов

Интернет давно и прочно вошёл в нашу жизнь, но непростые времена пандемии привели во всемирную сеть даже тех, кто ещё недавно противился непреклонным законам прогресса. Почему именно сейчас возможности CRM-маркетинга выросли в разы и как правильно выстраивать коммуникации с клиентами на каждом этапе принятия решения рассказывает Максим Иванов, основатель Digital-агентства «Дело тонкое».

Что такое CRM-маркетинг?

Один из принципов CRM-маркетинга — количество может убить качество. Заваливая клиента бесконечной рекламной, можно оттолкнуть и навсегда потерять его. Показывать рекламу надо, используя индивидуальный подход. Для этого понадобится предварительно собрать максимум информации о человеке. Например: пол, возраст, семейное положение, уровень достатка, количество посещений сайта и заинтересовавшие его страницы/товары. Эти данные помогут правильно выстроить коммуникации и составить для него грамотное предложение. Для сбора информации идеально подходит такой маркетинговый инструмент как квиз. Это небольшой опросник, возможно в игровой, юмористической форме, предлагающий человеку дать три-четыре ответа и выяснить, кто он, для чего ищет, допустим, квартиру и какой ценовой сегмент рассматривает. Дальше только остаётся транслировать потенциальному покупателю актуальные для него ценности. К примеру, если речь идёт о рынке недвижимости, то маркетолог составляет цепочку рекламных креативов (объявления, баннеры, письма), показывает фотографии, видео и реальные истории людей, уже живущих в том или ином квартале. По поведению человека и его реакции на эти сообщения выясняется, на какой стадии принятия решения он находится, и дальше следует либо приглашать его на экскурсию, либо помогать с обменом старой квартиры на новую или поиском хорошего банка для ипотеки. Важно помнить, что реклама должна быть в максимально возможном количестве мест, но речь не про количество, а про качество.Социальные сети, поисковые сайты, мессенджеры, письма, с помощью которых можно напоминать о себе, переводя его с одной стадии покупки на другую.

Почему это так актуально сейчас?

В период самоизоляции все коммуникации вынуждено перешли в онлайн. В интернет перешли даже те компании, которые ранее считали, что им это не нужно. Эксперты прогнозировали рост популярности всемирной сети, но не предполагали, насколько он окажется велик. Даже люди в возрасте начали осваивать интернет, а пенсионеры — одна из самых отзывчивых аудиторий, наряду с молодыми девушками. Когда пандемия закончится, никто уже не сможет жить как прежде. Многие привыкнут к тому, что совершать те или иные действия онлайн — удобно. Как говорится, попробовали — понравилось. Например, доставка продуктов из супермаркетов была довольно слабой нишей, а на данный момент её резко популярность возросла. Всё просто: не надо стоять в очереди, толкать перед собой корзинку с неудобными колесами, тащить до дома тяжёлые пакеты. Всё, что хочется, можно получить, не выходя из дома, и не проиграть при этом в цене.

В чём плюсы индивидуального подхода?

За последние несколько лет в разы увеличилось количество рекламы в различных источниках, но почти вся она работает по одинаковому избитому сценарию. Однако тенденция начинает смещаться в сторону персонализированных предложений. Индивидуальный подход и трансляция ценностей клиентам поможет выгодно выделяться на фоне конкурентов. Также становится популярным создание единого tone of voice для бренда — «тональность», которой он придерживается в коммуникации со своим потребителем. К примеру, в позиционировании жилого квартала для молодёжи будут присутствовать яркие, красочные тона, а для взрослых семейных людей акцент будет на чистом воздухе, тишине, уюте, зелёных красках. У такой рекламы есть характер, она легче запоминается и выделяется среди общего информационного шума. Большинство крупных компаний предпочитают работать с «горячими» клиентами, которые уже зашли на сайт или вбили в поисковике имя конкретной фирмы. Эта реклама самая дорогая, поскольку такие люди максимально близки к покупке. Но «холодная» аудитория гораздо шире. Да, чтобы провести человека через все этапы принятия решения, надо постараться. Но, если делать это грамотно, транслируя его ценности, то всё получится и по итогу реклама выйдет дешевле, а потенциальных покупателей удастся привлечь больше.

Как собрать базу лояльных покупателей?

Каждый посетитель сайта сохраняется в базе с помощью специальных трекеров. Дальше можно определить, к какому сегменту принадлежит человек, и показывать ему адресную рекламу любым удобным способом, а лучше компилировать всё сразу: мессенджеры, социальные сети, поисковики и электронную почту. Не надо забывать, что e-mail жив. У маркетологов сейчас в тренде интерактивные письма, внутри которых есть текст, картинки, активные ссылки, можно пройти опрос и загрузить определённый контент. Это целый сайт в почтовом ящике, который делает рекламу индивидуальной, запоминающейся, выделяющейся среди предложений конкурентов. Задача каждой компании — долгосрочное сотрудничество, и базы лояльных покупателей позволяют напоминать клиентам о себе и вдохновлять на новые покупки.

Текст: Евгения Черданцева

10 лучших способов создать приглашение для проведения опроса — Stripo.email

Итак, вы полны энергии и желания усовершенствовать свою бизнес-стратегию. Вы начинаете рассылать клиентам письма с опросами, чтобы определиться с направлениями улучшения бизнеса… Но почему-то почти не получаете ответов? Неудивительно, потому что для опросов средний показатель ответов составляет около 10%, и только всемирно известные крупные компании могут достичь 25%.

В этой статье мы расскажем о проверенных на практике способах повышения конверсии писем-приглашений для онлайн-опросов и поделимся наилучшими, на наш взгляд, примерами.

Как отправить приглашение и повысить процент ответов на опросы: 10 лучших рекомендаций

Письмо-опрос — это анкета, которая рассылается существующим клиентам. Сколько в ней должно быть вопросов? Это зависит от вас.

К счастью, у всех писем-опросов примерно одинаковые функции и цели — узнать, насколько довольны клиенты, — и они в целом схожи между собой.

1. Предлагайте скидки и купоны

Как правило, люди не особо заинтересованы в заполнении опросов. Но вы можете убедить их сделать это, предложив скидку. Например, 15% скидку на следующую покупку или что-то в этом стиле. Также можно предложить купон.

(Источник: рассылка от MoneyWise)

2. Соблюдайте краткость

Почему? Дело в том, что чем короче опрос, тем больше шансов, что ваши клиенты на нее ответят. Хороший способ сделать опрос коротким — не более 4-х вопросов. Людям понравится ваша забота о их времени.

Если респондент только недавно познакомился с вашими продуктами или сервисом, то лучше ограничиться всего одним вопросом. Например, «Понравился ли вам визит?» или «Порекомендуете ли вы нас другу?»

(Источник: Really Good Emails)

Если ответ положительный, не отвечайте на это сообщение. Если же отрицательный, стоит отправить более длинный опрос с 4-9 вопросами.

Как это сделать:

• просто вставьте 10 нумерованных изображений и добавьте соответствующую ссылку для каждого из них;

• пользователи кликают изображения, которые соответствуют их мнению;

• ваш ESP предоставит вам подробный отчет;
• не забудьте отправить follow-up письма тем, кто принял участие в вашем опросе.

Иногда вам нужен более длинный опрос, содержащий более 20 вопросов. В этом случае…

3. Укажите, сколько времени может занять ваш опрос

Если вы хотите, чтобы люди отвечали на ваши вопросы, вам нужно сообщить, сколько времени на это понадобится. Если опрос длинный и может занять 20 минут или больше, честно скажите об этом!

(Источник: рассылка от Contact Monkey)

Что касается времени, обязательно укажите дату истечения срока действия. Иногда люди откладывают заполнение форм, чтобы сделать это вечером или на выходных, когда найдется свободное время. Поэтому будет очень уместно указать, до какого времени опрос будет действителен.

Особенно если это длинный опрос.

Совет: после истечения срока действия и ссылка опроса, и страница сайта должны сообщать клиентам, что опрос завершен.

(Источник: рассылка от Litmus)

4. Обязательно поделитесь результатами

Если люди уделяют чему-либо время или голосуют за какие-то изменения, они, само собой, хотят узнать о результатах. Пообещайте им в самом начале вашего приглашения, что вы сообщите о результатах опроса.

(Источник: Really Good Emails)

И обязательно сделайте так, как пообещали. Добавьте несколько отзывов, если хотите.

(Источник: Really Good Emails)

5. Добавьте фото товаров, которые просите оценить

Разумеется, вы не единственный интернет-магазин, в котором люди делают покупки.

(Источник: Really Good Emails)

6. Отправьте напоминание о приглашении

Я обычно открываю опрос с намерением пройти его до конца. Но довольно часто меня прерывают, я не завершаю опрос… естественно, к концу дня я забываю, что хотела сделать.

(Источник: рассылка от Growth Marketing)

Всегда отправляйте напоминание, если хотите получить максимум ответов.

7. Выразите благодарность 

Всегда благодарите клиентов за то, что они делают. Во-первых, это правило вежливости. Во-вторых, людям важно чувствовать, что их ценят. Они действительно оказали нам услугу, заполнив опрос. В-третьих, мы таким образом даем им знать, что их голос принят.

(Источник: шаблон Stripo)

Использовать этот шаблон

8. При возможности встраивайте опросы 

В некоторых публикациях нашего блога мы уже делились результатами нашего теста:

Приглашения к опросу, содержащие встроенные AMP-формы, работали в 5,1 раза лучше, чем письма со ссылками на Google Form.

В специальной публикации на нашем блоге мы подробно рассказываем, как встраивать AMP-формы.

Это важно:

На ближайшее время мы запланировали релиз нового блока AMP-формы. Он позволит вам создавать формы, использовать их в письмах и сразу же просматривать ответы пользователей.

9. Поясните цели опроса

Дайте подписчикам знать, что вы проводите этот опрос именно для них. Конечно, это работает только в том случае, если вы делитесь действительно полезной информацией.

(Источник: рассылка от Neil Patel)

А вступления в духе «хотелось бы узнать» здесь не подходят.

10. Поработайте над заголовком письма-приглашения

Теперь, когда вы точно знаете, какие ингредиенты добавили в письма, можно тщательно продумать заголовок.

Общеизвестный факт: заголовок — один из трех ключевых факторов, которые определяют, откроют ли подписчики ваши письма.

Каким должен быть заголовок:

• высокоинформативным — то есть содержащим причину вашего обращения к клиентам;
• описательным — объясняющим, что конкретно вас интересует и сколько времени займет опрос;
• персонализированным — это опционально.

Примеры заголовков писем с приглашениями:

1. Maybelline — Нам нужно ваше мнение!
2. GetResponse — Мы будем рады вашей помощи! Заполните быстрый опрос и помогите нам улучшить GR.
3. Adweek — [ОПРОС] B2B маркетинг данных.
4. ReallyGoodEmails — Опрос говорит о…
5. Hubspot — примите участие в опросе о службе поддержки и тарифах сервиса.
6. Slack — помогите нам улучшить Slack, приняв участие в этом опросе.
7. Insurify — Спасибо + Быстрый опрос.
8. Taylor Stitch — Пожалуйста, оцените вашу недавнюю покупку.
9. Netflix — Netflix ценит ваше мнение.
10. The Frye Company — 50 долларов за ваш отзыв.
11. Thumbtack — Расскажите, что вы думаете о Thumbtack за 30 секунд.
12. Pinterest — Анна, есть секундочка? Оставьте отзыв о…
13. Neil Patel — Мне нужна ваша помощь.
14. MoneyWise — примите участие в коротком опросе, и вы сможете выиграть приз.
15. ProductPlan — примите участие в нашем опросе о продакт-менеджменте 2020 года.
16. MarketingProfs — Нужна ваша экспертная оценка — 10-й ежегодный опрос о контент-маркетинге.
17. Xbox Research — Forza: опрос о текущих мнениях.
18. Mailgun — Опрос о Mailgun — можете помочь?
19. Email on Acid — нужна небольшая помощь с новогодними решениями…

Это важно:

Обратите внимание, что в Stripo вы можете добавить и заголовок, и прехедер.

Как сделать письмо с приглашением к опросу

Опросы в письмах бывают трех типов:

1. встроенные формы;
2. ссылки на опросы;
3. изображения/иконки со ссылками.

1. Встроенные формы

Преимущества встроенных форм:

• они существенно повышают количество отзывов;

• вы можете сразу же видеть ответы;

• AMP-форма показывает, кто именно ответил на ваше письмо и как пользователи оценили ваши услуги.

Stripo позволяет встраивать формы Google и инновационные AMP-формы.

AMP-формы

AMP-формы позволяют получателям оценивать вас — ваш сервис, продукцию и т. д. — и оставлять комментарии непосредственно в письме.

Как мы говорили выше, наши тесты показали, что возможность заполнить форму прямо в письме без дополнительных действий повышает количество отзывов в 5,2 раза в сравнении со ссылками на внешние формы.

Как добавить AMP-форму в письмо

Это можно сделать двумя способами.

Способ 1. Создание открытой AMP-формы с нуля при помощи нашего Drag-n-Drop блока AMP Form

Пользователи смогут поделиться отзывами прямо в письме.

Подробности о том, как это сделать, вы найдете в статье нашего блога «Как легко и быстро создавать AMP-формы в письмах» или в нашем коротком видео.

Используйте открытые AMP-формы, чтобы увеличить количество отзывов

Обратите внимание, что вы можете увидеть ответы пользователей в своем аккаунте Stripo, раздел Data Service, или даже в собственном хранилище данных. При желании вы можете собирать ответы в обоих местах.

Способ 2. Создание AMP-форм с рейтинговым оцениванием при помощи шаблонов

Использовать этот шаблон

Чтобы пользователи могли оценить вас в письме, нужно:

• если вы хотите видеть имя и электронный адрес респондента, вставьте приведенный ниже код между строками </label> и <br> в код формы в шаблоне опроса.

<input type="hidden" name="email" hidden value="%EMAIL|%">

Почтовики, которые поддерживают такие формы

AMP-формы работают в Gmail на компьютерах и на Android, а в Mail.ru и на мобильных, и на десктопных устройствах.

AOL.com и Yahoo скоро тоже будут поддерживать эти формы.

Важно отметить:

Все пользователи, у которых не отобразится AMP-форма, увидят резервный вариант — представленный нами шаблон уже содержит и AMP-форму, и запасную кнопку приглашения к опросу (вам нужно будет просто вставить ссылку на фидбек-страницу вашего сайта или на форму Google).

С июня этого года вы можете собирать ответы пользователей в своем аккаунте Stripo, передавать их в Zapier или даже в Google Spreadsheet. В этой статье мы покажем в подробностях, как активировать Stripo Data Storage или подключить AMP-формы к Google Диску.

Формы Google

Работать с Google forms очень просто. Google уже предлагает бесплатные шаблоны, которые вы можете настраивать и использовать. Добавляйте собственные шрифты и изображения для вопросов, меняйте фон хедера… Google даже позволяет вставлять в опросы видео. Вы можете добавить столько вопросов, сколько хотите. Когда форма опроса будет готова, экспортируйте письмо в ESP. Формы Google абсолютно бесплатны.

Как встроить форму Google в письмо

• создайте форму Google;
• перед отправкой формы в ваши входящие обязательно включите метку «Добавить в письмо»;

• откройте письмо и кликните «Инспектировать» правой кнопкой мыши;
• найдите в таблице строку align=”center” и скопируйте ее;
• в Stripo перетащите базовый HTML-блок в шаблон письма-приглашения;
• замените «вставить HTML-код» своим кодом встраивания.

Готово!

Это важно:

Такие письма-опросы корректно работают в Gmail, AOL, Yahoo! Mail и Rambler.ru в браузерах Google Chrome, Mozilla Firefox, Safari, Opera. Но только на десктопных устройствах.

Пользователи мобильных устройств и получатели, которые предпочитают другие почтовики, увидят ссылку на опрос. Они также могут быть перенаправлены в Google Form после заполнения формы и нажатия кнопки «Отправить» (в Mail.ru и Apple Mail).

2. Ссылки на опросы

Преимущества таких опросов:

Полная веб-безопасность, так как они представляют собой URL-ссылки, оформленные в виде кнопок CTA.

Вы можете создать опрос с помощью Google Forms, SurveyMonkey или на своем сайте. Также ваш ESP может создать для вас опрос и предоставить вам ссылку.

Как добавить такой опрос в письмо

Точно так же, как и обычную ссылку, которую вы используете для кнопок.

Убедитесь, что кнопка призыва к действию достаточно заметна, а текст — четкий и убедительный.

3. Изображения/иконки со ссылками

Используйте иконки или изображения, чтобы попросить пользователей оценить ваш сервис.

Преимущества изображений/иконок со ссылками:

• они работают на всех популярных устройствах и в основных почтовиках;
• с их помощью легко собирать данные и анализировать ответы.

В этом примере письма-приглашения мы видим, как изображения используются для опросов.

(Источник: рассылка от HubSpot)

Как добавлять такие изображения в письма

• перетащите в шаблон структуру с нужным количеством колонок. Обратите внимание, что Stripo позволяет добавить до 8 колонок;

• перетащите блок «Изображение» в каждую колонку;
• загрузите изображения/иконки;
• добавьте соответствующие ссылки для каждой иконки или изображения;
• обязательно введите альтернативный текст для всех изображений — если изображения будут заблокированы в почтовике, пользователи все равно узнают, по какой иконке они кликают.

Создавайте электронные опросы для Ваших будущих кампаний

Начать сейчас

Оптимальное время для писем-приглашений

Длинные опросы о продуктах, публичные мероприятиях и т.д. стоит отправлять вечером, когда люди отдыхают дома.

Если опрос достаточно короткий и состоит всего из 2-3 вопросов, вы можете отправить его в любое время в течение дня.

Если же ваш опрос предназначен для сбора информации о каких-либо офисных программах, отправляйте их в рабочее время, когда люди находятся на работе и готовы ответить на все ваши вопросы, чтобы помочь вам улучшить приложения.

В том случае, если вы или ваш ESP уже проанализировали время рассылок и определили оптимальный вариант, используйте его для писем с приглашениями.

5 примеров писем-приглашений

Как утверждают SurveyMonkey, лучшие дни для опросов — понедельник и вторник. А по средам и пятницам маркетологи собирают наименьшее количество откликов.

Тем не менее вам и вашему ESP стоит проанализировать поведение клиентов, чтобы выяснить, когда лучше всего отправлять рассылки с приглашениями к опросу.

1. Годовой отчет — Stripo

Эта рассылка содержит встроенную AMP-форму. И наши получатели могут поделиться своим мнением о нас прямо в письме.

Мы провели A/B-тестирование. И скажем еще раз, что AMP-форма дала нам в 5,1 раза больше ответов, чем традиционная ссылка на форму Google.

Начать

2. Опрос о продакт-менеджменте 2020 года — ProductPlan

Письмо простое, компания в заголовке сообщает о цели опроса и предупреждает, сколько времени понадобится для заполнения анкеты.

3. Опрос об электронной почте в 2019 году — Litmus

Мне понравилось вступление — Litmus напомнил аудитории, что все мы используем их статистику. Вполне убедительный повод принять участие в опросе, правда?

4. Опрос говорит о… — Really Good Emails

Really Good Emails поделились результатами опроса. Мне это понравилось, потому что это делают только некоторые компании .

5. Открытка за отзыв о превью кампании? — Email on Acid

Когда компания улучшает свой сервис, она фактически оказывает услугу пользователям. И все-таки будет неплохо предложить купон или подарочную открытку за отзыв.

Email on Acid стали первым инструментом, который начал проверять письма на предмет доступности. Эта опция сделала их бесценными для всех email-маркетологов. И тем не менее Email on Acid провели опрос, в котором спрашивали у пользователей, что стоило бы еще улучшить в инструменте тестирования.

Мы создали для Вас несколько шаблонов писем-приглашений к опросу. Выберите тот, который вам нравится больше всего. Только настройте. И Ваше письмо готово к бою!

Выбрать шаблон

В завершение

Мы проанализировали самые эффективные способы усовершенствования приглашений к опросу и представили лучшие примеры таких писем. Мы уверены, что следование этим правилам поможет вам достичь цели — увеличить количество ответов. Собирая у пользователей эту информацию и анализируя ее, вы повысите шансы успешного развития бизнеса и сделаете свой сервис и рассылки еще актуальнее.

Искренне желаю удачи в ваших будущих начинаниях.

 

Создавайте эффективные электронные письма с приглашениями к опросу прямо сейчас.

Начать сейчас

Мы живем в Питере

Все команды, которые приводятся ниже, должны выполняться из командной строки. В Linux — это окно терминала, в Windows — командная строка (cmd.exe) с переходом в папку установки PostgreSQL.

Создание резервных копий

Базовая команда

Синтаксис:

pg_dump <параметры> <имя базы> > <файл, куда сохранить дамп>

Пример:

pg_dump users > /tmp/users.dump

Пользователь и пароль

Если резервная копия выполняется не от учетной записи postgres, необходимо добавить опцию -U с указанием пользователя:

pg_dump -U dmosk -W users > /tmp/users.5].*» -o -name «*-[023]?.*» \) -ctime +61 -delete

for dbname in `echo «SELECT datname FROM pg_database;» | psql | tail -n +3 | head -n -2 | egrep -v ‘template0|template1|postgres’`; do
    pg_dump $dbname | gzip > $pathB/$dbname-$(date «+%Y-%m-%d»).sql.gz
done;

* где /backup — каталог, в котором будут храниться резервные копии; pathB — путь до каталога, где будут храниться резервные копии.
* данный скрипт сначала удалит все резервные копии, старше 61 дня, но оставит от 15-о числа как длительный архив. После найдет все созданные в СУБД базы, кроме служебных и при помощи утилиты pg_dump будет выполнено резервирование каждой найденной базы. Пароль нам не нужен, так как по умолчанию, пользователь postgres имеет возможность подключаться к базе без пароля.

Зададим в качестве владельца файла, пользователя postgres:

chown postgres:postgres /scripts/postgresql_dump.sh

Для запуска резервного копирования по расписанию, сохраняем скрипт в файл, например, /scripts/postgresql_dump.sh и создаем задание в планировщике:

* мы откроем на редактирование cron для пользователя postgres.

3 0 * * * /scripts/postgresql_dump.sh

* наш скрипт будет запускаться каждый день в 03:00.

Права и запуск

Разрешаем запуск скрипта, как исполняемого файла:

chmod +x /scripts/postgresql_dump.sh

Единоразово можно запустить задание на выполнение резервной копии:

/scripts/postgresql_dump.sh

На удаленном сервере

Если сервер баз данных находится на другом сервере, просто добавляем опцию -h:

pg_dump -h 192.168.0.15 users > /tmp/users.dump

* необходимо убедиться, что сама СУБД разрешает удаленное подключение. 

Дамп определенной таблицы

Запускается с опцией -t <table> или —table=<table>:

pg_dump -t students users > /tmp/students.dump

* где students — таблица; users — база данных.

Размещение каждой таблицы в отдельный файл

Также называется резервированием в каталог. Данный способ удобен при больших размерах базы или необходимости восстанавливать отдельные таблицы. Выполняется с ипользованием ключа -d:

pg_dump -d customers > /tmp/folder

* где /tmp/folder — путь до каталога, в котором разместяться файлы дампа для каждой таблицы.

Только схемы

Для резервного копирования без данных (только таблицы и их структуры):

pg_dump —schema-only users > /tmp/users.schema.dump

Только данные

pg_dump —data-only users > /tmp/users.data.dump

Использование pgAdmin

Данный метод хорошо подойдет для компьютеров с Windows и для быстрого создания резервных копий из графического интерфейса.

Запускаем pgAdmin — подключаемся к серверу — кликаем правой кнопкой мыши по базе, для которой хотим сделать дамп — выбираем Резервная копия:

В открывшемся окне выбираем путь для сохранения данных и настраиваемый формат:

При желании, можно изучить дополнительные параметры для резервного копирования:

После нажимаем Резервная копия — ждем окончания процесса и кликаем по Завершено.

Не текстовые форматы дампа

Другие форматы позволяют делать частичное восстановление, работать в несколько потоков и сжимать данные.

Бинарный с компрессией:

pg_dump -Fc users > users.bak

Тарбол:

pg_dump -Ft users > users.tar

Directory-формат:

pg_dump -Fd users > users.dir

Использование pg_basebackup

pg_basebackup позволяет создать резервную копию для кластера PostgreSQL.

pg_basebackup -h node1 -D /backup

* в данном примере создается резервная копия для сервера node1 с сохранением в каталог /backup.

pg_dumpall

Данная утилита делает выгрузку всех баз данных, в том числе системных. На выходе получаем файл для восстановления в формате скрипта.

Утилиту удобно использовать с ключом -g (—globals-only) — выгрузка только глобальных объектов (ролей и табличных пространств).

Для создание резервного копирования со сжатием:

pg_dumpall | gzip > cluster.tar.gz

Восстановление

Может понадобиться создать базу данных. Это можно сделать SQL-запросом:

=# CREATE DATABASE users WITH ENCODING=’UTF-8′;

* где users — имя базы; UTF-8 — используемая кодировка.

Базовая команда

Синтаксис:

psql <имя базы> < <файл с дампом>

Пример:

psql users < /tmp/users.dump

С авторизацией

При необходимости авторизоваться при подключении к базе вводим:

psql -U dmosk -W users < /tmp/users.dump

* где dmosk — имя учетной записи; опция W потребует ввода пароля.

Из файла gz

Сначала распаковываем файл, затем запускаем восстановление:

psql users < users.dump

Или одной командой:

zcat users.dump.gz | psql users

Определенную базу

Если резервная копия делалась для определенной базы, запускаем восстановление:

psql users < /tmp/database.dump

Если делался полный дамп (всех баз), восстановить определенную можно при помощи утилиты pg_restore с параметром -d:

pg_restore -d users cluster.bak

Определенную таблицу

Если резервная копия делалась для определенной таблицы, можно просто запустить восстановление:

psql users < /tmp/students.dump

Если делался полный дамп, восстановить определенную таблицу можно при помощи утилиты pg_restore с параметром -t:

pg_restore -a -t students users.dump

С помощью pgAdmin

Запускаем pgAdmin — подключаемся к серверу — кликаем правой кнопкой мыши по базе, для которой хотим восстановить данные — выбираем Восстановить:

Выбираем наш файл с дампом:

И кликаем по Восстановить:

Использование pg_restore

Данная утилита предназначена для восстановления данных не текстового формата (в одном из примеров создания копий мы тоже делали резервную копию не текстового формата).

Из бинарника:

Из тарбола:

pg_restore -Ft users.tar

С создание новой базы:

pg_restore -Ft -C users.tar

Возможные ошибки

Input file appears to be a text format dump. please use psql.

Причина: дамп сделан в текстовом формате, поэтому нельзя использовать утилиту pg_restore.

Решение: восстановить данные можно командой psql <имя базы> < <файл с дампом> или выполнив SQL, открыв файл, скопировав его содержимое и вставив в SQL-редактор.

No matching tables were found

Причина: Таблица, для которой создается дамп не существует. Утилита pg_dump чувствительна к лишним пробелам, порядку ключей и регистру.

Решение: проверьте, что правильно написано название таблицы и нет лишних пробелов.

Too many command-line arguments

Причина: Утилита pg_dump чувствительна к лишним пробелам.

Решение: проверьте, что нет лишних пробелов.

Aborting because of server version mismatch

Причина: несовместимая версия сервера и утилиты pg_dump. Может возникнуть после обновления или при выполнении резервного копирования с удаленной консоли.

Решение: нужная версия утилиты хранится в каталоге /usr/lib/postgresql/<version>/bin/. Необходимо найти нужный каталог, если их несколько и запускать нужную версию. При отсутствии последней, установить.

No password supplied

Причина: нет системной переменной PGPASSWORD или она пустая.

Решение: либо настройте сервер для предоставление доступа без пароля в файле pg_hba.conf либо экспортируйте переменную PGPASSWORD (export PGPASSWORD или set PGPASSWORD).

На этом всё. Спасибо за внимание.

методов тестирования и оценки вопросов опроса | Общественное мнение Ежеквартально

Исследование предварительного тестирования опроса обнаруживает парадокс. С одной стороны, предварительное тестирование — единственный способ заранее оценить, создает ли вопросник проблемы для интервьюеров или респондентов. Следовательно, как элементарные учебники, так и опытные исследователи заявляют о необходимости предварительного тестирования. С другой стороны, большинство учебников предлагают минимальное руководство по методам предварительного тестирования, если оно вообще есть, а опубликованные отчеты об исследованиях обычно не содержат информации о том, были ли анкеты предварительно протестированы, и если да, то как и с какими результатами.Более того, до недавнего времени было относительно мало методологических исследований по предварительному тестированию. Таким образом, общепризнанная важность предварительного тестирования была оценена в большей степени в нарушении, чем на практике, и о многих аспектах предварительного тестирования, в том числе о том, в какой степени предварительные тесты служат своей цели и приводят к улучшенным анкетам, известно немного.

Предварительное тестирование датируется основанием современного выборочного обследования в середине 1930-х годов или вскоре после этого. Самые ранние упоминания в научных журналах относятся к 1940 г., когда предварительные испытания, по-видимому, уже были хорошо зарекомендовали себя.В том же году Кац сообщил: «Американский институт общественного мнения [т.е. Gallup] и Fortune [т.е. Roper] предварительно протестируют свои вопросы, чтобы избежать фраз, которые будут непонятны публике, и избежать вопросов, неизвестных человеку из улица »(Кац 1940, с. 279).

Хотя отсутствие документации означает, что мы не можем быть уверены в этом, у нас сложилось впечатление, что на протяжении большей части истории исследований в области опросов существовала одна общепринятая форма предварительного тестирования. Обычное предварительное тестирование — это, по сути, генеральная репетиция, во время которой интервьюеры проходят подготовку, подобную той, что используется для основного обследования, и администрируют анкету так же, как и во время самого обследования.После того, как каждый интервьюер проведет несколько интервью, можно подсчитать распределение ответов, и есть разбор полетов, в ходе которого интервьюеры рассказывают о своем опыте использования анкеты и высказывают свое мнение о проблемах анкеты.

Исследователи опроса продемонстрировали удивительную уверенность в этом подходе. По словам одного ведущего эксперта, «обычно требуется не более 12–25 случаев, чтобы выявить основные трудности и слабые места в вопроснике предварительного тестирования» (Sheatsley 1983, p.226). Это суждение аналогично мнению другого известного методолога, который утверждал, что «20–50 случаев обычно достаточно, чтобы обнаружить основные недостатки в анкете» (Sudman 1983, p. 181).

Эта вера в традиционное предварительное тестирование, вероятно, основывается на общем опыте, что небольшое количество традиционных интервью часто выявляет многочисленные проблемы, такие как вопросы, содержащие необоснованные предположения, неуклюжие формулировки или отсутствующие категории ответов. Однако нет никаких научных доказательств, подтверждающих уверенность в том, что этот вид предварительного тестирования выявляет основные проблемы в анкете.

Обычные предварительные испытания основаны на предположении, что проблемы с анкетой будут обозначены либо ответами, которые вызывают вопросы (например, «не знаю» или отказы), которые будут отображаться в счетах ответов, либо некоторыми другими видимыми последствиями. задавать вопросы (например, неуверенность или дискомфорт при ответе), которые интервьюеры могут описать во время подведения итогов. Однако, как отметили Каннелл и Кан (1953, стр. 353), «точных тестов для этих характеристик не существует». Далее они говорят: «На данном этапе наиболее полезна помощь опытных интервьюеров для получения субъективной оценки анкеты.Точно так же Мозер и Калтон (1971, стр. 50) пришли к выводу: «Практически самое полезное свидетельство адекватности анкеты — это отчет отдельного полевого работника [т. Е. Интервьюера] о том, как прошли интервью, с какими трудностями пришлось столкнуться, какие изменения следует внести и так далее ». Этот акцент на восприятии интервьюера хорошо иллюстрируется советом Судмана и Брэдберна (Sudman and Bradburn, 1982, стр. 49) по обнаружению неожиданных значений слов: «Тщательный экспериментальный тест, проведенный чувствительными интервьюерами, является самым прямым способом обнаружения этих проблемных слов» (курсив добавлен).

Тем не менее, даже если бы интервьюеры были хорошо обучены распознаванию проблем с вопросами (по сравнению с отсутствием специальной подготовки, что является типичным), обычное предварительное тестирование все равно было бы плохо приспособлено для выявления многих проблем с вопросниками. Определенные виды проблем не будут очевидны при наблюдении за поведением респондентов, и сами респонденты могут не знать о проблемах. Например, респонденты могут неправильно понять цель закрытого вопроса, даже не указав на то, что они сделали это.Более того, поскольку обычные предварительные тесты почти всегда «не объявляются» респонденту, в отличие от «участия» (в которых респонденты информируются о цели предварительного тестирования; см. Converse and Presser 1986), респондентов обычно не спрашивают напрямую об их интерпретациях или другом проблемы, которые могли вызвать вопросы. В результате необъявленное традиционное предварительное тестирование кажется лучше предназначенным для выявления проблем, которые ставит вопросник, для интервьюеров, которые знают цель тестирования, чем для респондентов, которые этого не знают.

Кроме того, когда традиционные интервьюеры, проводящие предварительное тестирование, действительно описывают проблемы респондентов, не существует правил для оценки их описаний или для определения того, какие выявленные проблемы следует решить. Исследователи обычно полагаются на интуицию и опыт, чтобы оценить серьезность проблем и решить, как исправить вопросы, которые, как считается, имеют недостатки.

В последние десятилетия растущее осознание недостатков традиционного предварительного тестирования привело к двум взаимосвязанным изменениям.Во-первых, произошел незначительный сдвиг в целях тестирования: с исключительной ориентации на выявление и устранение явных проблем, с которыми сталкиваются интервьюеры и респонденты, к более широкой заботе о повышении качества данных, чтобы измерения соответствовали целям обследования. Во-вторых, были разработаны или адаптированы новые методы тестирования для других целей. Эти методы включают когнитивные интервью, кодирование поведения, задержку ответа, анализ виньеток, формальные опросы респондентов, эксперименты и статистическое моделирование. ¹ Развитие этих методов поднимает вопросы о том, как их лучше всего использовать в комбинации, а также о том, действительно ли они приводят к улучшениям в измерениях обследования. Кроме того, внедрение компьютеризированных способов администрирования создает особые проблемы для предварительного тестирования, так же как и опросы особых групп населения, таких как дети, учреждения и те, которым требуются анкеты на более чем одном языке — все это значительно увеличилось в последние годы. Мы рассматриваем эти разработки, опираясь на последние исследования, представленные в первом томе, посвященном исключительно тестированию и оценке анкет (Presser et al.2004 г.).

Познавательные интервью

Обычные интервью сосредоточены на получении кодируемых ответов на вопросы. Когнитивные интервью, напротив, сосредоточены на предоставлении представления о процессах, вызванных вопросами. Параллельные или ретроспективные «размышления» и / или исследования используются для составления отчетов о мыслях респондентов при ответах на вопросы опроса или сразу после них. Цель состоит в том, чтобы выявить мыслительные процессы, связанные с интерпретацией вопроса и получением ответа.Эти мысли затем анализируются, чтобы диагностировать проблемы, связанные с вопросом.

Хотя он обычно не ассоциируется с когнитивным интервьюированием, Уильям Белсон (1981) стал пионером версии этого подхода. В середине 1960-х годов Белсон разработал «интенсивные» интервью, чтобы изучить семь вопросов, которые респондентам задавали накануне во время обычного интервью, проводимого отдельным интервьюером. Респондентам сначала напомнили точный вопрос и ответ, который они на него дали. Затем интервьюер спросил: «Когда вам вчера задали этот вопрос, что именно, по вашему мнению, означал этот вопрос?» После недирективного исследования, чтобы прояснить, что этот вопрос значил для респондента, интервьюеры спросили: «А теперь скажите мне, как именно вы получили свой ответ на этот вопрос.Подумай обо мне так же, как вчера. . . только на этот раз скажи это вслух ». Затем, после недирективного исследования, чтобы выяснить, как был выработан ответ, интервьюеры поставили сценарии зондов по различным аспектам вопроса. Эти тесты различались по семи вопросам и были разработаны для проверки гипотез о проблемах, характерных для каждого из вопросов. Наконец, после повторного прослушивания ключевого вопроса респондентов попросили сказать, как они теперь на него ответят.Если их ответ отличался от того, который они дали накануне, их просили объяснить, почему (Приложение, стр. 194–97). Шесть интервьюеров, прошедших двухнедельное обучение, провели 265 записанных на аудиозаписи интенсивных интервью с поперечной выборкой жителей Лондона, Англия. Четыре аналитика прослушали записи и закодировали возникновение различных проблем.

Эти интенсивные интервью существенно отличались от сегодняшних когнитивных интервью, которые объединяют первоначальные и последующие интервью в единой администрации с одним интервьюером.Белсон предположил, что респонденты могли точно реконструировать свои мысли из интервью, проведенного накануне, что несовместимо с тем, что мы теперь знаем о достоверности самооценок когнитивных процессов. Однако во многих отношениях Белсон значительно превзошел более ранние работы, такие как Cantril and Fried (1944), в которых использовались всего один или два скриптовых зонда для оценки интерпретации респондентами вопросов опроса. Таким образом, парадоксально, что подход Белсона мало повлиял на практику предварительного тестирования, результат, возможно, из-за того, что он был очень трудоемким.

Поворотный момент, который привел к роли когнитивных интервью в предварительном тестировании, произошел только два десятилетия спустя на конференции «Когнитивные аспекты методологии опроса» (CASM) (Jabine et al. 1984). Особое влияние оказал постконференционный анализ Лофтус (1984) того, как респонденты отвечали на вопросы анкеты о прошлых событиях, в котором она использовала технику размышлений вслух, которую Герберт Саймон и его коллеги использовали для изучения решения проблем (Ericsson and Simon 1980). Впоследствии грант программы Мюррея Аборна в Национальном научном фонде для Монро Сиркен поддержал как исследования полезности этого метода для понимания ответов на вопросы опроса (Lessler, Tourangeau, and Salter, 1989), так и создание в Национальном центре статистики здравоохранения (NCHS). ) в 1985 году первой «когнитивной лаборатории», где этот метод можно было регулярно использовать для предварительного тестирования анкет (например,г., Ройстон и Берчини, 1987 г.).

Подобные когнитивные лаборатории вскоре были созданы другими статистическими агентствами США и исследовательскими организациями. ² Основная, но не исключительная деятельность лаборатории заключалась в проведении когнитивных собеседований по предварительным анкетам. Благодаря особым исключениям из требований о разрешении на проведение обследований Управления управления и бюджета, предварительное тестирование для обследований правительства США резко увеличилось в течение 1990-х годов (Martin, Schechter, and Tucker, 1999). В то же время лаборатории предприняли предварительные шаги по стандартизации и систематизации своих практик в учебных пособиях (например,g., Willis 1994) или протоколы предварительного тестирования (например, DeMaio et al. 1993).

Несмотря на то, что в настоящее время существует общее согласие относительно ценности когнитивного интервью, нет единого мнения о передовых методах, например о том, следует ли (и когда) использовать аналитические данные по сравнению с исследованиями, использовать ли параллельную или ретроспективную отчетность и как анализировать и оцените результаты. Частично это связано с нехваткой методологических исследований, посвященных этим вопросам, но это также связано с недостаточным вниманием к теоретическим основам применения когнитивных интервью для предварительного тестирования опросов.

Как отмечает Уиллис (2004), Эрикссон и Саймон (1980) утверждали, что вербальные отчеты с большей вероятностью будут достоверными, если они включают информацию, имеющуюся у человека в краткосрочной (в отличие от долгосрочной) памяти, и если Сама по себе вербализация принципиально не меняет мыслительные процессы (например, не требует дальнейшего объяснения). Таким образом, некоторые задачи опроса (например, нетривиальные формы поиска информации) могут хорошо подходить для разъяснения в ходе интеллектуального интервью. Однако общее использование методов устных отчетов для определения когнитивных процессов, связанных с ответами на вопросы обследования, трудно оправдать, особенно для задач (таких как понимание терминов), которые не удовлетворяют условиям для достоверных устных отчетов.Уиллис также отмечает, что социальное взаимодействие в когнитивных интервью, проводимых интервьюером, может нарушать ключевое предположение, высказанное Эрикссоном и Саймоном в отношении использования этого метода.

Исследования продемонстрировали различные проблемы с методами, обычно используемыми для проведения предварительных тестов когнитивного интервью. Битти (2004), например, обнаружил, что определенные виды зондов создают трудности, которые респонденты не испытывали бы в противном случае. Его анализ набора когнитивных интервью показал, что респонденты, получившие переориентирующие зонды (с просьбой дать ответ), не испытывали особых трудностей с выбором ответа, тогда как те, кто получал детальные зонды (с запросом дополнительной информации), испытывали значительные трудности.Битти также обнаружил, что помимо чтения вопросов, когнитивные пробы (те, которые традиционно связаны с когнитивными интервью, такие как «О чем вы думали?», «Как вы это придумали?» Или «Что [термин] значит для вас?») ? ») Составляли менее одной десятой всех высказываний интервьюера. Более девяти десятых состояли из подтверждающих запросов (повторение того, что респондент сказал в запросе на подтверждение), расширенных запросов (запросов на уточнение, например «Расскажите мне об этом подробнее»), функциональных замечаний (повторение или уточнение вопроса, включая переориентирующие датчики) и обратной связи (например,г., «спасибо; это то, что я хочу знать »или« Я знаю, что вы имеете в виду »). Таким образом, результаты когнитивного интервью, по-видимому, в значительной степени определяются вкладом интервьюеров, которые могут быть недостаточно сфокусированы на способах поддержки исследования. В качестве одного из способов решения этой проблемы Битти рекомендовал обучить когнитивных интервьюеров распознавать различия между зондами и ситуации, в которых каждый из них должен быть задействован.

Конрад и Блэр (2004) утверждают, что качество устного отчета следует оценивать с точки зрения выявления и устранения проблемы, которые являются центральными целями когнитивного интервью.Они разработали экспериментальное сравнение двух различных подходов к когнитивному интервью: один, неконтролируемый, с использованием нестандартных практик четырех опытных когнитивных интервьюеров; другой, более контролируемый, с использованием четырех менее опытных интервьюеров, обученных зондировать только тогда, когда есть явные признаки того, что респондент испытывает проблему. Обычные когнитивные интервью выявили гораздо больше проблем, чем условные пробные интервью.

Однако, как и у Битти (2004), большее количество проблем не означало более качественных результатов.Конрад и Блэр оценили надежность идентификации проблемы двумя способами: по соглашению между экспертами среди набора обученных кодировщиков, которые просматривали транскрипции записанных на пленку интервью, и по соглашению между кодировщиками и интервьюерами. В целом согласие было довольно низким, что согласуется с выводами некоторых других исследователей о надежности данных когнитивного интервью (Presser and Blair 1994). Но надежность условных пробных интервью была выше, чем у обычных. (Частично это может быть связано с тем, что условные интервьюеры-зонды прошли обучение тому, что следует считать «проблемой», по сравнению с обычными интервьюерами, которым не было дано определения того, что составляет «проблему».») Более того, как и ожидалось, условные интервьюеры проводили зондирование гораздо реже, чем обычные интервьюеры, но больше их зондирований проводилось в случаях, связанных с выявлением проблемы. Таким образом, нам необходимо переосмыслить то, что интервьюеры делают в когнитивных интервью.

Важность этого переосмысления подчеркнута DeMaio и Landreth (2004), которые провели эксперимент, в котором трем различным организациям было поручено, чтобы по два интервьюера провели по пять когнитивных интервью по одному и тому же вопроснику с использованием любых методов, типичных для организации. а затем предоставить отчет с указанием проблем в анкете, а также пересмотренную анкету, посвященную проблемам.Кроме того, экспертные обзоры исходной анкеты были получены от трех человек, не участвовавших в когнитивных интервью. Наконец, четвертая организация провела еще одну серию когнитивных интервью для проверки пересмотренных анкет.

Три организации сообщили о значительном различии по многим аспектам интервью, включая местоположение (дом респондента или исследовательская лаборатория), характеристики интервьюера (полевой интервьюер или исследовательский персонал), стратегию вопросов (подумайте вслух или зонды) и источник данных (обзор аудиокассет по сравнению с записями и воспоминаниями интервьюера).Эта неоднородность согласуется с выводами Блэра и Прессера (Blair and Presser, 1993), но она еще более поразительна, если учесть, что за многие прошедшие годы могло появиться некоторое единообразие практики. Однако это означает, что различия в результатах в разных организациях нельзя объяснить каким-либо одним фактором.

В разных организациях наблюдались различия как в количестве вопросов, выявленных как имеющие проблемы, так и в общем количестве выявленных проблем. Более того, по конкретным диагностированным проблемам между организациями было лишь небольшое совпадение.Точно так же когнитивные интервью и обзоры экспертов гораздо больше пересекались в выявлении проблемных вопросов, чем в выявлении самих проблем. Организация, выявившая наименьшее количество проблем, также показала наименьшее согласие с экспертной комиссией. Эта организация была единственной, кто не проверял аудиозаписи при оценке результатов, что позволяет предположить, что использование исключительно записей интервьюера и его памяти приводит к ошибке. ³ Однако результаты тестирования пересмотренных анкет не определили, что одна организация неизменно лучше или хуже других.

Итак, исследование когнитивных интервью начало показывать, как методы, используемые для проведения интервью, влияют на получаемые данные. Тем не менее, требуется гораздо больше работы, чтобы заложить основу для оптимального когнитивного собеседования.

Дополнения к стандартным предварительным испытаниям

В отличие от когнитивных интервью, которые полностью отличаются от обычных предварительных тестов, другие методы тестирования, которые были разработаны, могут быть реализованы как дополнения к традиционным предварительным тестам (или как дополнения к собственно опросу).К ним относятся кодирование поведения, задержка ответа, формальные опросы респондентов и виньетки.

Кодирование поведения было разработано в 1960-х годах Чарльзом Каннеллом и его коллегами из Исследовательского центра обследования Мичиганского университета, и его можно использовать для оценки как интервьюеров, так и вопросов. Его ранние приложения были почти полностью ориентированы на интервьюеров, поэтому не оказали немедленного влияния на практику предварительного тестирования. В конце 1970-х — начале 1980-х годов несколько европейских исследователей применили кодирование поведения для изучения вопросов, но оно не применялось к предварительному тестированию в Соединенных Штатах до конца 1980-х годов (статья Оксенберга, Каннелла и Калтона 1991 года описывает кодирование поведения как одно из двух « новые стратегии предварительного тестирования вопросов »).

Кодирование поведения включает в себя мониторинг интервью или просмотр записанных на пленку интервью (или стенограмм) для подмножества вербального поведения интервьюера и респондента в процессе задавания вопросов и ответов на них. Вопросы, отмеченные высокой частотой определенного поведения (например, интервьюер не прочитал вопрос дословно или респондент попросил разъяснений), считаются нуждающимися в исправлении.

Ван дер Зувен и Смит (2004) описывают расширение кодирования поведения, которое опирается на последовательность поведения интервьюера и респондента, а не только на частоту индивидуального поведения.На основе последовательности кодов поведения вопроса взаимодействие кодируется как парадигматическое (интервьюер прочитал вопрос правильно, респондент выбрал одну из предложенных альтернатив, а интервьюер правильно закодировал ответ), проблемное (последовательность была непарадигматической, но проблема была решена; например, респондент попросил разъяснений, а затем выбрал одну из предложенных альтернатив) или неадекватной (последовательность была непарадигматической, и проблема не была решена).Вопросы с высокой долей непарадигматических последовательностей определены как нуждающиеся в доработке.

Ван дер Зувен и Смит сравнили результаты этого подхода в опросе пожилых людей с результатами базового кодирования поведения и четырех методов «прогнозирования», то есть методов, не требующих сбора данных: обзор, проведенный пятью экспертами по методологии ; обзоры авторов, основанные на двух различных схемах кодирования оценок анкет; и «предсказатель качества», разработанный Сарисом и его коллегами, который мы описываем в разделе «статистическое моделирование» ниже.Два метода, основанные на поведенческих кодах, дали очень похожие результаты, как и три из четырех ожидаемых методов, но два набора методов выявили очень разные проблемы. Как отмечают Ван дер Зувен и Смит, методы ex ante указывают, что могло пойти не так, как , в вопроснике, тогда как коды поведения и анализ последовательности показывают, что на самом деле привело к ошибке .

Другой метод тестирования, основанный на наблюдении за поведением, включает измерение «задержки ответа», времени, которое требуется респонденту, чтобы ответить на вопрос.Поскольку ответы на большинство вопросов даются быстро, измерение задержки требует такой точности (до долей секунды), которая практически невозможна без компьютеров. Таким образом, только после широкого распространения компьютерного администрирования опросов в 1990-х годах измерение задержки ответа было введено в качестве инструмента тестирования (Bassili and Scott 1996).

Draisma и Dijkstra (2004) использовали задержку ответа для оценки точности ответов респондентов и, следовательно, косвенно для оценки самих вопросов.Авторы пришли к выводу, что более длительные задержки сигнализируют о неуверенности респондента, и проверили эту идею, сравнив задержку точных и неточных ответов (с точностью, определяемой информацией из другого источника). Кроме того, они сравнили производительность задержки ответа с некоторыми другими индикаторами неопределенности.

В многомерном анализе и более длительные задержки ответа, и выражения респондентами большей неуверенности в своих ответах были связаны с неточными ответами.Другое исследование (Martin 2004; Schaeffer and Dykema 2004) сообщает об отсутствии связи (или даже, в некоторых исследованиях, об обратной связи) между уверенностью или уверенностью респондентов и точностью их ответов. Таким образом, в будущей работе необходимо разработать более точную спецификацию условий, в которых различные меры неопределенности респондента могут быть полезны для прогнозирования ошибки ответа.

Несмотря на то, что интерпретация задержки ответа менее прямолинейна, чем интерпретация других показателей проблем с вопросами (длительное время может указывать на тщательную обработку, а не на сложность), метод кажется достаточно многообещающим, чтобы стимулировать его дальнейшее использование.Тем более что простота сбора информации о задержках означает, что ее можно регулярно включать в компьютерные опросы по очень низкой цене. Полученный в результате сбор данных во многих различных опросах будет способствовать лучшему пониманию значения и последствий задержки ответа и того, как ее лучше всего сочетать с другими методами тестирования, такими как кодирование поведения, для улучшения диагностики проблем с вопросниками.

В отличие от кодирования поведения и задержки ответа, которые являются «необъявленными» методами тестирования, опросы респондентов являются методом «участия», который информирует респондента о цели запроса.Такие опросы уже давно рекомендуются в качестве дополнения к обычным предтестовым интервью (Kornhauser 1951, p. 430), хотя чаще всего они проводятся как неструктурированные запросы, импровизированные интервьюерами. Мартин (2004) показывает, как проведение разборов в стандартизированной манере может выявить как значения вопросов, так и реакцию респондентов на вопросы. Кроме того, она демонстрирует, как разбор полетов можно использовать для измерения степени, в которой вопросы приводят к упущенной или неверно сообщенной информации.

Мартин (2004) также обсуждает виньетки — гипотетические сценарии, которые оценивают респонденты, — которые могут быть включены в необъявленные или участвующие предварительные тесты. Анализ виньеток, по-видимому, хорошо подходит для (1) изучения того, как люди думают о концепциях; (2) проверить, соответствуют ли интерпретации понятий респондентами предполагаемым; (3) анализировать размерность понятий; и (4) диагностировать другие проблемы с формулировкой вопроса. Мартин предлагает доказательства валидности анализа виньеток, опираясь на оценки изменений анкеты, сделанные на основе этого метода.

Исследование, которое мы рассмотрели, предполагает, что различные дополнения к стандартным предварительным тестам различаются по типам проблем, которые они подходят для выявления, их потенциалу для диагностики характера проблемы и, таким образом, для внесения соответствующих изменений, надежности их результатов и ресурсы, необходимые для их проведения. Представляется, например, что формальные опросы респондентов и анализ виньеток более подходят для выявления определенных типов проблем понимания, чем кодирование поведения и задержка ответа.Тем не менее, у нас нет точных оценок многих различий в методах. Подразумевается, что нам нужно не только исследование, специально предназначенное для проведения таких сравнений, но и то, что во многих случаях, вероятно, потребуются несколько методов тестирования, чтобы убедиться, что респонденты понимают концепции, лежащие в основе вопросов, и могут и хотят отвечать на них точно (для хороших примеров о мультиметодных приложениях см. Kaplowitz, Lupi, and Hoehn [2004] и Schaeffer and Dykema [2004]).

Эксперименты

Как дополнительные методы к традиционным предварительным тестам, так и когнитивные интервью выявляют проблемы анкеты и приводят к пересмотрам, предназначенным для решения этих проблем.Однако, чтобы определить, являются ли исправления улучшениями, ничто не может заменить экспериментальное сравнение исходного и исправленного элементов. Такие эксперименты бывают двух видов. Во-первых, можно сравнить исходный и измененный элементы, используя метод (ы) тестирования, который выявил проблему (ы). Таким образом, если когнитивные интервью показали, что респонденты испытывают трудности с заданием, этот вопрос и его исправление можно протестировать в другом раунде когнитивных интервью, чтобы подтвердить, что в новой редакции таких проблем меньше, чем в исходной.Интерпретация результатов такого рода экспериментов обычно проста, хотя нет уверенности в том, что наблюдаемые различия будут иметь какое-либо влияние на оценки обследования.

Во-вторых, исходные и исправленные элементы могут быть проверены, чтобы выяснить, какое влияние они оказывают на оценки обследования, если таковые имеются. Интерпретация такого рода экспериментов иногда менее прямолинейна, но такие эксперименты с разделенной выборкой уже давно проходят предварительное тестирование. Действительно, они были предметом одной из самых ранних статей, посвященных предварительному тестированию (Sletto 1950), хотя описанные в нем эксперименты касались влияния на сотрудничество с почтовыми опросами административных вопросов, таких как длина анкеты, характер апелляции сопроводительного письма, использование последующих открыток и макета анкеты.Ни один из примеров не касался формулировки вопроса.

Фаулер (2004) описывает три способа оценки результатов экспериментов, в которых сравниваются формулировки вопросов: различия в распределении ответов, проверка соответствия стандарту и удобство использования, измеренное, например, с помощью кодирования поведения. Он показывает, как когнитивные интервью и эксперименты дополняют друг друга: первые выявляют потенциальные проблемы и предлагают решения, а вторые проверяют влияние решений. Как он утверждает, экспериментальные данные необходимы для оценки того, влияют ли разные формулировки вопросов на результаты опроса, и если да, то насколько.

Фаулер сосредотачивается на сравнении отдельных элементов, которые различаются только одним способом. Эксперименты также можно использовать для тестирования версий целых вопросников, которые различаются множеством сложных способов, как описано Муром и др. (2004). Эти исследователи пересмотрели анкету Обзора доходов и участия в программах (SIPP) для достижения трех основных целей: минимизировать нагрузку на респондентов и, таким образом, уменьшить количество неотвечающих как единиц, так и вопросов; уменьшить количество ошибок в отчетах о «смещении»; и задать вопросы по новым темам.Затем, чтобы оценить влияние изменений перед переходом на новую анкету, был проведен эксперимент, в котором респонденты были случайным образом назначены либо на новую, либо на старую версию.

Как неполучение ответов, так и систематическая погрешность были ниже в новой анкете, и, за одним исключением, общие оценки доходов и активов (ключевые показатели в опросе) не различались между версиями. С другой стороны, сокращения количества неответов от единиц не было достигнуто (на самом деле, в начальных волнах количество неответов было выше для пересмотренной версии), а введение нового вопросника заняло больше времени.Мур и др. Обратите внимание, что эти результаты могли быть вызваны двумя усложняющими особенностями экспериментального плана. Во-первых, как для старых, так и для новых инструментов использовались опытные интервьюеры SIPP. Более высокий уровень комфорта интервьюеров со старой анкетой (некоторые сообщили, что они могут «вводить ее во сне»), возможно, способствовал тому, что они использовали ее быстрее, чем новая анкета, и убедили большее количество респондентов сотрудничать с ней. Во-вторых, добавление нового содержания в пересмотренный инструмент может более чем компенсировать изменения, которые были внесены для сокращения интервью.

Tourangeau (2004) утверждает, что практические соображения, которые приводят к тому, что многие экспериментальные планы сравнивают пакеты переменных, как в случае SIPP, затрудняют науку о дизайне вопросников. Поскольку в исследовании SIPP проводился эксперимент с пакетом переменных, он мог оценить общий эффект редизайна, который имеет жизненно важное значение для спонсоров SIPP, но не оценить влияние отдельных изменений, что имеет жизненно важное значение для понимания влияния функций анкеты (и, следовательно, спонсорам других опросов, вносящим изменения в дизайн).По сравнению с планами, сравнивающими пакеты переменных, факторные планы позволяют делать выводы не только о влиянии конкретных переменных, но также и об эффектах взаимодействий между переменными. Следовательно, необходимо более широкое использование факторных планов (а также более широкое использование лабораторных экспериментов, в пользу которых также выступает Турранжо, поскольку они обычно намного дешевле, чем полевые эксперименты).

Статистическое моделирование

Дизайн анкеты и статистическое моделирование обычно рассматриваются как совершенно разные вещи.Исследователи, специализирующиеся на вопросниках, как правило, обладают элементарными статистическими знаниями, а те, кто специализируется на статистическом моделировании, обычно не очень ценят формулировку вопросов. Это прискорбно, поскольку они должны работать в тандеме, чтобы исследование продолжалось. Более того, проблема «двух миров» не является неизбежной. В первые дни проведения опросов Пол Лазарсфельд, Сэмюэл Стоуффер и их коллеги внесли фундаментальный вклад как в разработку вопросников, так и в статистический анализ (например,г., Stouffer et al. 1950). Таким образом, вполне уместно, что одна из недавних разработок для оценки вопросников основана на методе «анализа латентных классов» (LCA), унаследованном от работы Лазарсфельда.

Пол Бимер (2004) показывает, как LCA может использоваться для оценки ошибки, связанной с вопросами, когда вопросы были заданы одним и тем же респондентам два или более раз. Тем не менее, как отмечает Бимер, LCA сильно зависит от предполагаемой модели, и обычно нет прямого способа оценить допущения модели. Он рекомендует использовать несколько методов вместо того, чтобы полагаться на один статистический метод оценки вопросов.

В то время как исследования, подобные исследованию Бимера, сосредотачиваются на индивидуальных вопросах опроса, психометристы долгое время сосредотачивались на свойствах шкал, состоящих из многих элементов. Традиционно приложения классической теории тестирования давали мало информации о выполнении отдельных вопросов. Reeve и Mâsse (2004) описывают, как модели теории ответа на вопрос (IRT) могут оценить степень, в которой разные вопросы различают респондентов, имеющих одинаковую ценность по признаку. Способность IRT определять отличительные свойства конкретных элементов позволяет исследователям разрабатывать более короткие шкалы, которые лучше справляются с измерением конструктов.Еще большей эффективности можно добиться, используя методы IRT для разработки компьютерных адаптивных тестов (CAT). С помощью CAT респонденту задают вопрос примерно в середине диапазона шкалы, и на основе его ответа строится оценка его общего балла. Затем на основе этой оценки выбирается другой элемент, и процесс повторяется. На каждом этапе вычисляется точность оценочного общего балла, и когда желаемая точность достигается, элементы больше не отображаются.

Модели анализа скрытых классов и теории отклика элементов требуют большого количества кейсов и, следовательно, относительно дороги в проведении.Напротив, для использования подхода статистического моделирования, впервые предложенного Фрэнком Эндрюсом, не требуется сбора новых данных. Эндрюс (1984) применил стратегию измерения с использованием нескольких методов и методов (MTMM) (Campbell and Fiske, 1959) для оценки надежности и валидности выборки вопросов анкеты, и он предположил, что результаты могут быть использованы для характеристики надежности и валидности типов вопросов. . Следуя его предложению, Saris, Van der Veld и Gallhofer (2004) создали базу данных исследований MTMM, которая обеспечивает оценки надежности и валидности для 1067 пунктов анкеты.Затем они разработали систему кодирования для характеристики элементов в соответствии с характером их содержания, сложностью, типом шкалы ответов, положением в вопроснике, режимом сбора данных, типом выборки и т. Д. Две большие регрессионные модели, в которых эти характеристики были независимыми переменными, а оценки надежности или валидности MTMM были зависимыми переменными, обеспечивают оценки влияния на надежность или валидность характеристик вопроса. Новые элементы можно закодировать (с помощью программного обеспечения авторов), а уравнение прогноза (также автоматизированное) использовать для оценки их качества.Хотя для улучшения моделей требуется больше данных MTMM и, что еще более важно, прогнозы модели необходимо проверять в ходе валидационных исследований, такая дополнительная работа обещает значительную отдачу при оценке вопросов.

Режим администрирования

Внедрение компьютерных технологий изменило многие аспекты анкетирования. С одной стороны, разнообразие новых режимов — начиная с компьютерного телефонного интервью (CATI), но вскоре расширившись до компьютерного личного интервью (CAPI) и компьютерного самоинтервьюирования (CASI) — расширило наши возможности более эффективно измерять ряд явлений с улучшенным качеством данных (Couper et al.1998). С другой стороны, продолжающиеся технические инновации, включая аудио-CASI, интерактивный голосовой ответ и Интернет, создают множество проблем при разработке вопросников.

Распространение способов сбора данных имеет как минимум три последствия для оценки и тестирования инструментов обследования. Одним из следствий этого является растущее признание того, что ответы на вопросы опроса могут зависеть от способа, в котором задаются вопросы. Таким образом, методы тестирования должны учитывать способ доставки.Связанное с этим следствие состоит в том, что инструменты исследования состоят из гораздо большего, чем просто слова, например, их макет и дизайн, логическая структура и архитектура, а также технические аспекты аппаратного и программного обеспечения, используемого для их доставки. Все эти элементы необходимо проверить и изучить их возможное влияние на погрешность измерения. Третье следствие заключается в том, что инструменты для проведения опросов становятся все более сложными и требуют постоянно растущих ресурсов для тестирования. Старых методов, основанных на визуальном осмотре для проверки потока и маршрутизации, уже недостаточно.Необходимо найти новые методы для облегчения проверки логики инструмента, помимо формулировки отдельных вопросов. В общем, задача тестирования анкет значительно расширилась.

С ростом сложности компьютерных геодезических инструментов и расширением диапазона доступных конструктивных особенностей проверка на ошибки программирования становится все более дорогостоящей и трудоемкой частью процесса тестирования, часто без гарантии полного успеха. Большая часть этого тестирования может быть выполнена эффективно и действенно только с помощью машины, но существующее программное обеспечение часто не справляется с этой задачей (Cork et al.2003; Тарнаи и Мур 2004).

Визуальное представление информации интервьюеру, а также разработка дополнительных функций, используемых интервьюером при компьютерном интервью, имеют решающее значение для создания эффективных инструментов. Таким образом, проверка удобства использования может быть столь же важной, как и проверка ошибок программирования. Как утверждают Хансен и Купер (2004), компьютеризированные анкеты требуют, чтобы интервьюеры управляли двумя взаимодействиями, одно с компьютером, а другое с респондентом, и поэтому цель хорошего дизайна должна заключаться в том, чтобы помочь интервьюерам управлять обоими взаимодействиями для оптимизации качества данных.Хансен и Купер приводят примеры того, как тестирование удобства использования помогает в достижении этой цели.

Сосредоточения на формулировке вопроса недостаточно даже в технологически простом бумажно-карандашном режиме. Диллман и Редлайн (2004) демонстрируют, как когнитивные интервью могут быть адаптированы для изучения различных аспектов визуального языка в самостоятельно заполняемых анкетах. Они также показывают, как результаты когнитивных интервью могут помочь в интерпретации полевых экспериментов с разделенной выборкой.

Интернет-опросы требуют тестирования аспектов, уникальных для этого режима, таких как свойства отображения монитора респондентов, наличие подключаемых модулей браузера и особенности платформы хостинга, которые определяют сервер организации, проводящей опрос. В дополнение к методам тестирования, используемым в других режимах, Бейкер, Кроуфорд и Свинхарт (2004) рекомендуют оценки, основанные на данных процесса, которые легко собираются во время веб-администрирования (например, задержки ответа, резервное копирование, ошибки входа и прерывания). Подобно Тарнаи и Мур (2004), Бейкер, Кроуфорд и Свинхарт подчеркивают важность инструментов автоматического тестирования и, в соответствии с Диллманом и Редлайном (2004) и Хансеном и Купером (2004), они подчеркивают, что тестирование веб-вопросников должно быть сосредоточено по их визуальным аспектам.

Особые группы населения

Опросы детей, учреждений и населения, требующие анкетирования на нескольких языках, создают особые проблемы проектирования. Таким образом, предварительное тестирование по-прежнему более важно в этих случаях, чем для опросов взрослых, опрошенных с помощью вопросников на одном языке. Примечательно, однако, что в таких опросах предварительному тестированию пренебрегали даже больше, чем в «обычных». В результате методическая литература по предварительному тестированию по этим случаям еще более скудна, чем по одноязычным опросам взрослых.

Willimack et al. (2004) описывают отличительные характеристики обследований заведений, которые сделали предварительное тестирование с помощью вопросников необычным явлением. Обследования предприятий, как правило, носят обязательный характер, основываются на записях и охватывают группы нескольких очень крупных организаций, которые включены с определенностью, и многих более мелких, которые обследуются реже. Эти особенности, похоже, препятствовали увеличению и без того высокой нагрузки на респондентов путем проведения предварительных тестов. Кроме того, поскольку обследования предприятий непропорционально предназначены для измерения изменений во времени, изменения в анкетах случаются редко.Наконец, опросы заведений, как правило, полагаются на редактирование после сбора для исправления данных.

Willimack et al. обрисовать различные способы улучшения дизайна и тестирования анкет для предприятий. Помимо более широкого использования традиционных методов, они рекомендуют такие стратегии, как фокус-группы, посещения объектов, исследования по ведению документации и консультации со специалистами в предметной области и другими заинтересованными сторонами. Они также предлагают более эффективно использовать текущие оценки качества и повторные интервью, а также более регулярное документирование отзывов респондентов для диагностики проблем с вопросниками.Наконец, они рекомендуют включать тесты в существующие исследования, чтобы можно было оценить предлагаемые улучшения без увеличения нагрузки.

В разделе «Анкеты для предварительного тестирования для детей и подростков» Де Лиу, Боргерс и Смитс (2004) проводят обзор исследований когнитивного развития детей, чтобы получить рекомендации о том, какие вопросы и когнитивные задачи можно задавать детям разного возраста. Данные свидетельствуют о том, что 7 лет — это примерно самый ранний возраст, в котором детей можно опрашивать с помощью структурированных анкет, хотя способность отвечать на определенные виды вопросов (например,г., гипотетические) приобретается позже. Авторы обсуждают, как различные методы предварительного тестирования, в том числе фокус-группы, когнитивные интервью, наблюдение и дебрифинг, могут быть адаптированы для детей разного возраста, и приводят примеры предварительных тестов, в которых эти методы использовались с детьми.

Перевод анкеты всегда был основным для межнациональных опросов, а в последнее время он становится все более важным и для национальных опросов. Некоторые страны (например, Канада, Швейцария и Бельгия) должны проводить опросы на нескольких языках по закону.Другие страны переводят анкеты в связи с увеличением числа иммигрантов. В Соединенных Штатах, например, население 18 лет и старше, говорящее дома на другом языке, кроме английского, увеличилось с 13,8 процента в 1990 году до 17,8 процента в 2000 году. Более того, к 2000 году 4,4 процента взрослого населения США жили в «лингвистически изолированной среде». ”Домохозяйства, в которых все взрослые говорили на другом языке, кроме английского, и ни один из них не говорил по-английски“ очень хорошо ”(US Census Bureau 2003).

Несмотря на свою важность, Смит (2004) сообщает, что «ни один аспект межнациональных опросов не подвергался менее систематическому эмпирическому исследованию, чем перевод.Он описывает источники неэквивалентности переведенных вопросов и обсуждает проблемы, связанные с переводом шкал ответов или категорий, чтобы они были эквивалентными. Затем он обрисовывает в общих чертах несколько стратегий решения проблем, возникающих из-за несопоставимости языков: задавать несколько вопросов о концепции (например, благополучии) с разными терминами в каждом вопросе (например, удовлетворение или счастье), чтобы проблемы с переводом одного термина выполнялись. не приводит к погрешности измерения по всем позициям; использование вопросов, эквивалентных для разных культур и языков, а также вопросов, относящихся к конкретной культуре; и проведение специальных исследований для калибровки условий шкалы.

Harkness, Pennell и Schoua-Glusberg (2004) предлагают руководство по процедурам и протоколам перевода и оценки. Они предполагают более строгий процесс «переводологии», чем специальные практики, характерные для большинства проектов. Они подчеркивают необходимость оценки переведенного текста (и, следовательно, не считают, что обратный перевод является адекватным), и утверждают, что необходимо оценивать качество переводов, а также эффективность переведенных вопросов в качестве вопросов опроса.Наконец, они рекомендуют командные подходы, которые привносят различные виды опыта в перевод, и предлагают способы организации усилий по переводу, оценке и документации (последний из которых особенно важен для интерпретации результатов после завершения опроса). .

Эффекты тестирования

Приводит ли предварительное тестирование к лучшему измерению? Нам известно только одно исследование, однозначно решающее этот вопрос. Форсайт, Ротгеб и Уиллис (2004) оценили, позволяет ли предварительное тестирование (а) прогнозировать проблемы сбора данных и (б) улучшать результаты опросов.Авторы использовали три метода — неформальную экспертизу, оценочное кодирование и когнитивные интервью — для выявления потенциальных проблем в предварительном тестировании вопросника, состоящего из 83 пунктов. Затем 12 вопросов, которые наиболее последовательно диагностировались тремя методами как имеющие проблемы, были затем пересмотрены для решения проблем. Наконец, был проведен полевой эксперимент с разделенной выборкой для сравнения исходных и измененных элементов. Интервью с разделенной выборкой кодировались поведением, и интервьюеров попросили оценить анкеты после завершения интервью.

Варианты исходных вопросов, определенные в ходе предварительного тестирования как наиболее часто вызывающие проблемы для интервьюеров, с большей вероятностью демонстрируют поведенческие проблемы интервьюирования на местах и ​​будут идентифицированы интервьюерами как поставившие перед ними проблемы. Точно так же вопросы, определенные предварительным тестом как создающие проблемы для респондентов, привели к большему количеству проблем у респондентов, согласно как кодированию поведения, так и рейтингу интервьюера. Отсутствие ответов на вопросы также было выше для вопросов, определенных в ходе предварительного тестирования как вызывающие проблемы с отзывом или чувствительностью, чем для вопросов, которые не были идентифицированы как имеющие эти проблемы.Таким образом, комбинация методов предварительного тестирования была хорошим предиктором проблем, которые могут возникнуть в полевых условиях.

Однако исправленные вопросы, как правило, не превосходили исходные версии. Изменения пункта не повлияли на частоту возникновения проблем у интервьюера и респондента с кодировкой поведения. И хотя интервьюеры действительно оценили изменения как создающие меньше проблем для респондентов, они оценили их как создающие больше проблем для интервьюеров. Авторы предлагают различные возможные объяснения этого результата, в том числе их выбор только вопросов, диагностированных как наиболее явно проблемные, которые часто связаны с множеством проблем, требующих сложных исправлений.Кроме того, исправленные вопросы не подвергались еще одному раунду тестирования с использованием трех методов, которые первоначально выявили проблемы, чтобы подтвердить, что исправления были правильными. Тем не менее, результаты обнадеживают, поскольку они предполагают, что у нас есть гораздо лучшие инструменты для диагностики проблем с вопросниками, чем для их устранения.

Повестка дня на будущее

Различные методы предварительного тестирования и разные способы выполнения одного и того же метода влияют на количество и типы выявленных проблем.Последовательность между методами часто бывает низкой, и причины этого требуют дальнейшего изучения. Одна из возможностей состоит в том, что в их нынешнем виде некоторые методы ненадежны. Но стоит изучить и две другие возможности. Во-первых, непоследовательность может возникнуть из-за того, что методы подходят для выявления различных типов проблем. Например, проблемы с пониманием, которые возникают без нарушения процесса постановки вопроса и ответа, вряд ли будут уловлены поведенческим кодированием. Таким образом, вероятно, следует ожидать лишь частичного совпадения проблем, выявленных различными методами предварительного тестирования.Во-вторых, несоответствия могут отражать отсутствие консенсуса среди исследователей, когнитивных интервьюеров или кодировщиков в отношении того, что считается проблемой. Например, является ли проблемой то, что вопрос неудобно задать, но дает точные ответы, или это только проблема, если вопрос получает ошибочные ответы? Виды и серьезность проблем, на выявление которых направлено предварительное тестирование (или методологическая оценка) анкеты, не всегда ясны, и это отсутствие детализации может способствовать наблюдаемым несоответствиям.

При исследовании таких несоответствий межорганизационный подход, использованный ДеМайо и Ландретом (2004; см. Также Мартин, Шехтер и Такер, 1999), обещает не только привести к большей стандартизации и, следовательно, к более высокой надежности, но и к усилению нашей понимание того, какие методы подходят в разных обстоятельствах и для разных целей.

Также ясно, что идентификация проблемы не обязательно указывает на проблему , решение каким-либо очевидным или прямым образом.Например, Форсайт, Ротгеб и Уиллис (2004) и Шеффер и Дайкема (2004) использовали предварительное тестирование для выявления проблем, которые затем решались исправлениями, но в последующих полевых исследованиях обнаружили, что исправления либо не привели к улучшениям, либо создали новые. проблемы. Тот факт, что мы можем лучше выявлять проблемы, чем формулировать решения, подчеркивает желательность дополнительного тестирования после пересмотра вопросников.

Четыре общие рекомендации кажутся нам особенно важными для продвижения тестирования и оценки анкет.Они включают

1. связь между идентификацией проблемы и ошибкой измерения;

2. влияние методов тестирования на затраты на обследование;

3. роль фундаментальных исследований и теории в устранении недостатков; и

4. разработка базы данных для облегчения накопления знаний.

Во-первых, нам нужны исследования, которые исследуют связь между диагностикой проблемы и ошибкой измерения.Основная цель тестирования — уменьшить погрешность измерения, но мы мало знаем о том, в какой степени ошибка прогнозируется различными индикаторами проблемы, лежащими в основе различных методов тестирования. Draisma и Dijkstra (2004) и Schaeffer and Dykema (2004) необычны в использовании внешнего подтверждения таким образом. В других исследованиях использовался косвенный подход, исследуя связь между диагностикой проблемы и конкретными моделями реакции (например, отсутствием данных или «смещением»), исходя из предположения, что более высокие или более низкие уровни являются более точными.Но выводы, основанные на косвенных подходах, должны быть более предварительными, чем выводы, основанные на прямой проверке (например, исследования с проверкой записей). При правильно спланированных валидационных исследованиях мы могли бы лучше выбирать методы для реализации конкретных методов, оценивать полезность различных методов для диагностики различных типов проблем и понимать, насколько предварительное тестирование «достаточно». Однако мы признаем, что данные валидации доступны редко и сами по себе могут содержать ошибки.Таким образом, еще одна задача для будущих исследований — разработать дополнительные индикаторы погрешности измерения, которые можно было бы использовать для оценки методов тестирования.

Во-вторых, нам нужна информация о влиянии различных методов тестирования на стоимость обследования. Стоимость тестирования может быть в некоторой степени компенсирована, полностью компенсирована или даже больше, чем компенсирована (и, следовательно, уменьшит общий бюджет исследования), в зависимости от того, приводят ли результаты тестирования к выявлению (и исправлению) проблем, которые влияют на эти характеристики исследования — e .g., продолжительность интервью, подготовка интервьюеров и обработка данных после опроса — все это влияет на стоимость. Хотя нам кое-что известно о прямых затратах на различные методы тестирования, мы почти ничего не знаем о том, как эти методы различаются по своему влиянию на общие затраты. Таким образом, ключевым вопросом для будущих исследований является оценка эффективности различных методов тестирования при выявлении проблем, повышающих стоимость обследования.

В-третьих, поскольку улучшенные методы диагностики проблем в основном полезны в той степени, в которой мы можем устранить проблемы, нам нужно больше рекомендаций по выполнению ремонта.В результате успехи в предварительном тестировании частично зависят от достижений науки о постановке вопросов (Schaeffer and Presser 2003). Такая наука включает фундаментальные исследования теоретически мотивированного процесса вопросов и ответов (Krosnick and Fabrigar готовится к печати; Sudman, Bradburn, and Schwarz 1996; Tourangeau, Rips, and Rasinski 2000). Но это улица с двусторонним движением. С одной стороны, предварительное тестирование должно основываться на теоретически мотивированных исследованиях процесса вопросов и ответов. С другой стороны, фундаментальные исследования и теории процесса вопросов и ответов должны определяться как результатами предварительного тестирования, так и разработками самих методов тестирования, e.g., таксономии вопросов или классификационные типологии, используемые в системах оценки анкет (Lessler and Forsyth 1996), и вид статистического моделирования, описанный Saris, Van der Veld и Gallhofer (2004). В частности, предварительное тестирование, сфокусированное на аспектах задач ответа, которые могут затруднить правильные ответы респондентов, должно способствовать развитию теорий связи между ошибкой ответа и процессом вопросов и ответов.

Наконец, нам нужны улучшенные способы накопления знаний в ходе предварительных тестов.Это потребует большего внимания к документированию того, что было извлечено из предварительных тестов индивидуальных анкет. Одна из рабочих групп на Втором продвинутом семинаре по когнитивным аспектам методологии опроса (Sirken et al. 1999, стр. 56) предложила, чтобы организации, проводившие обследования, архивировали в центральном хранилище когнитивные интервью, которые они проводят, включая проверенные вопросы, использованные методы и полученные результаты. Как предложила эта группа, это «упростит систематическое исследование таких вопросов, как: какие характеристики вопросов определены когнитивным интервью как порождающие определенные проблемы?» Какие функции тестирования связаны с обнаружением различных типов проблем? Какие виды решений принимаются для решения различных классов проблем? » Мы считаем, что эта рекомендация должна применяться к всем методам предварительного тестирования .Создание архива предварительного тестирования в Интернете не только облегчило бы исследования по оценке анкет; он также станет бесценным ресурсом для исследователей, разрабатывающих анкеты для новых опросов. ⁴

Ссылки

Эндрюс

,

Франк

.

1984

. «Построение компонентов достоверности и погрешности обследований».

Общественное мнение Ежеквартально

48

:

409

–42.

Бейкер

,

Реджинальд

, Скотт Кроуфорд и Дженис Свайнхарт.

2004

. «Разработка и тестирование веб-анкет». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Бассили

,

Джон

и Стейси Скотт.

1996

. «Задержка ответа как сигнал к вопросу о проблемах в опросных исследованиях.”

Общественное мнение Ежеквартально

60

:

390

–99.

Битти

,

Пол

.

2004

. «Динамика когнитивного интервьюирования». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Белсон

,

Уильям

.

1981

.

Состав и понимание вопросов для опроса

.Лондон: Гауэр.

Бимер

,

Пол

.

2004

. «Моделирование ошибки измерения для выявления некорректных вопросов». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Бишопинг

,

Кэтрин

и Дженнифер Дайкема.

1999

. «На пути к социально-психологической программе по совершенствованию методов разработки анкет в фокус-группах.”

Журнал официальной статистики

15

:

495

–516.

Блэр

,

Джонни

и Стэнли Прессер.

1993

. «Процедуры опроса для проведения когнитивных интервью для предварительного тестирования анкет: обзор теории и практики».

Труды секции по методам опросов Американской статистической ассоциации

370

–375.

Болтон

,

Рут

и Тина Бронкхорст.

1996

.«Предварительное тестирование анкеты: компьютерное кодирование параллельных протоколов». В

Ответы на вопросы: Методология определения когнитивных и коммуникативных процессов в опросных исследованиях

, изд. Норберт Шварц и Сеймур Судман, стр.

37

–64. Сан-Франциско: Джосси-Басс.

Кэмпбелл

,

Дональд

и Дональд Фиск.

1959

. «Конвергентная и дискриминантная проверка с помощью многопутевых многометодных матриц».

Психологический бюллетень

56

:

81

–105.

Каннелл

,

Чарльз

и Роберт Кан.

1953

. «Сбор данных путем интервью». В

Методы исследования в поведенческих науках

, изд. Леон Фестингер и Даниэль Кац, стр.

327

–80. Нью-Йорк: Драйден.

Кантрил

,

Хэдли

и Эдрита Фрид.

1944

. «Значение вопросов». В издании

Gauging Public Opinion

, ed. Хэдли Кэнтрил, стр.

3

–22. Принстон, Нью-Джерси: Издательство Принстонского университета.

Конрад

,

Фред

и Джонни Блэр.

2004

. «Качество данных в когнитивных интервью». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Converse

,

Jean

и Stanley Presser.

1986

.

Вопросы для опроса: составление стандартизированной анкеты

.Ньюбери-Парк, Калифорния: Сейдж.

Корк

,

Дэниел

, Майкл Коэн, Роберт Гровс и Уильям Калсбек, ред.

2003

.

Автоматизация изысканий: отчет и материалы семинара

. Вашингтон, округ Колумбия: Национальная академия прессы.

Купер

,

Мик

, Реджинальд Бейкер, Джелке Вифлеем, Синтия Кларк, Жан Мартин, Уильям Николлс II и Джеймс О’Рейли.

1998

.

Сборник данных компьютерных обследований

.Нью-Йорк: Вили.

Де Лиу

,

Эдит

, Наташа Боргерс и Астрид Смитс.

2004

. «Анкеты для предварительного тестирования для детей и подростков». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

DeMaio

,

Тереза ​​

и Эшли Ландрет.

2004

.«Дают ли разные методы когнитивного интервью разные результаты?» В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

DeMaio

,

Тереза ​​

, Нэнси Матиовец, Дженнифер Ротгеб, Мэри Эллен Бич и Шэрон Дюрант.

1993

. «Протокол предварительного тестирования демографических обследований в Бюро переписи населения.Вашингтон, округ Колумбия: Бюро переписи населения США.

Диллман

,

Дон

и Клео Редлайн.

2004

. «Концепции и процедуры тестирования бумажных самоуправляемых анкет: когнитивное интервью и полевые тестовые вопросы». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Draisma

,

Stasja

и Wil Dijkstra.

2004

. «Задержка ответа и (пара) лингвистические выражения как индикаторы ошибки ответа». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Эрикссон

,

К. Андерс

и Герберт Саймон.

1980

. «Устные отчеты как данные».

Психологический обзор

87

:

215

–51.

Форсайт

,

Барбара

, Дженнифер Ротгеб и Гордон Уиллис.

2004

. «Имеет ли значение предварительное тестирование?» В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Т. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Фаулер

,

Флойд

.

2004

. «Аргументы в пользу большего количества экспериментов с разделенной выборкой при разработке геодезических инструментов.”В

« Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Гербер

,

Элеонора

.

1999

. «Взгляд из антропологии: этнография и когнитивное интервью». В

Cognition and Survey Research

, ed. Монро Сиркен, Дуглас Херманн, Ссуан Шехтер, Норберт Шварц, Джудит Танур и Роджер Туржо, стр.

217

–34. Нью-Йорк: Вили.

Graesser

,

Art

, Катя Вимер-Гастингс, Питер Вимер-Гастингс и Роджер Кройц.

2000

. «Золотой стандарт качества вопросов в опросах: эксперты, компьютерные инструменты и статистические показатели».

Труды Секции методов исследования опросов Американской статистической ассоциации

459

–64.

Хансен

,

Сью Эллен

и Мик П. Купер.

2004

.«Юзабилити-тестирование для оценки инструментов с компьютерным управлением». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Харкнесс

,

Джанет

, Бет-Эллен Пеннелл и Алису Скоуа-Глусберг.

2004

. «Перевод и оценка анкеты». В

«Методы тестирования и оценки опросных листов

», изд.Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Хант

,

Шелби

, Ричард Спаркман-младший и Джеймс Уилкокс.

1982

. «Предварительный тест в опросном исследовании: проблемы и предварительные выводы».

Журнал маркетинговых исследований

19

:

269

–73.

Жабин

,

Томас

, Мирон Страф, Джудит Танур и Роджер Туржо.

1984

.

Когнитивные аспекты методологии опроса: наведение мостов между дисциплинами

. Вашингтон, округ Колумбия: Национальная академия прессы.

Капловиц

,

Майкл

, Фрэнк Лупи и Джон П. Хоэн.

2004

. «Множественные методы разработки и оценки анкеты с установленным выбором для оценки водно-болотных угодий». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л.Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Кац

,

Даниэль

.

1940

. «Три критерия: знание, убежденность и значимость».

Общественное мнение Ежеквартально

4

:

277

–84.

Корнхаузер

,

Артур

.

1951

. «Составление анкет и графиков собеседований». В

Методы исследования социальных отношений: Часть вторая

, изд. Мари Джахода, Мортон Дойч и Стюарт Кук, стр.

423

–62. Нью-Йорк: Драйден.

Кросник

,

Джон

и Леандр Фабригар. Скоро.

Разработка анкет для измерения отношения

. Нью-Йорк: Издательство Оксфордского университета.

Лесслер

,

Джудит

и Барбара Форсайт.

1996

. «Система кодирования для оценки анкет». В

Ответы на вопросы: Методология определения когнитивных и коммуникативных процессов в опросных исследованиях

, изд.Норберт Шварц и Сеймур Судман, стр.

259

–92. Сан-Франциско: Джосси-Басс.

Lessler

,

Judith

, Roger Tourangeau и William Salter.

1989

. «Исследование дизайна анкеты в лаборатории когнитивных исследований».

Статистика естественного движения населения и здоровья

(Серия 6, № 1; публикация DHHS № PHS-89-1076). Вашингтон, округ Колумбия: Государственная типография.

Лофтус

,

Элизабет

.

1984

. «Протокол анализа ответов на вопросы отзыва.”В

Когнитивные аспекты методологии опроса: наведение мостов между дисциплинами

, изд. Томас Жабин, Мирон Страф, Джудит Танур и Роджер Туржо, стр.

61

–64. Вашингтон, округ Колумбия: Национальная академия прессы.

Мартин

,

Элизабет

.

2004

. «Виньетки и опрос респондентов для разработки и оценки анкеты». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П.Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Мартин

,

Элизабет

, Сьюзан Шехтер и Клайд Такер.

1999

. «Межведомственное сотрудничество между когнитивными лабораториями: прошлые усилия и будущие возможности». В

Рабочий документ 28 статистической политики: Семинар 1998 года по межведомственной координации и сотрудничеству

, стр.

359

–87. Вашингтон, округ Колумбия: Федеральный комитет по статистической методологии.

Moser

,

Claus

и Graham Kalton.

1971

.

Методы опросов в социальных исследованиях

. Лондон: Хайнеманн.

Мур

,

Джеффри

, Джоан Паскаль, Пэт Дойл, Анна Чан и Джулия Кляйн Гриффитс.

2004

. «Использование полевых экспериментов для улучшения конструкции приборов». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л.Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Оксенберг

,

Лоис

, Чарльз Каннелл и Грэм Калтон.

1991

. «Новые стратегии предварительного тестирования вопросов опроса».

Журнал официальной статистики

7

:

349

–56.

Прессер

,

Стэнли

и Джонни Блэр.

1994

. «Предварительное тестирование опроса: дают ли разные методы разные результаты?»

Социологическая методология

24

:

73

–104.

Presser

,

Стэнли

, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Т. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер, ред.

2004

.

Методы тестирования и оценки опросных листов

. Нью-Йорк: Вили.

Рив

,

Брайс

и Луиза Масс.

2004

. «Моделирование теории ответов на вопросы (IRT) для оценки анкеты». В

«Методы тестирования и оценки опросных листов

», изд.Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Ротвелл

,

Наоми

.

1983

. «Новые способы научиться улучшать самоперечисляющие анкеты: демонстрационный проект». Неопубликованная рукопись, Бюро переписи населения США.

———.

1985

. «Лабораторные и полевые исследования по результатам переписи населения 1980 года в США»

Журнал официальной статистики

1

:

137

–57.

Ройстон

,

Патрисия

и Дебора Берчини.

1987

. «Исследование дизайна анкеты в лабораторных условиях: результаты тестирования вопросов о факторах риска рака».

Труды Секции методов исследования опросов Американской статистической ассоциации

829

–33.

Сарис

,

Виллем

, Уильям ван дер Вельд и Ирмтрауд Галльхофер.

2004

. «Разработка и совершенствование анкет с использованием прогнозов надежности и достоверности.”В

« Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Schaeffer

,

Нора Кейт

и Дженнифер Дайкема.

2004

. «Многометодный подход к повышению ясности тесно связанных концепций». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М.Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Schaeffer

,

Nora Cate

и Stanley Presser.

2003

. «Наука задавать вопросы».

Ежегодный обзор социологии

29

:

65

–88.

Шитсли

,

Пол

.

1983

. «Составление анкеты и написание заданий». В

Справочник обзорных исследований

, изд.Питер Росси, Джеймс Райт и Энди Андерсон, стр.

195

–230. Нью-Йорк: Academic Press.

Sirken

,

Монро

, Томас Джабин, Гордон Уиллис, Элизабет Мартин и Клайд Такер, ред.

1999

.

Новая программа междисциплинарных исследований: материалы семинара CASM II

. Хяттсвилл, Мэриленд: Национальный центр статистики здравоохранения.

Слетто

,

Раймонд

.

1950

. «Предварительное тестирование анкет.”

Американский социологический обзор

5

:

193

–200.

Смит

,

Том

.

2004

. «Разработка и оценка инструментов межнациональных опросов». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Стоуфер

,

Сэмюэл

, Луи Гутман, Эдвард Сучман, Пол Лазарсфельд, Ширли Стар и Джон Клаузен.

1950

.

Измерение и прогнозирование

. Принстон, Нью-Джерси: Издательство Принстонского университета.

Судман

,

Сеймур

.

1983

. «Прикладная выборка». В

Справочник обзорных исследований

, изд. Питер Росси, Джеймс Райт и Энди Андерсон, стр.

145

–194. Нью-Йорк: Academic Press.

Судман

,

Сеймур

и Норман Брэдберн.

1982

.

Задавая вопросы: Практическое руководство по разработке анкеты

.Сан-Франциско: Джосси-Басс.

Судман

,

Сеймур

, Норман Брэдберн и Норберт Шварц.

1996

.

Размышляя об ответах: применение когнитивных процессов в методологии опросов

. Сан-Франциско: Джосси-Басс.

Тарнаи

,

Джон

и Данна Мур.

2004

. «Методы тестирования и оценки компьютерных анкет». В

«Методы тестирования и оценки опросных листов

», изд.Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Tourangeau

,

Roger

.

2004

. «Соображения по экспериментальному дизайну для тестирования и оценки анкет». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер.Нью-Йорк: Вили.

Туржо

,

Роджер

, Лэнс Рипс и Кеннет Расински.

2000

.

Психология ответа на опрос

. Кембридж: Издательство Кембриджского университета.

Бюро переписи населения США.

2003

. Перепись 2000 г., сводный файл 3, таблицы P19, PCT13 и PCT14. Сводные таблицы по использованию языка и уровню владения английским языком: 2000 (PHC-T-20).

Van der Zouwen

,

Johannes

и Johannes Smit.

2004

.«Оценка вопросов опроса путем анализа моделей поведенческих кодов и последовательностей вопросов и ответов». В

«Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Уиллимак

,

Дайан

, Ларс Либерг, Джин Мартин, Лилли Япек и Патриция Уитридж.

2004

. «Эволюция и адаптация разработки, оценки и тестирования анкет для обследований предприятий.”В

« Методы тестирования и оценки опросных листов

», изд. Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Л. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Уиллис

,

Гордон

.

1994

.

Когнитивное интервьюирование и дизайн анкеты: учебное пособие

. Хяттсвилл, Мэриленд: Национальный центр статистики здравоохранения

———.

2004

. «Новый взгляд на когнитивное интервьюирование: полезный метод в теории?» В

«Методы тестирования и оценки опросных листов

», изд.Стэнли Прессер, Дженнифер М. Ротгеб, Мик П. Купер, Джудит Т. Лесслер, Элизабет Мартин, Джин Мартин и Элеонора Сингер. Нью-Йорк: Вили.

Общественное мнение Ежеквартально , Vol. 68 No. 1 Стр. 109–130, © Американская ассоциация изучения общественного мнения, 2004; все права защищены

Разработка и проверка веб-анкеты для изучения здоровья и условий труда высокопроизводительных морских судов

Сильные и слабые стороны этого исследования

• Динамический сетевой вопросник для исследования профессионального риска, связанного со здоровьем и характеристики популяции высокопроизводительных морских судов были разработаны консенсусной комиссией, затем систематически подтверждены экспертами-оценщиками на предмет актуальности и простоты путем предоставления количественных оценок и качественных комментариев, итеративно с последующими пересмотрами консенсусной комиссией и, наконец, пилотными испытаниями на ее осуществимость.

• Процесс проверки существенно повысил актуальность и простоту анкеты, а пилотный тест подтвердил выполнимость.

• Интернет-анкета действительна и применима для эмпирического изучения эпидемиологических аспектов среди высокопроизводительных экипажей морских судов и аналогичных групп населения, и весь процесс может быть полезен для разработки аналогичных анкет и проверочных исследований.

• Эксперты по отдельности не представляли все измерения предметной области, но в целом охватывали всю информационную область, включая методологическую экспертизу.

Введение

Условия труда на борту высокопроизводительных морских судов, характеризующиеся стохастическим характером волн, ставят под угрозу безопасность человеческой жизни на море. Вредное воздействие на здоровье, начиная от укачивания до тяжелой психофизической острых и хронических заболеваний, таких как опорно-двигательного аппарата, усталость и стресс являются распространенными среди seafarers.1-4 Эти условия, как считается, результаты сложных интерактивных факторов, связанных с окружающей среды, человеческого, социального и другие факторы, такие как тип судна, скорость и продолжительность, среди которых воздействие вибрации всего тела было определено как отличительный фактор, повышающий риск неблагоприятных последствий для здоровья.5–7 Типы истощения водителя и пассажира, связанные с вибрацией всего тела, содержащей повторяющиеся удары, были определены как острые травмы в результате сильных изолированных ударов, хронические травмы в результате сильных ударов или повторяющихся ударов средней тяжести, а также снижение работоспособности, вызванное усталостью и дискомфортом, вызванными сотрясением. исследования показывают, что последствия для здоровья связаны с длительным воздействием вибрации и повторяющихся ударов; однако отсутствуют адекватные эпидемиологические данные, чтобы связать воздействие вибрации и ударов на человека с риском неблагоприятных последствий для здоровья.7, 9, 10 Тем не менее, действующее законодательство Европейского Союза и Швеции11–13 относится к величине мер вибрации 10, несмотря на сомнения относительно связи между величиной и риском. Исследования, проведенные Королевским технологическим институтом KTH и Университетом Умео в сотрудничестве со Шведской береговой охраной, показывают, что установленные законом действия по воздействию вибрации и предельные значения 11–13 превышаются после короткого времени воздействия14. Это указывает на то, что суровые условия являются обычным явлением и что Исключение из статутных законов для занятий морским и воздушным транспортом кажется противоречивым.11 Соответственно, обсуждаются меры по оценке условий труда на борту морских транспортных средств, связанные с риском ухудшения здоровья и ухудшения рабочих характеристик, 14–20 вместе с вопросом о том, как интерпретировать эти меры.

Производительность отображает влияние условий труда на общую производительность системы человек-машина. На условия труда в значительной степени влияют операторы плавсредств, что усложняет определение рабочих характеристик.

Слабые звенья в цепи: факторы риска — меры — масштабы — неблагоприятные последствия для здоровья — производительность, препятствуют проектированию и разработке сбалансированных человеко-машинных систем и задерживают дальнейшую профилактику нарушений, связанных с работой, и создание эффективных и безопасных условий труда на море. . Это приводит к большой потребности в тщательных эпидемиологических исследованиях.

Опросные анкеты подходят для точного определения подверженности, исходов и связанных рисков. Анкета на основе Интернета может использоваться для быстрого и экономичного картирования больших и географически разбросанных групп населения, предотвращая при этом внутренние потери данных.21–23 Тем не менее, интернет-опрос может получить низкий процент откликов, и этот недостаток можно преодолеть, применив надлежащим образом проверенный вопросник. Однако до сих пор не существует проверенного и проверенного инструментария исследования для оценки воздействия на рабочем месте в группах высокопроизводительных морских судов, таких как береговая охрана, военно-морской флот, таможня и морские лоцманы. Таким образом, целью данного исследования является разработка и проверка веб-вопросника для оценки профессионального риска, связанного с состоянием здоровья и работой высокопроизводительных экипажей морских судов и аналогичных групп населения.

Методы

План и процедура исследования

В этом методическом исследовании был разработан, утвержден и пилотно опробован интернет-опросник в сотрудничестве между Королевским технологическим институтом, Каролинским институтом и Шведской береговой охраной. Первоначально интересующая область и ее подразделения (домен контента) были определены консенсусной панелью, и был создан пул элементов (вопросов) для сбора достаточных данных для измерения каждого поддомена, то есть домена контента.24, 25 Затем валидность пунктов оценивалась на последовательных этапах путем запроса отдельных экспертов для оценки релевантности содержания и простоты отдельных пунктов и всего набора пунктов (анкеты) в качестве инструмента, 26, 27 с последующими итеративными циклами консенсусная комиссия. Наконец, утвержденный вопросник был апробирован на выборке из целевой группы.

Консенсусная комиссия и эксперты-оценщики

Консенсусная комиссия состояла из четырех авторов этого документа; два физиотерапевта: один имеет докторскую степень с опытом в области физиологии окружающей среды и процессов проверки с оценочными формами, а другой имеет степень магистра; и два военно-морских архитектора: один имеет докторскую степень с опытом работы в области ускорения и нагрузок на высокоскоростные морские суда, а другой — аспирант с многолетним опытом работы в области проектирования и производства высокоскоростных морских судов.Первоначально было набрано 11 экспертов-оценщиков (см. Таблицу 1), из которых 8 были мужчинами и 3 женщинами из разных географических регионов Швеции.25, 27 Они были отобраны на основе методологии, описанной в, 24 с учетом соответствующей подготовки и опыта. , история публикаций в реферируемых журналах, национальные презентации, клиническая экспертиза и исследования интересующего феномена. Они были выбраны для удобства и представляли собой репрезентативные образцы предметной области. Хотя родным языком экспертов-оценщиков был шведский, в анкете использовался английский, с тем чтобы инструмент можно было использовать во всем мире.Подробная информация об экспертах-оценщиках представлена ​​в таблице 1.

Таблица 1

Подробная информация об экспертных оценщиках

Письменное согласие было предоставлено каждым экспертом до участия в оценке валидности. Все эксперты были проинформированы о неприемлемости своей работы и возможности отказаться от процесса в любое время без объяснения причин, в соответствии с нормами комитета по этике.28

Область содержания

Анкета была разработана для сбора данных о воздействия и исходы с целью изучения здоровья и факторов риска неблагоприятных последствий для здоровья и работоспособности экипажей высокопроизводительных морских судов и аналогичных групп населения.Береговая охрана была определена как подходящая группа для исследования, поскольку они используют несколько типов судов для выполнения различных задач, от патрулирования до поисково-спасательных операций в различных морских условиях. Как мужчины, так и женщины-офицеры с относительно большим возрастом работают в разных географических точках. Шведская береговая охрана была выбрана в качестве исследуемой группы (субъектов). Предметы воздействия связаны с деятельностью и условиями на суше и на море, которые характеризуются их характером, дозой и временем.Связанные со здоровьем исходы были определены как текущие и предыдущие эпизоды скелетно-мышечной боли и предполагаемые общие, физические и психические состояния здоровья. В связи с тем, что результаты работы трудно измерить только с помощью опроса, было решено собрать элементы, касающиеся симптомов усталости, продолжительности работы в море, субъективной тяжести условий труда на борту различных типов судов, причин снижения скорости судна. в сложных морских условиях наличие методов смягчения ударов и эргономики судна в отдельной подобласти в качестве косвенных показателей эффективности.Были также собраны вопросы о факторах, которые могут повлиять либо на воздействие, либо на результаты, либо на то и другое, например, антропометрические данные, демографические данные, отдых, потребность в работе, контроль работы и поддержка работы.

Первоначальная разработка анкеты

Первоначальная анкета была разработана консенсусной комиссией на основе обзора литературы 29–33 и скорректирована для соответствия предметной области. Инструмент анкеты был разработан по четырем поддоменам, например, демография, образ жизни, занятость и состояние здоровья.Разработка анкеты представляла собой итеративный процесс, в котором основное внимание уделялось содержанию, ясности и полноте окончательной анкеты24. Представление содержания пунктов было решено на основе их чувствительности для отражения, выборки и измерения соответствующей поддомены. Это было вдохновлено предыдущей работой по разработке анкеты, касающейся скелетно-мышечной боли34 и утомляемости35. Полнота анкеты была решена путем сопоставления вопросов в рамках Международной классификации функционирования, инвалидности и здоровья (МКФ) внутри предметной области.36 Путем отображения в структуру ICF плотность вопросов, распределенных по поддоменам, также поддерживалась на умеренном уровне.

Оценка действительности

Процесс валидации проводился в три последовательных этапа оценки. На каждом этапе эксперты оценивали вопросы индивидуально и как инструмент анкеты с точки зрения их актуальности и простоты. Экспертам было предложено оценить каждый элемент, используя две четырехбалльные порядковые шкалы оценки Лайкерта, оцениваемые следующим образом: 1 = нерелевантно, 2 = в некоторой степени актуально, 3 = вполне уместно и 4 = весьма актуально, и 1 = непросто, 2 = несколько просто, 3 = довольно просто и 4 = очень просто.Шкала была разделена на согласованные (оценка 3 и 4) и несогласованные (оценка 1 и 2), и валидность содержания уровня элемента определялась как количество экспертов, дающих оценку 3 или 4 (согласовано), деленное на общее количество. экспертов. Весь инструмент анкеты оценивался с использованием S-CVI / Ave, рассчитанного путем усреднения I-CVI (т. Е. Суммы всех I-CVI, деленной на количество пунктов). Пункты считались достоверными по содержанию, если I-CVI ≥0,78, а анкета как инструмент считалась действительной, если S-CVI / Ave≥0.90, как рекомендовано 26. Доля элементов, получивших оценку 3 или 4 всеми экспертами, то есть индекс достоверности содержания шкалы с универсальным соглашением (S-CVI / UA), также рассчитывалась после каждого этапа, чтобы получить сведения о всеобщем согласии экспертов по анкете как инструменту. Этот показатель (S-CVI / UA) использовался не для оценки анкеты, а для получения лучшего представления о том, в какой степени все эксперты согласны по всем пунктам в нем. Универсальное согласие считалось «хорошим», если S-CVI / UA ≥0.80, как заявлено в пунктах 24, 37 В конце каждого этапа анкета пересматривалась консенсусной комиссией в соответствии с оценками экспертов и комментариями, как было предложено в пунктах 24–26. Пункты с низким I-CVI либо отбрасывались, либо улучшались и сохранялись. для следующего этапа оценки. Отредактированная анкета была затем отправлена ​​экспертам для следующего этапа оценки достоверности. Перед третьим этапом оценки язык был тщательно проверен.

Активное и сознательное участие экспертов проверялось с помощью контрольного вопроса, внесенного в анкету на первом этапе.Эксперты считались исключенными после первого и второго этапов, если эксперт оценил релевантность контрольного вопроса 3 или 4 балла на первом этапе, а также все вопросы на одной и той же оценке без аргументов и несовместимо с оценками. большинство экспертов.24

На каждом этапе оценочный документ анкеты отправлялся экспертам по электронной почте в формате MS Word, включая все вопросы и варианты ответов с конкретными инструкциями по заполнению.За каждым элементом следуют отдельные шкалы для релевантности и простоты с текстовыми полями для комментариев экспертов. Дополнительные вопросы (открытые) были включены в оценочный документ, чтобы эксперт мог предоставить любые дополнительные комментарии и предложения по добавлению или удалению вопросов, длине анкеты и их общим взглядам на анкету как инструмент, чтобы выяснить были ли рассмотрены все аспекты предметной области. Доступ к онлайн-анкете был предоставлен на третьем этапе оценки.

Пилотный тест

В конце концов, пилотный тест был проведен с участием 25 респондентов, случайно выбранных из исследуемой совокупности, чтобы проверить выполнимость веб-вопросника38. Респондентам было предложено высказать свое мнение по общему инструменту вопросника отдельно после заполнения исследование.

Результаты

Подробная информация о процессе валидации представлена ​​на рисунке 1. Первоначально сгенерированные 38 пунктов были оценены 11 экспертами на первом этапе оценки, в том числе 33 пункта на предмет релевантности и 19 пунктов для простоты, с получением приемлемого уровня I- CVI.

Рисунок 1

Блок-схема процесса разработки и проверки анкеты. I-CVI, индекс достоверности содержания товара; S-CVI / Ave, индекс достоверности содержимого шкалы, средний; S-CVI / UA, индекс достоверности содержимого шкалы, универсальное соглашение.

После оценки экспертов вопросы были пересмотрены консенсусной комиссией, и один эксперт был исключен из-за несовпадения оценок с другими экспертами (все вопросы получили четвертую оценку без соответствующих оснований). Один эксперт выбыл из процесса, оставив 9 экспертов на втором этапе оценки, на котором было оценено 35 пунктов, в результате чего был обнаружен 1 пункт по релевантности и 4 пункта по простоте ниже порогового уровня I-CVI.На заключительном этапе 36 вопросов были оценены теми же 9 экспертами, в результате чего были оценены 3 элемента с низким I-CVI, 1 — по релевантности и 2 — по простоте. Несмотря на низкие значения I-CVI, консенсусная комиссия решила включить их в окончательный вопросник по причинам, обсуждаемым в следующем разделе. В таблице 2 показаны I-CVI и S-CVI / Ave для всех этапов оценки.

Таблица 2

I-CVI и S-CVI для трех циклов оценки процесса валидации

Как видно из таблицы 2, S-CVI / Ave увеличился с 0.89–0,96 для релевантности и от 0,76 до 0,94 для простоты, в результате чего в окончательной анкете будет 36 пунктов (см. Дополнительные материалы в Интернете для окончательной анкеты).

Обсуждение

Целью данного исследования было разработать анкету для изучения факторов риска неблагоприятных последствий для здоровья и снижения производительности среди высокопроизводительных экипажей морских судов и аналогичных групп населения. Достоверность анкеты определялась с точки зрения ее актуальности и простоты, при этом S-CVI / Ave равнялся 0.96 и 0,94 соответственно.

Хотя пошаговая процедура оценки, используемая в этом исследовании, увеличивает внешнюю валидность вопросника, трудно сравнивать полученные S-CVI с результатами большинства аналогичных исследований, потому что либо они использовали S-CVI / UA в качестве оценки. критерий или методы вычисления S-CVI / Ave не отличаются друг от друга.26, 34 Несмотря на метод, S-CVI / Ave в этом исследовании значительно больше, чем в аналогичных исследованиях, обсуждаемых в.26

Поскольку рабочие задачи Целевые группы населения сильно зависят от сезона года, возникновение скелетно-мышечной боли было исследовано в течение 6 месяцев.Считалось, что этот период времени учитывает периодические изменения и увеличивает вероятность регистрации редких событий. Возникновение боли было разделено на одиночную, повторяющуюся и постоянную; однако общая продолжительность боли не исследовалась, поскольку относительно длительные периоды времени существенно снижают точность оценок из-за систематической ошибки воспоминаний. Напротив, было решено измерить среднюю интенсивность боли за предыдущие 7 дней, поскольку она считалась относительно стабильной. Это обычно практикуется в научных исследованиях, а также рекомендовано многими экспертами-оценщиками в этом исследовании.Как было предложено несколькими экспертами, в анкету был включен набор вопросов, касающихся контроля спроса и поддержки39, чтобы оценить, как на здоровье и благополучие влияет потребность в работе, свобода принятия решений и поддержка, а также для облегчения сравнения с исследованиями другие профессиональные группы.

Ограничением этого процесса было то, что каждый эксперт не представлял все измерения предметной области, что привело к тому, что некоторые эксперты столкнулись с трудностями в интерпретации релевантности некоторых пунктов за пределами их соответствующей экспертизы.Консенсусная комиссия пришла к выводу, что это является причиной того, что элемент (элемент «Снижение скорости» в таблице 2) получил низкий I-CVI (0,67) для релевантности на заключительном этапе (отклонил только один эксперт). Высокие оценки, выставленные экспертами, имеющими опыт в конкретной области, поддержали точку зрения консенсусной комиссии относительно актуальности вопроса и мотивировали решение оставить его в окончательной анкете. Это означает, что вычисление I-CVI по субдоменам могло бы улучшить достоверность отдельных пунктов, а также универсальный уровень согласия (S-CVI / UA) анкеты.24 Тем не менее, рост S-CVI / UA с 0,37 на первом этапе до 0,75 на заключительном этапе для релевантности и с 0,16 до 0,64 для простоты подтверждает, что в конечном итоге большинство экспертов-оценщиков были удовлетворены релевантностью контента и простота инструмента анкеты, которая была достойным уровнем по сравнению с аналогичными исследованиями, обсуждаемыми в 26, 34

. Хотя сила валидности ограничена опытом консенсусной комиссии и экспертов-оценщиков, считалось, что метод использованный в этом исследовании был лучшим из доступных для этой цели.Предыдущие исследования подтверждают тот факт, что выбор шкал оценки (т. Е. I-CVI ≥ 0,78 и S-CVI / Ave ≥ 0,90), количество этапов оценки (т. Е. 3) и количество экспертов-оценщиков (т. Е. 9 и 11), как рекомендовано в пунктах 24–27, значительно повысили уровень проверки и уменьшили влияние случайного согласия на результаты.

Было установлено, что низкая оценка простоты (0,33) пункта «Продолжительность на борту судна» (в таблице 2) на втором этапе была связана со сложностью расположения вариантов реагирования.Варианты динамического ответа были представлены в онлайн-версии в качестве решения, которое увеличило I-CVI до 0,67 на третьем этапе. Напротив, более низкий I-CVI, полученный по пункту «Продолжительность работы в море» (в таблице 2), был отнесен на счет эксплуатационных трудностей, возникших с его вариантами динамического реагирования, предусмотренными на третьем этапе. Значительный прирост простоты, наблюдаемый в S-CVI / Ave с 0,86 на втором этапе до 0,94 на заключительном этапе, указывает на совместный вклад изменений консенсусной панели, онлайн-версии и улучшения языка в улучшение простоты.

Интернет-опрос проводится самостоятельно, поэтому предубеждения в отношении социальной желательности минимальны. Он также имеет динамическое, отзывчивое и активное взаимодействие с респондентом, такое как возможность пропуска и маршрутизации путем доставки вопросов на основе ответов, предоставленных на предыдущий вопрос (ы), и с указанием пропущенных вопросов. В веб-опрос был включен механизм обработки недостающих данных, который позволяет респонденту выразить нежелание отвечать на любой вопрос, тем самым сокращая внутренние недостающие данные и улучшая возможности анализа.Риск побуждения к выбору этого варианта ответа (например, «Я не хочу отвечать на этот вопрос») был устранен путем его появления только в том случае, если респондент пытается пропустить вопрос.

Даже после получения приемлемого уровня достоверности на третьем этапе, оставшиеся проблемы и предложения экспертов в отношении актуальности и простоты, а также внешнего вида веб-версии были рассмотрены до пилотного тестирования. В ходе пилотного тестирования было установлено, что время завершения исследования составляет около 30 минут, что считается разумной продолжительностью для мотивированной группы исследователей, такой как береговая охрана и т. П.Результаты пилотного тестирования также подтвердили решение консенсусной комиссии оставить два вопроса с низкими значениями I-CVI для простоты в окончательной анкете.

В этом исследовании было сложно зафиксировать результаты производительности только с помощью анкетного опроса из-за сложных атрибутов взаимодействия человека и машины в условиях труда. Это также подтверждается тем фактом, что три пункта с более низким рейтингом связаны с производительностью. Более того, элементы и тестовые модули могут быть включены в будущие исследования для измерения результатов производительности, таких как когнитивные способности, физическая работоспособность (человек, машина и то и другое вместе) и биомаркеры.

Были начаты и продолжаются дальнейшие исследования для оценки аспектов надежности анкеты.

Заключение

Был разработан, утвержден и испытан на пилотной основе вопросник в Интернете для исследования состояния здоровья и работоспособности высокопроизводительных экипажей морских судов. Результаты процесса проверки показали, что средний индекс достоверности содержания шкалы составляет 0,96 для релевантности и 0,94 для простоты, а пилотное тестирование показало хорошую осуществимость исследования.В совокупности эти факторы подтверждают, что анкета пригодна для дальнейшего эпидемиологического использования в экипажах высокопроизводительных морских судов и аналогичных группах населения.

Выражение признательности

Это исследование финансировалось фондом Gösta Lundeqvist по исследованию судов (Gösta Lundeqvists stiftelse för skeppsteknisk forskning) и Морской администрацией Швеции (Sjöfartsverket), которым выражена признательность. Мы благодарим экспертов-оценщиков за их участие в процессе валидации.Особая благодарность Йохану Фриделлу из Королевского технологического института KTH за внедрение онлайн-анкеты. Выражаем благодарность шведской береговой охране за их вклад в качестве экспертов и поддержку, оказанную в ходе пилотного испытания.

Ссылки

1. ↵
2. ↵
3. ↵
4. ↵
5. ↵
6. ↵
7. ↵
8. ↵
9. ↵

   BS 6841. Руководство по измерению и оценке механической вибрации всего тела человека. и повторный шок.Лондон: Британский институт стандартов, 1987.

10. ↵

    ISO 2631-1. Механическая вибрация и удары — оценка воздействия на человека вибрации всего тела — часть 1: общие требования. Женева: Международная организация по стандартизации, 1997.

11. ↵
12. ↵
13. ↵
14. ↵
15. ↵
16. ↵
17. ↵
18. ↵
19. ↵

    -5. Механическая вибрация и удары — оценка воздействия на человека вибрации всего тела — Часть 5: метод оценки вибрации, содержащей множественные удары.Женева: Международная организация по стандартизации, 2004.

20. ↵
21. ↵
22. ↵
23. ↵
24. ↵
25. ↵
26. ↵
27. ↵
28. ↵
29. ↵ опросник GP (Глобальная физическая активность) Руководство по анализу. Отдел эпидемиологического надзора и популяционной профилактики, профилактики неинфекционных заболеваний. Швейцария: Всемирная организация здравоохранения.

30. ↵
31. ↵
32. ↵
33. ↵
34. ↵
35. ↵
36. ↵

    Международная классификация функционирования, инвалидности и здоровья (ICF).Всемирная организация здравоохранения, 2001.

37. ↵
38. ↵
39. ↵

Проверка достоверности опроса: что это значит, как это сделать

Одна из предлагаемых стратегий опроса, с которыми вы, возможно, столкнулись, — это предложение проверить вопросы в вашем опросе. Хотя многие организации могут посоветовать вам «добавить проверку» в качестве подсказки для быстрого опроса, их предложения часто не исчерпываются. К сожалению, для подтверждения опроса требуется гораздо больше.

Дэйв Коллингридж заметил то же явление, когда он был аспирантом социальных наук, не имея возможности найти профессора или другого преподавателя, который помог бы или мог бы помочь ему с подтверждением результатов опроса.Коллингридж, который в настоящее время является старшим статистиком-исследователем в крупной медицинской организации, с тех пор исследовал и составил свой собственный метод проверки вопросов опроса, стратегию, которой он поделился в статье Sage Publications, опубликованной на MethodSpace.

Что это значит

Проверка достоверности опроса относится к процессу оценки вопросов опроса на предмет их надежности. Поскольку существует множество факторов, которые сложно контролировать, которые могут повлиять на надежность вопроса, проверка результатов опроса не является ни быстрой, ни легкой задачей.

Как это сделать

Коллингридж описывает шестиступенчатый метод проверки, который он успешно использовал на протяжении многих лет.

Шаг 1. Установление действительности лица

Этот двухэтапный процесс включает рассмотрение вашего опроса двумя разными сторонами. Первая — это группа, знакомая с вашей темой, которая может оценить, насколько ваши вопросы соответствуют вашей теме. Второй обзор должен быть сделан кем-то, кто является экспертом в построении вопросов, чтобы убедиться, что ваш опрос не содержит распространенных ошибок, таких как наводящие, сбивающие с толку или двусмысленные вопросы.

Шаг 2: Проведите пилотное испытание

Выберите подмножество предполагаемых участников опроса и запустите пилотное тестирование опроса. Предлагаемые размеры выборки различаются, хотя около 10 процентов от общей численности населения составляет солидное количество участников. Чем больше участников вы соберете, тем лучше, хотя даже меньшая выборка может помочь вам отсеять нерелевантные или слабые вопросы.

Шаг 3. Очистить собранные данные

Введите собранные ответы в электронную таблицу, чтобы очистить данные.Когда один человек читает значения вслух, а другой вводит их в электронную таблицу, значительно снижается риск ошибки. После ввода данных вашим следующим шагом будет обратный код вопросов, сформулированных в отрицательной формулировке.

Если респонденты ответили внимательно, их ответы на вопросы, сформулированные в отрицательной формулировке, должны соответствовать их ответам на аналогичные вопросы, сформулированные в положительной форме. Если это не так, вы можете подумать об исключении этого респондента из опроса.

Также дважды проверьте минимальные и максимальные значения для общего набора данных. Если вы использовали пятибалльную шкалу и видите в ответе цифру шесть, возможно, при вводе данных произошла ошибка.

Шаг 4. Использование анализа основных компонентов (PCA)

Анализ основных компонентов

, или PCA, позволяет определить базовые компоненты, которые оцениваются с помощью вопросов вашего опроса. Они известны как факторные нагрузки, и вопросы указывают на то, что одни и те же элементы должны загружаться в одни и те же факторы.

Шкала факторной нагрузки находится в диапазоне от -1,0 до 1,0. Твердые значения, которые следует искать, — это факторные нагрузки 0,6 или выше. Иногда вы сталкиваетесь с вопросами, которые не влияют на какие-либо факторы, что может потребовать удаления вопроса или отдельного анализа.

Ваша общая цель на этом этапе — определить, что представляют собой факторы, путем поиска общих тем в вопросах, которые влияют на те же факторы. Вы можете комбинировать вопросы, связанные с одними и теми же факторами, сравнивая их во время окончательного анализа данных.Количество факторов-тем, которые вы можете определить, указывает на количество элементов, измеряемых вашим опросом.

Этот шаг подтверждает, что на самом деле измеряет ваш опрос. Например, несколько вопросов могут привести к измерению основного компонента лояльности сотрудников — фактора, о котором прямо не спрашивают в вашем опросе, но одного, обнаруженного PCA.

Поскольку PCA может быть сложным и должен быть точным, обращение к квалифицированному специалисту за советом на этом этапе будет разумной идеей, если вы не знакомы с процессом.

Шаг 5. Проверка внутренней согласованности

Ваш следующий шаг — проверить внутреннюю согласованность вопросов, связанных с одними и теми же факторами. Проверка корреляции между вопросами, которые нагружают один и тот же фактор, измеряет надежность вопросов, обеспечивая согласованность ответов в опросе.

Вы можете проверить внутреннюю согласованность с помощью стандартного теста, известного как альфа Кронбаха (CA). Диапазон тестовых значений составляет от 0 до 1,0, и обычно значения должны быть не менее 0.От 6 до 0,7 или выше, чтобы указать внутреннюю согласованность. Если у вас значение ниже 0,6, некоторые программы CA позволяют удалить вопрос из теста, чтобы проверить, улучшает ли он согласованность. Если да, возможно, вы захотите удалить вопрос из опроса.

Как и PCA, CA может быть сложным и наиболее эффективно завершенным с помощью эксперта в области анализа опросов.

Шаг 6: Пересмотрите свой опрос

Заключительный этап процесса валидации — это пересмотр вашего опроса на основе информации, полученной вами в результате анализа основных компонентов и альфа Кронбаха.Если вы столкнетесь с вопросом, который не очень хорошо влияет на фактор, вы можете удалить его. Если вопрос является важным, вы не хотите удалять его, вы всегда можете сохранить его и проанализировать отдельно.

Если в ваш опрос были внесены только незначительные изменения, он, вероятно, будет готов к работе после его окончательных исправлений. Если были внесены серьезные изменения, особенно если вы удалили значительное количество вопросов, вероятно, потребуется еще один пилотный тест и раунд PCA и CA.

Проверка вопросов опроса — важный процесс, который помогает убедиться, что ваш опрос действительно надежен.Вы также можете указать свои методы проверки, когда будете сообщать о результатах вашего опроса.

Укажите, что номинальная стоимость вашего опроса была установлена ​​экспертами, опрос был апробирован на подгруппе участников, а ваш предпусковой анализ включал в себя методологию PCA и CA. Проверка вашего опроса не только повышает его надежность, но также повышает качество и профессионализм вашего конечного продукта.

Понимание объема и ограничений экспертных заключений

Мнения экспертов могут быть бесценным инструментом для выяснения фактов и построения дела.Однако, чтобы быть приемлемыми, эти мнения должны отвечать определенным требованиям — и они не должны нарушать определенные границы.

Здесь мы исследуем объем и ограничения экспертных заключений, в том числе то, о чем эксперты могут свидетельствовать, на какой информации они могут основывать свои показания, насколько эксперты должны быть уверены в «правильности» своих мнений и в каких случаях какие эксперты появляются чаще всего.

Что могут содержать заключения экспертов?

В отличие от мнений непрофессионалов, эксперты могут заниматься вопросами, выходящими за рамки того, что они испытали или которые они могут почерпнуть из своего опыта.Эксперты могут обсудить, где, когда, что, почему и как происходили события, свидетелями которых они лично не были. Например, соответствующий эксперт может обсудить, как произошла автомобильная авария, даже если во время аварии эксперта не было на месте происшествия.

Однако существуют некоторые ограничения. Например, обычно ожидается, что эксперт будет основывать свое мнение или вывод на фактах или данных, на которые разумно полагаются аналогичные эксперты в предметной области. Когда эксперт представляет определенные факты, важно установить, как эти факты подтверждают мнение, которое выражает эксперт.

Эксперты могут получить информацию о деле, на которой основывается свое мнение. На самом деле эта информация часто бывает существенной: без нее эксперт может вообще не составить мнение. Итоговое мнение обычно должно основываться на имеющихся фактах. Как и непрофессионалам, экспертам обычно не разрешается строить догадки.

Хотя во многих юрисдикциях не требуется, чтобы эксперт перечислял все факты или данные, которые он или она получил перед формированием заключения, обычно ожидается, что эксперты перечислят их, если их попросят сделать это при перекрестном допросе.

Насколько прав должен быть эксперт?

Экспертные заключения подчиняются различным стандартам «правильности» в различных юрисдикциях. Например, суды штата Флорида требуют, чтобы мнение было выражено «с разумной степенью вероятности» или с вероятностью не менее 51% того, что мнение является правильным. На практике обеспечение максимальной уверенности эксперта в правильности своего мнения может укрепить как ценность самого заключения, так и репутацию эксперта в сознании исследователя фактов.

О чем может свидетельствовать эксперт?

В большинстве случаев свидетелю-эксперту разрешается давать показания по номеру:

• Собственное образование и квалификация
• Информация или данные, которые они получили по делу, включая любые гипотетические вопросы, которые им было предложено рассмотреть
• Методы, которые они использовали для анализа этой информации и выработки заключения, такие как лабораторное тестирование, медицинское обследование или исследование
• Используются ли обычно эти методы в своей области и как?
• К какому мнению, заключению или заключению пришел эксперт в результате их

Эксперты могут давать заключения или заключения, касающиеся фактического вопроса по делу.Например, эксперт, которого попросили дать показания относительно того, могла ли конкретная хирургическая ошибка вызвать повреждение нерва истца, может свидетельствовать о том, что это (или нет) их мнение, что ошибка вызвала повреждение. Однако эксперт, как правило, не может дальше сообщать установившему факт, как в результате принять решение.

При перекрестном допросе общие области нападения включают образование эксперта, подготовку, практический опыт, изучение конкретных материалов, информацию, время, потраченное на дело, и / или предвзятость — или ее отсутствие.Здесь могут оказаться полезными исследования и тщательная подготовка эксперта.

В каких случаях обычно дают показания эксперты?

Показания эксперта распространены по широкому кругу гражданских дел и по некоторым уголовным делам. Свидетелей-экспертов часто вызывают для дачи заключения по делам, связанным с:

• Медицина : Сложности современной медицинской практики приводят к тому, что поверенные используют экспертов для решения медицинских вопросов, касающихся ответственности, причинно-следственной связи и ущерба в нескольких областях, включая телесные повреждения, врачебные ошибки и ответственность за качество продукции
• Бизнес : Бизнес-эксперты могут включать судебных бухгалтеров, организационных психологов и других лиц, специализирующихся на понимании конкретных коммерческих предприятий и процессов
• Сельское хозяйство : Определенные коммерческие судебные разбирательства, иски о причинении личного вреда и неудобства, а также конкретные бизнес-дела требуют привлечения экспертов в области сельскохозяйственных наук
• Оценка: Стоимость недвижимого или движимого имущества или оказанных услуг является ключевым вопросом во многих делах по контрактам, деловых спорах, а также при оспаривании завещания или наследства.Здесь оценщики и аналогичные эксперты могут оказаться бесценными
• Реконструкция аварии : Многие дела о телесных повреждениях, ответственности за качество продукции и материальной ответственности получают пользу от внимания свидетеля-эксперта, имеющего навыки восстановления того, как произошла авария
• Судмедэксперты: Уголовные дела часто связаны с показаниями экспертов, специализирующихся на баллистике, ДНК, анализе отпечатков пальцев и аналогичных предметных областях

Вообще говоря, если точка зрения эксперта поможет исследователю разобраться в проблеме в деле, скорее всего появится свидетель-эксперт.Поскольку возможности и ограничения, с которыми сталкивается эксперт на стенде, различаются в зависимости от юрисдикции, понимание применимых стандартов важно для адвокатов, которые хотят, чтобы их эксперт предстал в наилучшем свете.

Как квалифицировать свидетеля-эксперта: образец Voir Dire

Свидетели-эксперты необходимы для подтверждения специальных знаний, которые непрофессионал не может подтвердить в зале суда. Одним из наиболее важных аспектов работы со свидетелем-экспертом в судебном процессе является обеспечение того, чтобы ваш эксперт получил надлежащую квалификацию для дачи показаний в суде в рамках процесса voir dire.Эта статья даст толчок процессу квалификации вашего специалиста с набора простых вопросов.

Что такое Voir Dire?

Voir dire — это процедура квалификации свидетеля-эксперта. Он состоит как из прямого допроса лицом, предлагающим свидетеля в качестве эксперта, так и из перекрестного допроса. Хороший способ начать — представить эксперта судье или присяжным и просмотреть его резюме, чтобы установить, что они имеют обширное образование и опыт работы в предмете, по которому вы хотите квалифицировать их как эксперта.Помните, что свидетелям-экспертам нужен определенный объем знаний, и они не могут быть просто экспертами общего профиля.

Федеральные правила доказывания 702: Основа для экспертного заключения

В соответствии с правилом 702 Федеральных правил доказывания свидетель, квалифицированный как эксперт по знаниям, навыкам, опыту, обучению или образованию, может давать показания в форме заключения или иным образом, если:

1. Научные, технические или другие специализированные знания эксперта помогут исследователю фактов понять доказательства или определить рассматриваемый факт
2. Показания основаны на достаточных фактах или данных
3. свидетельство является продуктом надежных принципов и методов
4. эксперт надежно применил принципы и методы к фактам дела

Вы всегда должны просить своего эксперта подготовить отчет до того, как вы попадете в зал суда.В этом отчете должны быть рассмотрены все различные документы или ссылки, которые эксперт рассмотрел, чтобы сформировать мнение, и он будет служить руководством для свидетельских показаний эксперта в суде. Заключение эксперта должно быть передано противной стороне вместе с резюме свидетеля-эксперта. В резюме должно быть указано образование специалиста, опыт работы, публикации или лекции. Помните, что заключение эксперта, как правило, не допускается в качестве доказательства, но его можно использовать для обновления воспоминаний свидетеля-эксперта, если он или она забывает части своих показаний.

Глядя на правило 702 выше, особенно важно, чтобы эксперт описал процесс, с помощью которого они пришли к своему заключению. Например, если эксперт свидетельствует о выводах научного исследования, эксперт должен объяснить процесс проведения исследования и дает ли оно воспроизводимые результаты. Затем эксперт должен указать, что они использовали принципы или методы, принятые в научном сообществе при проведении эксперимента. Свидетель-эксперт также должен быть обучен стандарту Добера и тому, как заложить основу для того, чтобы их показания и методы были приемлемыми на слушании по Доберу.

Образец эксперта-свидетеля Voir Dire

Ниже приведен образец для квалификации свидетеля-эксперта. Этот voir dire следует изменять в зависимости от типа используемого вами эксперта.

1. 1. Укажите ваше имя.
   2. Где ты работаешь?
   3. Какое у вас там звание?
   4. Как долго вы на этой работе?
   5. Какие у вас обязанности на этом месте работы?
   6. Где вы учились в школе?
   7. Какие у вас степени?
   8. Вы ​​читали какие-нибудь лекции?
   9. Состоите ли вы в каких-либо профессиональных ассоциациях?
   10. Получали ли вы какие-нибудь награды или награды?
   11. Вы ​​специализировались в какой-либо конкретной области?
   12. У вас есть резюме? (принять резюме в качестве доказательства)
   13. Какое у вас образование по специальности?
   14. У вас есть публикации или исследования?
   15. Какие лицензии у вас есть?
   16. Как долго у вас есть эти лицензии?
   17. Есть ли у вас сертификаты платы?
   18. Если да, то как долго у вас есть эти сертификаты?
   19. Пожалуйста, перечислите ваши предыдущие места работы, включая каждую должность.
   20. Пожалуйста, укажите обязанности, которые вы выполняли на каждой из ваших предыдущих должностей.
   21. Какие виды научных или технических исследований вы проводили?
   22. Была ли ваша работа рецензирована?
   23. Вы ​​составляли отчет по этому делу?
   24. Не могли бы вы объяснить материалы, которые вы просмотрели при создании своего отчета?
   25. После того, как вы закончили свой отчет, вы пришли к выводу?
   26. Обрисуйте конкретные факты и данные, на которые вы полагались, когда приходили к своему заключению.
   27. Опишите научные или технические принципы или методы, которые вы использовали, чтобы прийти к своему заключению.
   28. Объясните, как вы полагались на эти принципы или методы
   29. Делая свой вывод, полагались ли вы на конкретные научные или технические принципы или методы, которые широко используются в вашей области?
   30. Считаете ли вы, что ваши показания помогут судье или присяжным разобраться в фактах этого дела?
   31. Ваша честь, на данный момент я предлагаю этого свидетеля как эксперта в области (специализации государства).

Опросы и анкеты — Дизайн качественного исследования

Качественные опросы направлены на получение подробного ответа на открытый тематический вопрос собственными словами участника. Подобно количественным опросам, есть три основных метода использования качественных опросов, включая опросы лицом к лицу, телефонные опросы и онлайн-опросы. У каждого метода съемки есть свои сильные и слабые стороны.

Очные опросы

• Исследователь задает участникам один или несколько открытых вопросов по теме, обычно с учетом выражения лица и другого поведения участника во время ответа.Возможность наблюдать за реакциями респондента позволяет исследователю задавать дополнительные вопросы, чтобы получить более подробный ответ, а также отслеживать любые мимические или поведенческие сигналы, которые кажутся противоречащими тому, что явно говорят участники.
• Очные ответы на качественные обследования, вероятно, будут записаны на звук и переведены в текст, чтобы обеспечить фиксацию всех деталей; однако некоторые опросы могут включать как количественные, так и качественные вопросы с использованием структурированного или полуструктурированного формата вопросов, и в этом случае исследователь может просто записать ключевые моменты из ответа участника.

Телефонные опросы

• Аналогично методу «лицом к лицу», но исследователь не может видеть лицевые или поведенческие реакции участников на заданные вопросы. Это означает, что исследователь может пропустить ключевые подсказки, которые помогли бы ему задать дополнительные вопросы, чтобы прояснить или расширить ответы участников на их вопросы, и вместо этого полагается на голосовые подсказки.

Онлайн-опросы

• Открытые вопросы представляются участникам в письменном виде по электронной почте или в онлайн-опросах, часто вместе с вопросами количественного опроса по той же теме.
• Исследователи могут предоставить некоторую контекстуальную информацию или ключевые определения, чтобы помочь «сформировать» то, как участники рассматривают вопросы качественного опроса, поскольку они не могут напрямую спросить об этом исследователя в режиме реального времени.
• Участникам предлагается ответить на вопросы в тексте «с некоторыми подробностями», чтобы объяснить исследователям свою точку зрения или опыт; это может привести к разнообразию ответов (от кратких до подробных).
• Исследователи не всегда могут проверить или уточнить ответы участников на вопросы качественного онлайн-опроса, которые могут привести к тому, что данные из этих ответов будут для исследователя непонятными или расплывчатыми.
• Онлайн-опросы могут собирать большее количество ответов за установленный период времени по сравнению с методами личного и телефонного опроса, поэтому, хотя данные могут быть менее подробными, в целом их нужно компенсировать.

---

Ответы на ваши вопросы о гибридном обучении

На этой неделе Дженэ Кон, специалист по академическим технологиям программы письменной речи и риторики Стэнфордского университета, исследует проблемы технологий и активного обучения.

Эффективное использование технологий для ваших очных учеников : «Практически все обсуждения Гибрида (или HyFlex, или как вы его называете!), Кажется, подразумевают, что очные студенты должны будут вносить технологии в журнал. в Zoom, чтобы общаться с другими студентами », — пишет Джанет Сэмюэлс, клинический профессор Школы бухгалтерского учета Университета штата Аризона. «Тем не менее, нашим студентам не обязательно иметь ноутбуки или планшеты, и многие из моих студентов происходят из социально-экономического положения, и приобретение ноутбука станет для них обузой.

«Есть ли у вас предложения по привлечению учащихся в гибридный класс, если они не входят в систему Zoom или не имеют доступа к технологиям? Как я могу эффективно привлечь студентов к работе над проблемами бухгалтерского учета, пересмотру финансовой отчетности друг с другом и т. Д. В этой ситуации? Вдобавок, если очные ученики приносят ноутбуки и работают с Zoom вместе с другими учениками, не будет ли подавляющим шум от нескольких портативных компьютеров, находящихся рядом друг с другом, и шума от 15 учеников в классе, работающих с 25 удаленными учениками?

«Мой второй вопрос касается предложений, которые я видел, чтобы ученики лично наблюдали за чатом или Zoom на предмет вопросов от удаленных учеников.Разве это не отвлекает того очного ученика? Я хочу, чтобы они сосредоточились на том, что мы делаем в классе, а не отслеживали чат и не отвечали на сообщения чата от удаленных учеников ».

Ответ Дженэ Кон : Я бы определенно посоветовал этому преподавателю больше использовать мобильное обучение со своими учениками. Даже если студенты не приносят с собой ноутбук или планшет, у них, скорее всего, есть смартфон. (Согласно данным Educause, подавляющее большинство студентов имеют мобильные телефоны.Таким образом, учитывая широкое распространение мобильных устройств, студенты могут использовать приложение Zoom на своих телефонах для связи с одноклассниками, которые могут быть удаленными. Если у ваших учеников нет смартфонов, они также могут использовать функцию «дозвон» в Zoom (о чем многие забывают!), Чтобы просто подключиться по телефону, а не через Интернет. Должен быть какой-то четкий обмен сообщениями о том, кто может «отключать звук» и когда, хотя я бы посоветовал удаленным студентам в основном просто использовать текстовый чат, а не пытаться общаться с микрофонами.

Для этого читателя обратная связь будет проблемой, поэтому, когда я предложил студентам «сотрудничать» с кем-то в Zoom, я действительно имел в виду, что они будут выполнять эту партнерскую работу через текстовый чат, а не через живой диалог. Я думаю, что в противном случае логистика попытки управлять несколькими микрофонами в одном пространстве для разговоров в небольших группах, вероятно, стала бы шумной и сложной. Это также потребует больше работы со стороны инструктора, но если вы объедините удаленных и очных студентов в пары, вы также можете создать общее пространство для совместной работы, такое как Документ Google или общий документ Etherpad (т.д., альтернатива Google Docs с открытым исходным кодом), в которой учащиеся могут вместе писать в режиме реального времени.

С точки зрения работы над утверждениями и анализа результатов работы друг с другом, вы можете разместить содержание курса в удобном для мобильных устройств месте. Итак, опять же, если у учащихся нет ноутбуков, рассмотрите возможность размещения этих материалов в системе управления обучением, возможно, не в виде файла PDF, а в виде текстового файла в разделе «Страницы» LMS, чтобы все могли видеть текст четко. Если у вас должны быть бумажные раздаточные материалы, вы также можете сфотографировать раздаточные материалы на свой телефон и загрузить эти файлы своим удаленным студентам, хотя имейте в виду, что изображения с мобильных телефонов недоступны для студентов, которым необходимо использовать преобразование текста в речь. приложения или программы чтения с экрана.

С точки зрения того, чтобы студенты лично наблюдали за чатом для удаленных студентов, я бы посоветовал преподавателям думать о чате не как о месте «наблюдения», а как о месте взаимодействия. Я согласен с тем, что ни один студент не должен нести единоличную ответственность за то, чтобы быть «передатчиком информации» преподавателю. Скорее, инструктор может разработать мероприятия, которые приглашают всех пообщаться в чате в ключевые моменты. Как инструктор, вы также можете открыть поток чата, чтобы видеть поступающие вопросы или ответы.Вы также можете использовать чат в Zoom, чтобы отправлять участников в места для заметок, например в Google Doc, где каждый может видеть заметки или материалы из класса. Google Docs также действительно удобное для мобильных устройств приложение, поэтому оно также может быть полезно в этой ситуации. Другими словами, я бы разрабатывал занятия, в которых ученикам не хватало бы места для разделения внимания. Лучше делайте материалы, основанные на лекциях, короткими в гибридном формате и старайтесь объединять интерактивные моменты, а не разделять их.

Как включить активное обучение в большие классы: «Одна вещь, которую я постоянно вижу в этой области, — это невысказанное предположение, что размер класса, возможно, 25-35 человек или около того», — пишет Генри Шаффер, почетный профессор кафедры биологических наук в Университете штата Северная Каролина. «Так много действий, например,« попросить студента в классе объединиться с удаленным студентом через чат Zoom »- как это будет работать с 70 присутствующими студентами и еще 140 онлайн ? Семьдесят чатов, за которыми следуют 70 обобщений в классе? Я знаю, что во многих колледжах количество учеников в классах ограничено 35, но в крупных, особенно государственных, количество учеников не превышает 200 человек.

Ответ Кона: Это хороший аргумент, и я согласен с тем, что выполнение действий «парная совместная работа» с отчетностью перед всей группой на самом деле неосуществимо с классом из 200 человек. В этом случае я бы меньше наклонялся на Zoom для больших классов и многое другое об инструментах участия, которые могут лучше масштабироваться, чтобы большие группы обменивались идеями. Например, в большом классе вы можете попросить учащихся ответить на опрос в режиме реального времени. После того, как учащиеся увидят ответы на опрос, отдельные учащиеся могут записать последующее размышление или ответ, основанный на том, что они узнали или почерпнули от своих сверстников.Это может быть не столько диалог, но он все равно будет интерактивным. Другой вариант — заранее разделить учащихся (возможно, по алфавиту?) И предоставить каждой из этих буквенных «рабочих групп» доступ к общей рабочей области в системе управления обучением, общей папке Google Диска или Box или другой общей заметке. -внимание места. Это может быть место, где небольшие группы групп из большого класса приглашаются для совместного использования заметок и документов, включая, возможно, документ с заметками в реальном времени, который можно хранить во время самого сеанса живого класса.Это потребует некоторой предварительной организации, но может дать некоторую отдачу с точки зрения присутствия в большом классе лекций.

Как помочь ученикам слышать друг друга в гибридном классе

На прошлой неделе один из читателей спросил, как помочь ученикам, которые посещают занятия, удаленно слышать, что говорят ученики в классе. Это обычная проблема, когда в классе есть только один микрофон, который обычно находится рядом с преподавателем.

Несколько человек написали, чтобы предложить низкотехнологичное решение: профессор должен просто повторить вопрос.Я спросил об этом Кона. Вот что она сказала:

«Я за простые ответы, и могут быть моменты, когда просто повторение вопроса вслух может помочь! Это может быть особенно актуально в контексте простого сеанса вопросов и ответов. Однако имейте в виду, что некоторые студенты могут не захотеть попросить вас повторить то, что сказал сверстник, потому что они могут чувствовать себя неловко из-за необходимости запрашивать повторяющуюся информацию. Итак, как инструктор, если вы полагаетесь на повторение того, что студенты говорят онлайн-студентам, вы можете догадываться, что нужно повторить, что не только замедлит процесс, но и сфокусирует ваше суждение, поскольку инструктор, на чем нужно сосредоточить внимание в разговоре со сверстниками.

«Мой совет из первого информационного бюллетеня здесь также поможет в этой ситуации: если вы спроектируете как можно большую часть своего класса онлайн, чтобы сверстники в основном общались друг с другом через текстовый чат или в онлайн-пространстве, которое может каждый доступ, опыт максимально приближен к равному, и ни один студент не должен чувствовать, что он просит что-то дополнительное. Когда онлайн-студентам приходится изо всех сил спрашивать о вещах, с которыми они сталкиваются лично, это также может усилить ощущение, которое, скорее всего, уже существует, что онлайн-опыт менее ценен, чем личный.Чем больше инструкторы смогут разрабатывать классы так, чтобы эти два опыта были как можно более похожими, тем лучше.

«Еще одно замечание: если мы полагаемся на то, что преподаватели повторяют то, что говорят другие студенты, это не обязательно решает проблему студентов, которым необходимо разговаривать друг с другом и участвовать в устойчивом диалоге как группы сверстников. Таким образом, некоторые из рекомендаций, предложенных на прошлой неделе, также призваны способствовать лучшему одноранговому обмену, а не просто обмену между инструкторами.

Ваши популярные статьи о гибридном обучении

На прошлой неделе я поделился просьбой от читателя, который этой осенью собирается приступить к гибридному обучению и ищет академические статьи о его доставке и эффективности. Вот некоторые из ваших ответов:

Куб Кан, гибридный координатор Центра преподавания и обучения в Экампусе Университета штата Орегон, призвал людей использовать университетскую базу данных по исследованиям эффективности онлайн-обучения с возможностью поиска, которая включает академические исследования результатов обучения гибридное и онлайн-образование по сравнению с очным обучением.В базе данных содержится более 100 рецензируемых исследований смешанного и гибридного обучения.

Кан также указывает читателям на The Blended Course Design Workbook Кэтрин Э. Линдер, бывшего директора по исследованиям eCampus, а ныне исполнительного директора по разработке программ Глобального кампуса Университета штата Канзас. «Это отличный ресурс для преподавателей, плохо знакомых с разработкой и преподаванием гибридных курсов», — пишет Кан. «Это исчерпывающее руководство по научно обоснованной гибридной педагогике, технологии и дизайну.

Бет Торнбург, профессор права юридической школы Дедмана Южного методистского университета, рекомендует Адаптивный дизайн: создание мультимодального содержания для гибкого преподавания в юридической школе , Агнешка МакПик (2020). «У него есть полезное устройство — даже для курсов, которые в настоящее время планируется преподавать лично, планирование инструментов активного обучения, которые могут быть выполнены асинхронно, упростит переход к онлайн-курсу, если это произойдет», — пишет Торнбург.