Как эффективно провести оценку обучения

Исследование проведено международным партнером CBSD – Ассоциацией по развитию талантов ATD (Association for Talent Development)

Исследование ATD под названием «Making Learning Assessments Successful: Using Performance and Tests to Measure Knowledge and Skills Learned in Training» (полный текст исследования на английском доступен при покупке членства в ATD) посвящено вопросу оценки эффективности обучения через различные методы тестирования и оценки производительности.

Международное исследование основывается на опросе 318 профессионалов по развитию талантов (TD professionals) и представляет собой детальный анализ того, как организации оценивают усвоение знаний и навыков после проведения тренингов.

Структура исследования и процесс проведения

Исследование было проведено в марте-апреле 2024 года. В ходе исследования была собрана информация о методах оценки знаний и навыков, использовании тестов и производственных оценок, а также о демографических характеристиках компаний. Различия между группами респондентов исследовались с использованием статистически значимых критериев (p < 0.05), что означает, что вероятность случайности составляет менее 5%.

Основные выводы исследования

1. Большинство используют оценки в обучении
• 92% опрошенных организаций используют оценки как часть своих учебных программ. В большинстве случаев это сочетание тестов и производственных оценок.
• Пример. Организации используют сценарии, где сотрудники выполняют задачи, схожие с их ежедневными обязанностями, например, выполнение ремонта оборудования или обработка запросов клиентов.
2. Производственные оценки считаются наиболее эффективными
• 76% специалистов по развитию талантов считают, что производственные оценки лучше измеряют реальные результаты обучения, чем тесты. Этот вид оценки позволяет наблюдать за тем, как сотрудники применяют полученные знания в реальных рабочих условиях.
• Пример. Производственная оценка специалиста по продажам может включать наблюдение за его реальными сделками с клиентами, где оценивается применение навыков убеждения, ведения переговоров и закрытия сделки.
3. Тесты оцениваются как менее эффективные
• Только 58% респондентов считают тестовые задания достаточно точным инструментом для измерения знаний. Чаще всего тесты используются для проверки фактических знаний, а не навыков применения этих знаний.
• Пример. Обычный тест на знание компании может включать вопросы типа: «Сколько сотрудников работает в компании?» или «Какие цели обозначены в нашей стратегии на 2024 год?», но эти вопросы не измеряют способность сотрудника применять эти знания на практике.
4. Типы используемых тестов
• Наиболее распространёнными типами тестовых заданий являются вопросы с одним правильным ответом (single-select), множественный выбор (multiple-choice) и утверждения, которые необходимо отметить как «верно/неверно» (true/false). Эти методы тестирования широко используются из-за их простоты в создании и оценке.
• Пример. Вопросы типа «Какая техника используется для управления проектами? A) Scrum; B) Kanban; C) Lean» позволяют быстро оценить базовые знания, но не дают возможности проверить навыки управления проектом на практике.
5. Оценки чаще применяются для проверки базовых навыков
• Оценочные процедуры наиболее часто используются для проверки базовых знаний или для выполнения требований по соблюдению нормативных стандартов. Если сотрудники не проходят тест с первой попытки, им обычно предоставляется возможность повторно пройти обучение или пересдать тест.
• Пример. На предприятии по производству продуктов питания регулярные тесты проводятся для оценки знаний сотрудников о правилах безопасности пищевой продукции. Если сотрудник не сдал экзамен, его направляют на повторное обучение.
6. Кто создаёт оценки
• 73% организаций поручают разработку оценок внутренним специалистам по обучению. Некоторым компаниям удаётся сэкономить время и ресурсы, привлекая внешних специалистов или покупая уже готовые валидированные тесты.
• Пример. В крупной IT-компании могут быть выделены специализированные команды внутри отдела по обучению для создания тестов на знание программирования, в то время как небольшая компания может обратиться к внешним экспертам для разработки подобных тестов.
7. Повторные попытки
• Сотрудники, не сдавшие тесты с первой попытки, чаще всего получают возможность пересдать их. Такой подход даёт возможность сотрудникам усвоить материалы лучше и минимизировать стресс, связанный с единственной попыткой прохождения экзамена.
• Пример. Для медицинских сотрудников может требоваться регулярное тестирование на знание процедур по оказанию первой помощи. Если сотрудник не сдал экзамен, он может пройти повторное обучение.

• Если целью является оценка практического выполнения задач, лучше использовать производственные оценки. Тесты больше подходят для проверки знаний и запоминания информации.
• Пример. Для оценки навыков по обслуживанию клиентов можно организовать оценку производительности, где сотрудник должен обработать жалобу клиента в реальной ситуации, а для проверки знаний стандартов обслуживания — тест на знание правил.

• Важно стандартизировать критерии оценки, особенно если производственные оценки влияют на кадровые решения. Необходимо привлекать специалистов из HR отдела для корректного применения производственных оценок.
• Пример. В оценке работы сотрудников на производстве могут быть установлены чёткие критерии, такие как точность выполнения операций, время выполнения задачи и соблюдение стандартов безопасности.

• Вопросы тестов должны чётко соответствовать поставленным учебным целям. Важно проверять тесты с экспертами для корректировки вопросов, которые вызывают трудности у большинства сотрудников.
• Пример. Если цель курса — обучение финансовой грамотности, тестовые задания должны оценивать конкретные знания, такие как «Какие инструменты используются для составления бюджета?» или «Как рассчитать процентную ставку по кредиту?». Вопросы должны быть согласованы с экспертами финансового отдела.

• Все тесты должны пройти пилотные испытания, чтобы убедиться в их эффективности. Необходимо использовать статистические методы для проверки надёжности результатов.
• Пример. Перед внедрением нового теста для программистов организация может провести пилотное тестирование на небольшой группе сотрудников, чтобы убедиться в корректности вопросов и в отсутствии двусмысленных формулировок.

• Необходимо чётко определить, кто в организации будет ответственным за создание и разработку тестов и оценок. Это могут быть как внутренние специалисты по развитию талантов, так и внешние консультанты. Также возможно использование готовых тестов, которые уже валидированы.
• Пример. В компании по производству автомобилей внутренние специалисты по обучению могут разрабатывать тесты для производственных работников, в то время как для менеджеров могут использоваться готовые решения по оценке управленческих навыков.

• Важно провести пилотное тестирование всех вопросов теста для того, чтобы гарантировать, что они точно измеряют знания или навыки, которые требуется оценить. Кроме того, тесты должны быть проверены экспертами, чтобы убедиться в их корректности.
• Пример. В медицинской компании вопросы теста на знание новых методик лечения должны быть тщательно проверены специалистами, чтобы исключить двусмысленность и гарантировать, что тестовые вопросы точно соответствуют учебной программе.

Демографические данные исследования

1. Размер организаций
• Участники исследования представляли организации разных размеров. 55% респондентов работали в компаниях среднего размера (100-2499 сотрудников), 14% — в малых компаниях (1-99 сотрудников), 19% — в очень крупных (10 000 и более сотрудников), а 12% — в крупных (2 500-9 999 сотрудников).
2. Типы работы
• Опрос показал, что 53% сотрудников работают в основном в офисе, 39% — в гибридном режиме, а 8% — преимущественно удалённо.
3. Отрасли
• Респонденты работали в разных отраслях, таких как здравоохранение (18%), образование (14%), финансы (10%), производство (8%) и другие.
4. Распределение по регионам
• Большинство респондентов (90%) работали в США, остальные представляли регионы Европы, Азии и Африки.

Заключение:

Данное исследование показывает, что

·       Большинство организаций активно используют оценки для проверки знаний и навыков сотрудников, однако существует разница в эффективности разных методов

·       Производственные оценки оказались более точными и эффективными для измерения навыков

·       В то время как тестовые задания часто используются для проверки базовых знаний

·       Исследование предоставляет важные рекомендации для организаций, которые стремятся улучшить свои процессы оценки

·       Для тех, кто только начинает внедрять систему оценок, отчёт содержит советы по созданию эффективных тестов и проведению производственных оценок, а также подчеркивает важность проверки тестов на надёжность и валидность

·       Внедрение лучших практик, таких как стандартизация методов оценки и использование экспертов для разработки тестов, может значительно повысить точность и объективность результатов.

Ассоциация по развитию талантов ATD (Association for Talent Development) предоставляет множество ресурсов для профессионалов в области обучения и развития, включая курсы, подкасты и книги, которые помогают глубже погружаться в вопросы разработки и применения оценочных процедур.

__________________________