Эфективность обучения

Эффективность обучения - как  правильно ее оценить?

 

Вопрос о необходимости  оценки эффективности обучения персонала  активно муссируется в профессиональных кругах тренеров, консультантов и HR-менеджеров. Однако модели оценки во многом различны: часть из них направлена только на качественную оценку эффективности  обучения, часть включает также и  количественную оценку.

 

Многие компании ограничиваются раздачей так называемых "листков  счастья" - опросных листов, включающих такие вопросы, как: понравился ли вам  тренинг, понравился ли вам тренер, как вы оцениваете эффективность  проведенной программы обучения, какие еще тренинги вы хотели бы пройти? Понятно, что ответы на эти  вопросы никоим образом не улучшают положение HR-менеджеров, от которых  руководство все чаще требует  отчета о результативности проведенных  обучающих мероприятий. Но это у  нас. За рубежом уже давно и  с успехом используется несколько  моделей оценки эффективности обучения. Некоторые из них известны и в  нашей стране, некоторые являются для нашего рынка обучения лишь экзотикой. Наша компания сама не раз сталкивалась с необходимостью оценки эффективности  проведенных бизнес-тренингов и  семинаров, как у клиентов, так  и по внутренним программам обучения.

 

Мы поставили целью  показать различные модели оценки эффективности  обучающих программ.

 

Начнем с рассмотрения самой известной модели Дональда Киркпатрика.

 

В 1959 г. американский исследователь  Дональд Киркпатрик предложил четырехуровневую модель оценки эффективности обучения, которая получила широкое распространение и сегодня является классической.

 

Рассмотрим уровни модели Д. Киркпатрика подробнее.

 

Первый уровень - "Реакция  участников"

 

Направлен на выявление того, понравилось ли участникам обучение. Для оценки этого уровня используют стандартные анкеты. Основные темы вопросов в анкетах:

 

- полезность полученных  знаний и навыков для реальной  работы;

 

- интересность программы; 

 

- сложность, доступность  подачи материала. 

 

Это тот уровень, который  измеряется чаще всего. Многие российские компании уже внедрили такую практику на сегодняшний день. К примеру, в  нашей компании мы используем вопросник, состоящий из следующих частей.

 

1. Оценка содержания тренинговой программы (количество и характер игр и упражнений, необходимость полученных знаний и умений для рабочего процесса, баланс между отдельными частями программы, достижение учебных целей и т. д.). Примерные вопросы анкеты:

 

1. Какая часть тренинга  будет наиболее полезна для  вашей работы?

 

2. Какая часть тренинга  будет наименее полезна для  вашей работы?

 

3. Есть ли какие-либо  темы, которые вы хотели бы  включить в программу тренинга?

 

4. Какой частью тренинга  вы бы пожертвовали ради включения  интересующих вас тем? 

 

5. Как бы вы в целом  оценили программу тренинга?

 

6. Как вы оцениваете  баланс между отдельными частями  тренинговой программы (видеофрагментами, упражнениями, играми, кейсами, лекциями, дискуссиями)?

 

7. Как вы оцениваете  продолжительность программы тренинга?

 

8. Достаточно ли времени  было отведено на игры и  обсуждения?

 

2. Оценка качества проведения  тренинга, до- и посттренинговой работы (продолжительность программы, количество перерывов, эффективность посттренинговой оценки, качество оценки потребности в обучении, эффективность постановки целей и т. д.). Соответствующий раздел анкеты включает вопросы следующего типа:

 

1. В какой степени были  достигнуты ваши личные цели  в программе тренинга?

 

2. Какие из ваших личных  целей не были достигнуты и  почему?

 

3. Как вы оцениваете  качество посттренинговой работы?

 

4. Как вы считаете, достаточно  ли перерывов, сделанных в ходе  тренинга, для отдыха в процессе  обучения?

 

5. В какой степени, по  вашему мнению, поставленные цели  тренинга были достигнуты?

 

6. Как вы оцениваете  качество проведенной посттренинговой работы?

 

3. Оценки тренера и его  навыков (навык презентации, коммуникации, обратной связи, стиля ведения  и прочее):

 

1. Оцените тренера по  каждому из аспектов (по шкале:  очень эффективно, хорошо, удовлетворительно,  совершенно неэффективно):

знание предмета;

организация тренинга;

подготовка к тренингу;

стиль;

отзывчивость, обратная связь;

создание благоприятного климата.

 

4. Оценка качества организации  тренинга (размещение, доставка, помещения  для тренинга, качество раздаточных  и презентационных материалов):

 

1. Как вы оцениваете  количество выданных раздаточных  материалов?

 

2. Как вы оцениваете  количество презентационных материалов (видео, аудио, слайды, флипчарт)?

 

3. Как вы оцениваете  качество презентационных материалов (видео, аудио, слайды, флипчарт)?

 

4. Как вы оцениваете  размещение участников?

 

5. Как вы оцениваете  помещение для тренинга?

 

6. Как вы оцениваете  качество обслуживания (питание,  кофебрейки)?

 

Для каждого из вопросов задается определенная шкала оценки, например, от 1 до 6 баллов, где каждый балл сопровождается словесным описанием.

 

Второй уровень - "Обученность"

 

Определяет, как изменились знания участников в результате обучения и изменились ли они вообще. Для  оценки этого уровня используют специально разработанные тесты, опросники  и задания, которые позволяют  количественно измерить прогресс в  компетенции или мотивации участников.

 

Также возможно провести наблюдение в процессе обучения, в частности, в ходе выполнения контрольных упражнений или ролевых игр, либо после обучающих  мероприятий в ходе рабочего процесса.

 

Например, мы организуем ассессмент-центр, в состав которого входят деловые игры, требующие проявления определенных навыков, кейсы, так называемые упражнения "ин-баскет". Так, для секретарей проводится упражнение по разбору документов и корреспонденции, подготовке материалов к совещанию за определенное время, ответам на звонки "трудных" клиентов.

 

Приведем пример упражнения "ин-баскет" для сотрудников, прошедших тренинг по управлению персоналом. Упражнение составлено на основе имитационного теста по управлению персоналом.

 

Ваша задача:

 

1. Рассмотреть человека, изображенного  на фотографии.

 

2. Познакомиться с описанием  текущей проблемы, возникшей в  отношении этого человека.

 

3. Выбрать из списка  действия, которые вы считаете  наиболее уместными в данном  случае. Если вы не находите  в списке достаточного количества  необходимых действий, то по крайней  мере надо исключить действия, которые в данной ситуации  применять совершенно не уместно.  Для каждого кейса вы не  должны выбирать ответ "ДА" более пяти раз (и менее трех).

 

Третий уровень - "Применение"

 

Выявляет, применяют ли участники  полученные в ходе обучения знания и навыки на рабочем месте? Есть ли реальные изменения в их работе? Оценка данного уровня обычно проводится посредством инструментов, разработанных  по принципу "360 градусов". Другой способ - использовать существующую в  организации систему ключевых показателей (KPI) или сбалансированную счетную  карту (ССП). В случае с тренингом  продаж можно, например, сравнить количество жалоб или число заключенных  сделок до и после обучения. Для  оценки изменения поведения персонала  на рабочем месте используется специальная  анкета. Она создана для изучения изменения рабочего поведения в  результате проведения обучающих мероприятий. Представленные в анкете темы затрагивались  в ходе обучения и поэтому имеют  непосредственное отношение к его  эффективности.

 

Четвертый уровень - "Результаты"

 

Направлен на выявление изменений  в бизнес-показателях компании в  результате обучения. Данный уровень, как правило, является наиболее сложным  для измерения, особенно, если учесть тот факт, что на показатели бизнеса  влияют также и другие факторы, а  изолировать их влияние практически  невозможно.

 

Таким образом, модель Д. Киркпатрика, несмотря на простоту и удобство в использовании, страдает большой долей субъективизма и не предоставляет количественных показателей об эффективности обучения.

 

В 1991 г. другой американец - Дж. Филипс - добавил в модель Киркпатрика пятый уровень оценки - RОI (отдача от инвестиций в обучение). Его модель сегодня признана "Американской ассоциацией тренинга и развития" (ASTD) и используется во всем мире.

 

Расчет RОI позволяет:

 

- Количественно выразить  улучшение результативности и  качества работы в результате  обучения сотрудников; 

 

- Выразить в денежном  эквиваленте ценность проведенного  обучения;

 

- Определить возврат на  инвестиции в обучающие мероприятия; 

 

- Принимать обоснованные  решения по выбору обучающих  программ, сравнивая их эффективность. 

 

Однако процедура вычисления RОI довольно трудоемка. Из-за трудности  расчета RОI данный показатель рекомендуется  измерять лишь в случае удовлетворения следующих показателей:

 

- Большая продолжительность  программы обучения;

 

- Важность программы обучения  для достижения корпоративных  целей; 

 

- Обозримость программы  (этапы) обучения;

 

- Большая целевая аудитория; 

 

- Высокая степень заинтересованности  лиц, принимающих решения. 

 

Формула для расчета RОI выглядит следующим образом:

 

 

 

Приведем пример расчета RОI для тренинга по управлению персоналом, который проводился нами для начальников  цехов и мастеров участков производственного  предприятия. Всего в тренинге принимали  участие 15 человек.

 

Доходы от обучения, выраженные в улучшении качества исполнения обязанностей, подсчитаны нами как  произведение среднего процента использования  навыков в работе и заработной платы соответствующего сотрудника. Они составили в совокупности 21 900 у.е. за месяц. С учетом процедуры  корректировки данная сумма составила:

 

21900 х (1-0,35)=14 235 у.е.

 

Кроме того, в результате обучения текучесть персонала снизилась  на 14% и составила 13%, что соответствует  снижению затрат на подбор, обучение и  адаптацию примерно 23 человек. Следовательно, можно рассчитать доход от снижения текучести:

 

- 13% от численности работников  компании составляет примерно 23 человека;

 

- средние затраты на  подбор, обучение и адаптацию  работников составляют 928 у.е. 

 

Соответственно, доход от снижения текучести равняется 21 804 у.е.

 

Общий доход от проведения обучения, таким образом, составил 36 039 у.е.

 

Затраты на обучение 15 сотрудников:

 

   Оплата услуг сторонних  тренеров: 1700 у.е. х 2 = 3400 у.е. 

    Аренда помещения: 1000 у.е. 

    Оплата питания: 1800 у.е. 

    Оплата доставки  сотрудников: 400 у.е. 

    Заработная плата  участников (за 2 дня): 3000 у.е. 

    Заработная плата  координатора (за время подготовки  и проведения тренинга): 120 у.е. 

    Итого: 9720 у.е. 

 

Показатель RОI для проведенного тренинга по управлению персоналом равен:

 

Интересен вопрос о том, какой  показатель R0I считать приемлемым. Сам  Филипс утверждает, что данный показатель может превосходить 800%. Более того, компания Tennessee Valley Authority, награжденная ASTD, рассчитала средний показатель RОI на уровне 1000%. Одним из выходов в данной ситуации может быть сравнение полученного значения RОI с аналогичным показателем по финансовым проектам, а также сравнение динамики RОI обучения по различным временным периодам. Так, рассчитанный нами показатель R0I значительно превосходил аналогичный показатель по другим инвестиционным проектам предприятия, что еще раз доказывает эффективность вложений в персонал.

 

В дополнение к расчету RОI часто вычисляют показатель срока  окупаемости, отражающий срок, за который  окупаются вложенные в обучение инвестиции. Срок окупаемости представляет собой показатель, обратный показателю RОI.

 

Существует еще одна модель оценки обучения, практически неизвестная  в России, - "Таксономия Блюма" (Bloom's Taxonomy). Она состоит из трех частей - перекрывающихся сфер, которые часто называют ЗУН (знания, установки, навыки).

 

Когнитивная сфера (знания)

 

   1. Вспоминание информации 

    2. Понимание 

    3. Использование  на практике 

    4. Анализ информации (структуры/ элементов) 

    5. Синтез (создание/построение)

    6. Оценка (сравнение) 

 

Эмоциональная сфера (установки)

 

   1. Восприятие (осознание) 

    2. Ответ (реакция) 

    3. Оценка ценности (понимание и действие)

    4. Сочленение (комбинирование, интеграция схожих навыков) 

    5. Усвоение системы  ценностей (адаптация поведения) 

 

Психомоторная сфера (навыки)

 

   1. Имитация (копирование) 

    2. Управление (следование  инструкциям) 

    3. Развитие точности, четкости 

    4. Организация  личной системы ценностей 

    5. Натурализация  (доведение до автоматизма, экспертное  знание)

 

Каждая из трех сфер основана на предпосылке о том, что все  категории внутри каждой сферы расположены  строго в определенном порядке по степени нарастания сложности. Эти  категории являются последовательными  уровнями развития сотрудников в  процессе обучения. В целом в практическом смысле модель похожа на модель Д. Киркпатрика. Она также требует составления по каждой из составляющих определенных вопросов, тестов или упражнений, но не дает финансовой оценки эффективности обучения.