在「TibaMe 數位教學設計師與數位課程運營師培訓班」當中,第一天的第一堂課,張淑萍老師就介紹了兩個評估模式,目的是「以終為始」。就好像職涯規劃的時候會問自己十年後想成為什麼樣的人,製作課程前也要問自己這堂課最終會為學員帶來哪些效益。如果沒有在設計課程之前進行評估,就無法設計出讓學生按讚加分享的線上課程。
Kirkpatrick的四層評估模式(Kirkpatrick Model)
Donald Kirkpatrick(1924-2014)曾經是美國人才訓練發展協會(Association for Talent Development)的會長,1950 年中期在博士論文中發表柯氏四層評估模式。都已經是七十年前的理論了,現在大家還在討論,怎麼可以不學起來!
(1)評估模式第一層
評估模式第一層是了解學員的反應,例如在課後給學員填問卷,問他們上課還開心嗎?覺得老師講得好嗎?目前大部分的課程都有第一層評估,因為成本最低(一張紙/一個畫面),速度最快(當天發放),省時省力(馬上統計算出結果)。
(2)評估模式第二層
評估模式第二層是給學員做測驗,透過測驗結果了解學員有沒有學到內容。相信接受台灣教育的諸位經歷過無數次的第二層評估模式(小考、期中考、模擬考)。有些線上課程也會在影片中置入測驗,確認學員學到知識點之後,才會繼續播放下一單元。
(3)評估模式第三層
評估模式第三層就比前兩層還要深入,因為必須以訪談或是觀察的方式,了解學員在課程之後有沒有運用所學在工作之中。學習不是吃藥,常常不能立即見效,可能要一個月到一季的時間才能著手進行調查。此時評估的時間與精神成本就會轉移到人資或是學員的主管身上。
(4)評估模式第四層
評估模式第四層是學習最終要達成的目標,也就是評估學員有沒有運用學到的東西在工作中,有效改善工作績效,進而達到企業的目標。而這第四層評估也對出錢的人來說至關重要,透過這層的評估才知道這個訓練有沒有達到出錢者的期望,讓他們知道這筆錢花得值得。
層級 | 評估內容 |
Level 1 反應 | 給學員填問卷 |
Level 2 學習 | 給學員做測驗,了解學員有沒有學到內容 |
Level 3 行動 | 訪問學員在工作中應用了哪些新學到的知識 |
Level 4 結果 | 評估學員有無應用所學,達到企業的目標 |
這個四層評估模式對課程製作者的啟示是什麼呢?我們當然不可能把每一層都跑過之後再回來修正課程設計。而是在課程設計一開始之前就要確認 Level 4 的目標是什麼?例如希望學員上過這堂課之後,可以達到什麼成就?進一步來說,需要了解學員想要達到的成就,根據他們的需求來設計課程。
在確認 Level 4 的目標之後,再回推到 Level 3,如果學員要達成這個成就,他必須如何在工作當中應用新知?接著往回推到 Level 2,為了讓學員可以在工作中應用這個知識,他必須在課堂中學到什麼?最後回推到 Level 1,為了讓學員學到這個知識,該如何在運課過程讓學生保持專注並提升學習體驗?
層級 | 評估內容 |
Level 4 結果 | 學員所屬企業有無達到營運目標? |
Level 3 行動 | 學員的工作有何進展? 學員如何運用所學在工作中? |
Level 2 學習 | 學員學了什麼? |
Level 1 反應 | 學員喜歡這堂課嗎?他們有把課上完嗎? |
Jack Phillips的投資報酬評量法(ROI Methodology)
Jack Phillips(1945-)是全球知名的企業專案管理衡量與評估權威,目前的中文譯著有專案管理計分卡:評估專案管理解決方案的最佳策略工具。他以 Kirkpatrick 的評估模式為基礎,添加了 Level 5 投資報酬率(Return on Investment)。
Jack Phillips 加上投資報酬率這個項目,目的不只是要檢驗企業投入的成本有沒有得到回報,而且還要去計算實際的投報率,評估這個訓練花費的成本跟成效之間的距離有多少。
在做 ROI 評估時,會紀錄訓練成本,包含學費、公司付出的時間與空間成本等等。訓練之後,也會繼續追蹤學員課後的工作表現如何,工作成效對公司的發展有什麼正增強?舉例來說,一間保養品公司送第一線服務人員去上課,所花費的成本是 5 萬元。人員課後回到工作現場,總共為公司淨賺了 10 萬元。
ROI=(淨收益 -成本)/成本 X100%
這裡的 ROI 就是(10-5)/5X100%=1 表示這個訓練有跟沒有都沒差。(悲)
如果為公司淨賺了 12 萬元,ROI=(12-5)/5X100%=140%
表示這個訓練的投資報酬率是 140%。
計算投報率看起來很現實,但卻是確保學習方向不走偏的科學化工具。
小結
在面授課程的時代,往往是老師決定要教什麼,很少問學生需要什麼,學生只能被動接受課堂的學習內容。隨著科技越來越進步,線上課程的出現為傳統教學帶來了改變。
這個時候設計線上課程,有兩個比較常見的可能。一個是因爲疫情,實體課必須要改線上,一個是想加入販售知識型的商品的市場。這兩個課程的受眾特質很不同,如果是學校學生,上課依然是義務,老師評分還會影響畢業,所以一定會來上課。而第二種受眾是老師的客戶,一定是認為課程對自己有幫助才會掏錢購買。
但是,不論線上課講師面對哪一種類型的受眾,他們有一個共同的難題要克服,就是學生能不能黏著在自己設計的課程裡面,能高度參與課程並在課後有所進步。這就有賴於講師事先為學生設想這門課可以如何為他們帶來成效,以終為始,才能使課程設計的方向正確並達到預期的學習目的。
封面圖片來源:pixabay