如何製作好評線上課程?了解評估模式讓你的付出得到回報

不論線上課講師面對哪一種類型的受眾,他們的有一個共同的難題要克服,就是學生能不能黏著在自己設計的課程裡面,能高度參與課程並在課後有所進步。這就有賴於講師事先為學生設想這門課可以如何為他們帶來成效。Kirkpatrick 學習評估模型跟 ROI 可以在這裡幫上大忙。

學習評估模式 Kirkpatrick ROI

在「TibaMe 數位教學設計師與數位課程運營師培訓班」當中,第一天的第一堂課,張淑萍老師就介紹了兩個評估模式,目的是「以終為始」。就好像職涯規劃的時候會問自己十年後想成為什麼樣的人,製作課程前也要問自己這堂課最終會為學員帶來哪些效益。如果沒有在設計課程之前進行評估,就無法設計出讓學生按讚加分享的線上課程。

Kirkpatrick的四層評估模式(Kirkpatrick  Model)

Donald Kirkpatrick(1924-2014)曾經是美國人才訓練發展協會(Association for Talent Development)的會長,1950 年中期在博士論文中發表柯氏四層評估模式。都已經是七十年前的理論了,現在大家還在討論,怎麼可以不學起來!

(1)評估模式第一層

評估模式第一層是了解學員的反應,例如在課後給學員填問卷,問他們上課還開心嗎?覺得老師講得好嗎?目前大部分的課程都有第一層評估,因為成本最低(一張紙/一個畫面),速度最快(當天發放),省時省力(馬上統計算出結果)。

(2)評估模式第二層

評估模式第二層是給學員做測驗,透過測驗結果了解學員有沒有學到內容。相信接受台灣教育的諸位經歷過無數次的第二層評估模式(小考、期中考、模擬考)。有些線上課程也會在影片中置入測驗,確認學員學到知識點之後,才會繼續播放下一單元。

(3)評估模式第三層

評估模式第三層就比前兩層還要深入,因為必須以訪談或是觀察的方式,了解學員在課程之後有沒有運用所學在工作之中。學習不是吃藥,常常不能立即見效,可能要一個月到一季的時間才能著手進行調查。此時評估的時間與精神成本就會轉移到人資或是學員的主管身上。

(4)評估模式第四層

評估模式第四層是學習最終要達成的目標,也就是評估學員有沒有運用學到的東西在工作中,有效改善工作績效,進而達到企業的目標。而這第四層評估也對出錢的人來說至關重要,透過這層的評估才知道這個訓練有沒有達到出錢者的期望,讓他們知道這筆錢花得值得。

層級評估內容
Level 1 反應給學員填問卷
Level 2 學習給學員做測驗,了解學員有沒有學到內容
Level 3 行動訪問學員在工作中應用了哪些新學到的知識
Level 4 結果評估學員有無應用所學,達到企業的目標

這個四層評估模式對課程製作者的啟示是什麼呢?我們當然不可能把每一層都跑過之後再回來修正課程設計。而是在課程設計一開始之前就要確認 Level 4 的目標是什麼?例如希望學員上過這堂課之後,可以達到什麼成就?進一步來說,需要了解學員想要達到的成就,根據他們的需求來設計課程。

在確認 Level 4 的目標之後,再回推到 Level 3,如果學員要達成這個成就,他必須如何在工作當中應用新知?接著往回推到 Level 2,為了讓學員可以在工作中應用這個知識,他必須在課堂中學到什麼?最後回推到 Level 1,為了讓學員學到這個知識,該如何在運課過程讓學生保持專注並提升學習體驗?

層級評估內容
Level 4 結果學員所屬企業有無達到營運目標?
Level 3 行動學員的工作有何進展? 學員如何運用所學在工作中?
Level 2 學習學員學了什麼?
Level 1 反應學員喜歡這堂課嗎?他們有把課上完嗎?

Jack Phillips的投資報酬評量法(ROI Methodology)

Jack Phillips(1945-)是全球知名的企業專案管理衡量與評估權威,目前的中文譯著有專案管理計分卡:評估專案管理解決方案的最佳策略工具。他以 Kirkpatrick 的評估模式為基礎,添加了 Level 5 投資報酬率(Return on Investment)。

Jack Phillips 加上投資報酬率這個項目,目的不只是要檢驗企業投入的成本有沒有得到回報,而且還要去計算實際的投報率,評估這個訓練花費的成本跟成效之間的距離有多少。

來源:
https://roiinstitutecanada.com/roi-methodology/evaluation-planning-the-v-model/

在做 ROI 評估時,會紀錄訓練成本,包含學費、公司付出的時間與空間成本等等。訓練之後,也會繼續追蹤學員課後的工作表現如何,工作成效對公司的發展有什麼正增強?舉例來說,一間保養品公司送第一線服務人員去上課,所花費的成本是 5 萬元。人員課後回到工作現場,總共為公司淨賺了 10 萬元。

ROI=(淨收益 -成本)/成本 X100%

這裡的 ROI 就是(10-5)/5X100%=1 表示這個訓練有跟沒有都沒差。(悲)

如果為公司淨賺了 12 萬元,ROI=(12-5)/5X100%=140%

表示這個訓練的投資報酬率是 140%。

計算投報率看起來很現實,但卻是確保學習方向不走偏的科學化工具。

小結

在面授課程的時代,往往是老師決定要教什麼,很少問學生需要什麼,學生只能被動接受課堂的學習內容。隨著科技越來越進步,線上課程的出現為傳統教學帶來了改變。

這個時候設計線上課程,有兩個比較常見的可能。一個是因爲疫情,實體課必須要改線上,一個是想加入販售知識型的商品的市場。這兩個課程的受眾特質很不同,如果是學校學生,上課依然是義務,老師評分還會影響畢業,所以一定會來上課。而第二種受眾是老師的客戶,一定是認為課程對自己有幫助才會掏錢購買。

但是,不論線上課講師面對哪一種類型的受眾,他們有一個共同的難題要克服,就是學生能不能黏著在自己設計的課程裡面,能高度參與課程並在課後有所進步。這就有賴於講師事先為學生設想這門課可以如何為他們帶來成效,以終為始,才能使課程設計的方向正確並達到預期的學習目的。

封面圖片來源:pixabay