本文架構來自2020數位學習人培班蘇文華老師（Wally老師）課程整理寫成。
蘇文華老師在這個講座指出「評估」是一種工具與流程，線上、線下課程都可以用這個模式來評估。討論學習評估一定要認識兩個人：
（1）Donald Kirkpatrick 柯氏四級評估
Level 1: Reaction 反應 ：覺得自己沒有浪費時間。但可能只是老師很會講笑話。
（2）Jack Phillips 五級評估
Level 0：衡量輸入時數、人次
常常看到公司人資報告說：「本年度辦了OO小時的訓練課程，總學習人數是OO人次」，這類計算學習人次、學習時數者都屬於Level 0的評估層次，並非最有效的評估。以下介紹 Jack Phillips開發的ROI評估方法 13 招。
1. 學習成效評估第一招：依據開課單位需要選擇評估的層級 Jack Phillips提出了五級評估層次，但實際上並不是所有的開課單位都要走完所有的評估程序。畢竟現實上不一定有足夠的人力跟資源來評估每個項目，例如到Level 3以後，評估成本會飆太高，因為沒人有空去追蹤每個學員課後的成效。所以要選哪一層來評估就要先釐清進行此培訓的目的與預期的成效為何？
舉例來說，重視投資報酬率的A公司會做Level 5 ROI評估，著重員工有沒有實際應用所學的B公司就會做Level 3的評估。對於B公司來說，再做Level 5 ROI的評估就是多餘的了。
因為時間跟資源都有限（現實），有的開課單位不一定有錢有閒能走完ADDIE的所有流程，還有資源能評估者，就要更小心選擇評估的層級是否有助於下次的培訓。
另外，Wally老師也提到，很多課程設計者花很多時間在ADDIE的「A」階段分析受眾需求，卻忽略了課程製作完成後要怎麼評估。沒有以終為始，去想這門課程預計要達到的成效是什麼，在專案後段就會失去一些優化的機會。
2. 學習成效評估第二招：針對每一個層級設定目標 在進行評估時，首要分析這個訓練的目的是什麼？訓練的項目是否呼應公司的經營方向？為了讓訓練有效，在確認評估項目時，也要依據公司的期待來選擇要評估的層級，此時就要知道每一個層級的目標是什麼。
級別 著重點 Level 1：Reaction 訂定能衡量學員預期反應的標準 例：能理解績效管理系統 Level 2：Learning 訂定能衡量學員知識、資訊、技能有進步的標準 例：能管理遠距離團隊 Level 3：Application 訂定能衡量學員成功應用所學的標準 例：在95%的客訴情境，能用7個步驟進行調查 Level 4：Impact 訂定學員課後能運用所學為公司帶來改變的評估標準 例：一年內市民投訴減少20%。 Level 5： ROI 訂定訓練項目的最低投資報酬率 例：實施彈性工作系統後，一年達到20%的投資報酬率
3. 學習成效評估第三招：利害關係人 利害關係人包括出資者、學員、講師、人資、專案負責人等，這些都是培訓過程中重要的成員，評估流程也少不了利害關係人們的意見以及他們對於培訓的期待是什麼。
4. 學習成效評估第四招：提早以及經常跟事業單位聯繫 很多學員在培訓後的學習成效必須由主管來評估，訓練單位就要提早知會單位主管需要定期追蹤評估的工作，以及老闆屬意要追蹤哪一層級的成效。
Level 3的評估（實際應用所學在工作中），應該交由受訓員工主管來做，因為主管是最熟悉員工的人。如果主管不願意，就跟主管說，叫他不要再派員工來受訓。因為他連評估學習結果都不想，那為何要送員工去受訓。
5. 學習成效評估第五招：正確收集回饋 Level 1的評估要避開「迷惑性」的迴圈。有些培訓課程會在課後發問卷，學員如果很享受課程，就會給講師很高的評分。而講師就會受到正向回饋，認為讓學員享受才是課程的重點，也就陷入了「迷惑性」的迴圈。因此，設計問卷時一定要問學員：「今天學的內容未來將如何運用？」
Level 2 的評估則可用客觀性測驗（紙筆測驗）、績效測驗（小組報告）或非正式評估來進行。為什麼需要非正式評估？因為講師一邊上課，不可能還紀錄誰在發言、誰的課堂操作做得如何？於是就跟課的人資來評估，或是跟課的人可以在課後問講師對全班整體的感覺如何。
6. 學習成效評估第六招：課後搜集Level 3 – Level 4的數據 在評估的第六招要收集Level 3 – Level 4的數據，摘要條列方法如下：
收集數據方法 Level 3 Level 4 調查問卷 可 可 觀察工作表現 可 訪問學員 可 行動計畫 可 可 紀錄工作績效 可
調查問卷是成本最低的方法，從Level 1到Level 4都可用。而觀察工作表現的時間成本較高，願意做的主管少。還有一個方法是做行動計畫，也就是在紙上寫下接下來的行動步驟是什麼，註明這些步驟如何改善當前績效，這的項目是Level 1 至 Level 4都可以做，條列如下：
Level 1：課前預計要做的事
行動計畫的最佳調查時機：
1.上課前寫：跟老闆討論過寫才有意義，雙方明確知道這個培訓要能帶來哪些改變？有的懶人寫的就是他本來在做的事。
2.每一節下課後：寫下修正版的行動計畫。人資不要馬上回收，讓員工帶回去給主管看，再看有無要修正。
3.整天課程結束後：是最差的收集時機，大家只想趕快下課。
收集數據的頻率應該如何安排？每一季都是3個月（1個Q），所以每季蒐集資料較合理。以月為單位去蒐集會讓負責的人不開心，因為這樣會增加他的業務。倘若看資料的主管不相信數據，前面再怎麼努力蒐集數據都沒有用，這時就要另擇良樹棲了。
7. 學習成效評估第七招：分離學習效果 培訓或許就像補藥，要怎麼改善手腳冰冷、身體虛的狀況？醫生可能會讓患者抓藥回去煎來吃，再請他早點睡，每天飯後百步走。一個月後真的身強體壯了，那到底是煎藥的效果還是早睡有運動的效果呢？
培訓也是一樣，員工受訓後績效增加了，如果沒有細分影響這個結果的幾種原因，很難說100%是培訓的效果，因為有可能是員工自主努力、淡旺季因素、遇到很會帶團隊的主管等等。所以這時候要需要分離學習效果。
那要怎麼分離呢？可以用實驗組、對照組的方式分析，也可以調出前幾季、過去幾年的數據來分析，這就需要統計專家來計算培訓的成效。
8. 學習成效評估第八招：數據轉換成貨幣價值 在Jack Phillips的評估模型中，有投報率（ROI）的評估項目，這是用數據的角度分析投入培訓成本後實質獲得多少成效。
該怎麼轉換呢？在培訓課程結束的三個月到半年間（給學員時間上手，就算行為改變，也還需要時間等行為的結果出現），決定衡量的指標是什麼，接著確認指標的價值為何？再計算期間績效變化與年度績效變化，最後計算年度的貨幣收益。
9. 學習成效評估第九招：以成本角度來評估 培訓的成本不是只有講師費、差旅費這些看得到的成本而已。在公司發現培訓需求，人資尋找開課單位，講師開發課程內容，學員受訓時的薪水與付出的時間，還有課後的評估要付出的時間跟人力，都是必須考量的成本。
這些成本若沒有詳細記錄，ROI的計算就會不夠準確。
10. 學習成效評估第十招：投資報酬率ROI計算公式 ROI公式：
ROI＝（課程收益 －成本）／成本 Ｘ100％
簡單舉例來說，培訓課程結束後的一年，員工為公司帶來的收益是100萬，培訓的成本是60萬。ROI＝（100－60）／60 X 100%＝66%
11. 學習成效評估第十一招：留意無形效益（雖然不一定算得出來） 有些效益是很難用數據衡量的，例如對公司的認同感，團隊氣氛提升這些抽象的效益等等。如果要刻意計算抽象的事情而花很多時間的話，就要斟酌這個評估是否對組織有幫助。
12. 學習成效評估第十二招：常保溝通 一個培訓活動牽涉到非常多的對象，例如出資的公司老闆，要去培訓的員工，負責管理的人資團隊，員工的直屬主管等等。為了達成培訓目標，每一個對象要溝通的方向都不一樣。例如需要出資者的批准，需要員工積極學習，需要直屬主管支持等等。
溝通形式不只有面對面溝通而已，報告、信件、會議等等都是可以溝通的情境，就依據公司文化來判斷要用哪一種形式溝通什麼內容。
13. 學習成效評估第十三招：回顧評估目的 評估學習成效的目的在於確認這個培訓是否是值得投資的項目？這個培訓帶來的量化與質化效益有哪些？能說清楚培訓的成果，也才能為員工爭取下一次的進修機會，持續為公司帶來穩定的成長動能。
封面圖片來源：Jack Phillips 授課教材
