最近受朋友公司所托,幫他們的測試團隊與產品線質量保障體系業(yè)務進行業(yè)務咨詢。其中讓我比較感興趣的就是一個50人的測試部門,從5年前的初創(chuàng)的十幾人團隊開始,經歷了從混亂到有序的流程演變,通過團隊乃至公司整體的意識認知與實際行動,自始至終將產品質量思維貫徹其中,最后讓公司通過了CMMI4級認證。
能獲得這樣的成就,最根本的原因就在于公司上下團結一致,各層部門與人員有效的發(fā)揮著各自的作用,堅持不斷創(chuàng)新、總結、優(yōu)化各類工作流程與項目經驗。而更難得的是公司內的人員與團隊又始終保持著高度的目的與價值觀統(tǒng)一,這樣的公司總體來說想不成功都很難。
說到這里就不得不提一下CMMI這個概念了,相信在IT公司做過研發(fā)與測試的同學應該都有所耳聞,這次我們就圍繞著CMMI來詳細說說與其相關的一些內容。
CMMI是什么
CMMI的全稱為Capability Maturity Model Integration,即能力成熟度模型集成。最早的時候在部分國家與地區(qū)還是使用的是CMM這個標準,但隨著模型本身的發(fā)展與演化,最后就變成了CMMI這個廣泛的認證模型標準了。
那CMMI又有什么用呢?企業(yè)在集成了CMMI的成熟度模型之后,可以增強軟件的開發(fā)與改進能力,也方便對軟件工程過程進行管理和優(yōu)化,從而能按時地、不超預算地開發(fā)出高質量的軟件;這么說可能會有點虛,其實說直白點就是規(guī)范企業(yè)的項目產品執(zhí)行過程。
如果企業(yè)嚴格依照CMMI的要求去執(zhí)行產品或項目的流程,認證時會評估企業(yè)這套執(zhí)行流程就給與評分和改進建議,流程中的需求分析、設計、編碼、測試、集成、交付一些列的動作就可以依照這個標準來進行優(yōu)化和提升,并且CMMI認證的專業(yè)性也是毋庸置疑的,所以帶給企業(yè)的執(zhí)行流程方面的提升也是顯而易見且效果巨大的。
另外,如果企業(yè)的項目都是以招標的形式進行獲取的話,通過CMMI的高等級認證,它可以幫助企業(yè)在招投標中獲得高額加分,一般情況下可以獲得2-7分的加分。
某些情況下企業(yè)可以靠CMMI認證獲得高額政府補貼,部分地區(qū)的補貼可以達到幾十萬元;至于CMMI為企業(yè)帶來的其他正向影響也是不勝枚舉,比如行業(yè)標桿影響力、企業(yè)的品牌宣傳、融資時的優(yōu)勢等等。
CMMI評級劃分
CMMI一共分為5級,1級最低,5級最高,每一級的定義如下。
01、1級(初始級)
產品或項目的研發(fā)過程是混亂的,對過程管理幾乎沒有定義,就是我們平時所說的干到哪算哪。過程中的風險與不可控環(huán)節(jié)隨處都是,這樣的狀態(tài)下研發(fā)出的產品自然沒有任何的高質量保障。說的極端點,產品是否OK完全看運氣。
02、2級(管理級)
產品或項目的研發(fā)過程中建立了基本的項目管理過程來跟蹤費用、進度和功能特性。制定了必要的過程規(guī)范,并能復用之前項目中成功經驗。一般來說大部分的小公司都處于在這個階段,有基本的研發(fā)流程與項目管理角色參與其中,但也僅限于此,項目中的時間、成本、質量無法做到應有的及時管控與優(yōu)化。盡管可以從既有與過往的項目中復盤進行部分的完善與優(yōu)化,但也有其自身的局限性。
03、3級(定義級)
企業(yè)已經將產品或項目的過程有了一整套完整的實施流程,并演化成企業(yè)自身的標準軟件過程。所有項目均使用經批準、剪裁的標準軟件過程來開發(fā)和維護軟件,軟件產品的生產在整個軟件過程是可見的。到了這一等級,整個產品或項目的研發(fā)過程已經是相當?shù)耐晟屏?,其中的每一個階段的準入、輸入、輸出、成果物都是經過準確標準評審而產生的正向結果,也正是因為這樣的嚴格標準,才能確保整個研發(fā)的鏈路中很少會出現(xiàn)不可控因素與低級風險產生,從而保證了產品與項目的高質量交付與上線。
04、4級(量化管理級)
分析對軟件過程和產品質量的詳細度量數(shù)據,對軟件過程和產品都有定量的理解與控制。管理有一個作出結論的客觀依據,管理能夠在定量的范圍內預測性能。
這一級別是在3級的基礎上增加了數(shù)據論證與量級控制標準,研發(fā)的過程中對于每個階段的要求都有精確的度量數(shù)據,以此來進行高精度的產品與項目質量管控。
試想一下,在這個等級中,測試團隊需要在項目的測試階段嚴格做好每一項測試流程中的活動:測試計劃(是否細化到大中小周期)、測試用例(覆蓋率是否100%)、評審的時機是否在需求規(guī)格說明書在設計階段進行、接口測試-功能測試-非功能測試-性能測試是否按照事前安排準確執(zhí)行、測試報告中測試結果描述維度、問題的解決與跟蹤是否有明確的去向、是否符合執(zhí)行標準。
除了這些,還需要有缺陷防范機制;主動進行技術變動管理與標志、選擇、評價的機制;過程變動管理,定義過程改進的目的,經常地進行過程改進等等條件限制。
05、5級(優(yōu)化級)
優(yōu)化管理級的量化反饋和先進的新思想、新技術促使過程持續(xù)不斷改進。這一等級的要求就已經變得極其嚴苛了,需要在產品或項目的過程中特別關注軟件過程改進的持續(xù)性、有效性以及自身加強。防止缺陷及問題的發(fā)生。不斷地提高整個的過程能力。另外對于執(zhí)行過程的效果,進行成本/利潤分析,從成功的過程實踐中吸取經驗,加以總結。
把最好的創(chuàng)新成績迅速向全組織轉移。對失敗的案例,由項目團隊近行分析以找出原因。項目完成后進行分析,通過來自過程的質量反饋和吸收新觀念、新科技,使過程能不斷地得到改進。最后對過程的評價相對標準軟件過程的改進,都在全組織內推廣。
CMMI認證評級的注意點
01、CMMI 3
一般來說CMM1和CMMI2,企業(yè)只要有軟件研發(fā)的過程,企業(yè)實際經營管理能夠正常運轉且經營狀態(tài)為續(xù)存,就滿足了要求。而從CMMI3開始才會有相應的認證證書,對企業(yè)也開始有了一定的要求了,如團隊規(guī)模與人員角色數(shù)量規(guī)定。
認證CMMI3級的話研發(fā)團隊人數(shù)應在15-20人左右,開發(fā)的產品需要準備3個(兩個是研發(fā)完成狀態(tài),另一個是需要在研發(fā)中),評估小組成員4人(ATM),另外就是固定的辦公場所。
CMMI3的人員架構需要1名發(fā)起人(公司法人或高層,法人最好),組織級5人(高層經理、組織培訓、過程與產品質量保證、配置管理員、過程改進小組EPG),項目級10人(負責該項目的項目經理、開發(fā)與測試人員等),評估小組4人(主要負責協(xié)助主任評估師完成正式評估)。
一般來說CMMI3的認證不會太困難,大部分的企業(yè)都是可以達到認證條件的,只需要全力配合認證機構順利開展,并確保所需的材料與日常工作標準與輸出物OK的情況下,剩下的就只是水到渠成的事。
02、CMMI 4
CMMI4的要求自然就更高了,它要求認證企業(yè)必須擁有自己的項目庫,并且能從一定量的案例中做到實際的優(yōu)化,對人員(開發(fā)、測試、質量經理、ATM等)、軟件、企業(yè)經營規(guī)模等要求都更高。
CMMI的認證是可以越級的,但也僅限于到CMMI3,要認證CMMI4與CMMI5的話必須先通過CMMI3的認證并且持證時間滿一年后才可以。
CMMI4認證的資格除了上面說的這些先決條件之外,另外很重要的就是在CMMI3認證取得之后一直到CMMI4或5認證開的這段時間是否有積累到一定量的項目實施經驗與成果累積,這里的積累不是單純的只要執(zhí)行就好了,重點在于是否可以按照后期需要認證的CMMI等級的標準要求進行相應的材料與經驗累積。
說的通俗一點就是你想考個證,就必須復習和他相關的教材的意思。日常工作中是否有嚴格按照CMMI的認證要求執(zhí)行,對應的流程與標準是否有跡可循,文檔化、量化、持久化都是必不可少的手段。剩下的無非就是團隊的規(guī)模是否達標,企業(yè)戰(zhàn)略目標是否合理且明確等等條件。
03、CMMI 5
能申請到CMMI5的公司都是非常厲害的,達到企業(yè)規(guī)模65人和項目規(guī)模6個的要求其實并不難,難就難在20個實踐領域。企業(yè)必須確保在滿足CMMI3的實踐領域基礎上追加這些并嚴格執(zhí)行這些認證要求。
這里需要注意的是之前很多人說的22個過程領域其實是CMMI v1.3版本的叫法,2019年開始就全面改為CMMI2.0版本,此版本開始已經將這個22個領域進行了分解與合并,變成了現(xiàn)在的20個實踐領域。要想認證這一等級的話就必須滿足20個實踐領域,具體領域明細如下:
CMMI認證評級的流程
CMMI的所有等級相關認證流程都是差不多的,這里以CMMI5為例,大致從企劃到認證結束的流程如下:
01、企劃發(fā)起
由于CMMI認證工作十分的專業(yè),所以企業(yè)一般來說會先選擇一家專業(yè)的咨詢公司來幫助自己進行相關的認證準備工作。
02、信息注冊與提交
首先,發(fā)起人需要在CMMI研究院官網進行信息注冊,注冊成功之后,聯(lián)系CMMI評估師,將企業(yè)的OU表(包括公司信息、項目信息、ATM信息)發(fā)送給評估師,CMMI評估師會根據企業(yè)注冊的信息發(fā)起評估計劃,這個時候一般已經可以確定CMMI的評估日期了,CMMI評估師根據日程安排自由選擇。這里需要注意的是發(fā)起人賬號與協(xié)調人賬號的注冊必須提前幾個月的時間,不然評估的時間會排到你懷疑人生。
還有一點就是與評估師的溝通最好都有咨詢公司主導,當然后續(xù)的一些事宜都最好提前與咨詢公司溝通到位或者在場陪同。
03、資料籌備與人員安排
接下來咨詢公司會協(xié)助企業(yè)準備評審材料,CMMI認證材料主要包括項目資料,企業(yè)基本信息,研發(fā)流程,人員角色安排等等,咨詢公司會根據這些資料將企業(yè)的軟件開發(fā)流程進行CMMI標準化,使其符合認證的要求標準。
基本的審核材料有企業(yè)基本信息,如企業(yè)英文名、企業(yè)簡介、組織架構、公司的戰(zhàn)略目標、產品的應用領域、企業(yè)總人數(shù)、產品研發(fā)相關人員的數(shù)量、客戶類型、年度銷售額、評估的發(fā)起人和聯(lián)系人等基本信息。
項目相關的有項目信息,包含項目名稱、項目描述、客戶名稱、客戶類型、起始日期等。項目確定的考慮因素包含項目材料完整度、項目相關人員是否有時間參與評估、項目規(guī)模、項目類型、客戶類型等。人員角色則需要根據已確定項目,將參與評估的各角色人員,如高層經理、各項目的項目經理、設計人員、開發(fā)人員、測試人員、過程改進人員(EPG)、配置管理人員(CM)、質量保證人員(QA)等。
這里需要考慮人員本身是否從事或了解角色所對應的工作、時間是否充足、項目相關人員是否參與過對應項目并有一定量的項目經驗等。
04、評估前準備
這個是正式評估前的最后一環(huán),在企業(yè)進行審核的相關材料準備過程中,咨詢公司會對對應人員進行CMMI培訓,另外在正式的CMMI認證之前,也需要對參與人員針對考核方向與訪談重點進行模擬訪談。
培訓的內容一般包含:CMMI的整體概念、根據認證等級的所屬實踐領域與其實際作用、大致的認證流程步驟、參與人員角色的具體分工責任、實踐領域與執(zhí)行流程各階段的輸出物是什么等等之類。
這里拿博主的公司舉例,角色培訓部門會對具體參與人員進行角色專項培訓,培訓內容主要是有針對性的梳理各角色工作內容、工作流程、輸出成果物、相關干系人、訪談重點關注內容、評估準備重點材料等。
之后會讓各角色人員結合專項培訓內容和整體CMMI評估材料進行評估前準備、了解材料內容、項目內容、相關工作成果輸出物的位置與問題的作答方向。全部完成后按照正式訪談形式進行模擬訪談演練,了解受訪談人員的準備情況,針對準備不充分的人員進行補充培訓。一般來說以上這些工作內容基本在正式認證前一個半月到兩個月之前就必須完成。
05、正式評估
在正式評估開始的前一天,會由咨詢公司與評估師聯(lián)系,根據評估師要求,準備就緒檢查。企業(yè)配合協(xié)調就緒檢查和訪談期間使用的會議室場地、準備受訪談人員使用的電腦等設備、協(xié)調參與檢查人員時間、準備投影設備、攝像頭等。
正式評估為期5天,第1天會開一個啟動大會,相關的角色人員都不用參加。
第2和第3天就是重頭戲了,評估師與評估小組會根據對應申請等級認證的數(shù)百條要求來進行審查,審查大致分為兩類,一個是物,文檔審查,也就是我們平時項目執(zhí)行流程中所涉及的各類執(zhí)行工作文檔與記錄。
另一個就是人,現(xiàn)場訪談,評估師與評估小組會對相關人員進行訪談,受訪談人員包話:項目經理、開發(fā)、測試、設計、需求分析、QA、OT、CM、高層經理等。
評估小組完成所有的實踐領域的文檔審核、現(xiàn)場訪談工作后,評估小組更新產出物,并由評估師、評估小組全員參與已投票表決的方式進行逐條打分。最后,提交最終版的產出物、以及項目級和組織級文檔給到評估師。
評估師會對其查證與訪談的結果來判斷企業(yè)的這一部分是否符合CMMI的對應要求,這個結果最終會在審查的最后一天向全員公布。
第4天評估小組與企業(yè)相關人員召開初步發(fā)現(xiàn)會議,此會議企業(yè)發(fā)起人、相關人員可以就初步發(fā)現(xiàn)報告中的問題進行補充說明,實質類似于答辯會。這個初步發(fā)現(xiàn)會會分為兩次召開,第一次是面向相關員工的,第二次是面向管理人員的,時長都差不多在半小時左右。之后評估師與評估小組再次對初步發(fā)現(xiàn)報告進行最終確認,還是以投票表決的形式對結果達成一致。
第5天就會公布最終的審查結果,最終結果由評估師形成最終報告。并與企業(yè)相關人員召開最終報告總結會議,同時宣布評審通過和不通過。最后,評估師會將最終發(fā)現(xiàn)報告留存給企業(yè)發(fā)起人。這個會需要全員參與并且現(xiàn)場拍合照存檔。
所有工作結束之后,評估師會整理好所有評估的工作輸出物,通過評估系統(tǒng)提交給官方審查。官方的質量審查小組對全球每一場評估進行審查,判斷評估是否滿足SCAMPI A評估流程規(guī)范的要求。
一般正式評估之后的1到2個月就可以在CMMI研究院官網上查看到公布的評審結果,另外審查結果也會以郵件的形式同步發(fā)送到企業(yè)發(fā)起人與評估師這邊。