三、基于測試流程上的缺陷管理系統(tǒng)

1、三、基于測試流程上的缺陷管理系統(tǒng),缺陷的定義軟件沒有達到產(chǎn)品說明書表明的功能軟件出現(xiàn)了產(chǎn)品說明書中不一致的表現(xiàn)軟件功能超出產(chǎn)品說明書的范圍軟件沒有達到用戶期望的目標(雖然產(chǎn)品說明書中沒有要求)測試員或用戶認為軟件的易用性差不是所有缺陷都會修改市場的壓力使得產(chǎn)品最終發(fā)行有時間限制測試員錯誤理解或者不正確操作引出的缺陷(FAQ)錯誤的修改影響的模塊較多，帶來的風(fēng)險較大（遺留）修改性價比太低(FAQ，遺留）缺陷報告中提出

2、的問題很難重現(xiàn),Founder R&D,3.1 缺陷報告管理系統(tǒng),是測試流程在工具上的固化通過權(quán)限控制來實現(xiàn)流程監(jiān)控記錄了缺陷識別到關(guān)閉過程中的所有數(shù)記錄了版本變更的信息是開發(fā)和測試之間溝通的信息平臺實時的數(shù)據(jù)和信息的更新度量和統(tǒng)計分析，為改進產(chǎn)品提供依據(jù),Founder R&D,Founder R&D,采用Lotus Notes作為bug管理平臺完全電子化的信息傳遞統(tǒng)一管理和備份,具備數(shù)據(jù)統(tǒng)計和

3、查詢功能能夠進行個性化二次開發(fā),方正測試缺陷跟蹤與管理系統(tǒng),3.1.1 系統(tǒng)測試缺陷處理流程,Founder R&D,Bug報告準則如何重現(xiàn)錯誤-使用最少步驟重現(xiàn)現(xiàn)象描述沒有歧義盡量簡單-一個bug一個報告可以提出對錯誤的解決建議開發(fā)人員拒絕修改的bug程序員無法重現(xiàn)或者現(xiàn)象難以捕捉?jīng)]有明確的報告以說明重現(xiàn)bug的步驟程序員無法讀懂的bug報告用戶很少使用或者不符合用戶使用習(xí)慣的操作出錯由不受信任的測試人

4、員提出,缺陷報告,Founder R&D,3.1.2 集成測試缺陷處理流程,Founder R&D,4.1 缺陷分析的關(guān)注點：,1、對軟件問題的功能域分布進行分析，找出系統(tǒng)的薄弱環(huán)節(jié)要詳細采集每個功能模塊或系統(tǒng)構(gòu)件的bug數(shù)據(jù)，并按功能、錯誤類型、嚴重程度等分類比較實際發(fā)現(xiàn)的軟件bug是否與預(yù)期的問題分布相吻合二八定理：80%的軟件問題總是發(fā)生在大約20%的功能模塊（系統(tǒng)構(gòu)件）中。,Founder R&D,

5、缺陷分析的關(guān)注點,2、對bug的注入階段的分布進行分析，并與歷史數(shù)據(jù)相比較。應(yīng)按不同的開發(fā)階段詳細采集bug的數(shù)據(jù)要求軟件各開發(fā)階段的缺陷密度小于本單位過去的平均值而且要求需求分析、設(shè)計和代碼復(fù)查階段的缺陷排除率之和大于或等于規(guī)定值（例如75%）。（同行評審）,Founder R&D,Founder R&D,缺陷分析的關(guān)注點,3、應(yīng)對軟件缺陷類型進行分析，以便針對各自的特點，先修復(fù)嚴重缺陷?？蓞⒖糚SP中缺陷類

6、型標準（如下表），其中缺陷類型是按照問題的復(fù)雜度來排列的，類型10到40是比較簡單的編碼缺陷，類型50到100是比較復(fù)雜的設(shè)計缺陷。,缺陷分析的關(guān)注點,4、應(yīng)動態(tài)采集每個測試周期中發(fā)現(xiàn)的bug數(shù)，并有效地控制缺陷的修復(fù)率。5、應(yīng)密切觀察bug的狀態(tài)，并及時跟蹤其狀態(tài)的變化，以檢查測試和開發(fā)人員的工作情況,Founder R&D,缺陷分析的關(guān)注點,6、應(yīng)該采集bug不同方式的修復(fù)數(shù)據(jù)，以便檢驗軟件產(chǎn)品是否滿足交付規(guī)則分析修改

7、代碼、改變設(shè)計、封掉功能遺留以及下一版本解決的bug數(shù)約占缺陷總數(shù)的比例。在有嚴密和有效的質(zhì)量保證體系條件的監(jiān)控下，常常會引起有較高比例的延期解決的缺陷數(shù)，這是因為許多細微的或枝節(jié)性的問題被測試出來，經(jīng)過評價證明不會造成大的質(zhì)量影響，但可為產(chǎn)品進一步升級提供有價值的參考。,Founder R&D,4.2 測試人員的績效評價,評價標準：1、bug數(shù)量：同一個項目組內(nèi)，提交bug數(shù)量的多少是衡量測試人員工作效率的一方面；另一個

8、衡量指標是每人日提交的bug數(shù)。2、bug嚴重程度：Bug的嚴重程度是衡量bug的質(zhì)量的一個重要因素，好的bug應(yīng)該是極端嚴重的，對系統(tǒng)造成極大危害的。3、bug價值：Bug的雙方面評判，對于bug的價值開發(fā)人員在另外一個角度上進行評判以上三個因素的加權(quán)平均才能更有效的評價測試人員的績效！,Founder R&D,4.3 缺陷統(tǒng)計分析工具介紹,Founder R&D,測試結(jié)果分析和評價,缺陷密度:基本的缺

9、陷測量是以每千行代碼的缺陷數(shù)(Defects/KLOC)來測量的。稱為缺陷密度(Dd)，其測量單位是defects／KLOC。可按照以下步驟來計算一個程序的缺陷密度：累計開發(fā)過程中每個階段發(fā)現(xiàn)的缺陷總數(shù)(D)。統(tǒng)計程序中新開發(fā)的和修改的代碼行數(shù)(N)。計算每千行的缺陷數(shù)Dd=1000*D/N。例如，一個29.6萬行的源程序總共有145個缺陷，則缺陷密度是：Dd＝1000*145/296000=0.49 defects／KLOC

10、。在計算缺陷密度時，最重要的是要使用正確的規(guī)模測量。,Founder R&D,測試結(jié)果的分析和評價,輸出《測試綜合報告》：測試過程的總結(jié)測試數(shù)據(jù)分析（按照嚴重程度等方式分類統(tǒng)計的分析，包括測試密度等）產(chǎn)品主要問題和總體評價遺留的問題總結(jié)最終的測試結(jié)論,Founder R&D,測試結(jié)果分析和評價,為了了解和控制缺陷帶來的費用，很有必要測量缺陷排除的效果測量：一種測量方法是計算每小時排除缺陷的個數(shù)；一種是計算

11、缺陷排除效益，即測量通過某一排除方法所發(fā)現(xiàn)的缺陷的百分比。,缺陷排除效益是45%,,100個缺陷,開始測試,,,測試,,發(fā)現(xiàn)45個缺陷,,missing 55 defects,,Founder R&D,測試結(jié)果分析和評價,測試覆蓋率測量語句覆蓋率測試經(jīng)歷語句數(shù)/總語句數(shù)分支覆蓋率測試經(jīng)歷支路數(shù)/總支路數(shù)簡單路徑覆蓋率測試經(jīng)歷簡單路徑數(shù)/總簡單路徑數(shù)功能覆蓋率界面數(shù)菜單數(shù)輸入/輸出的數(shù)據(jù)元數(shù)構(gòu)件、模塊

12、…,Founder R&D,4.5軟件測試經(jīng)驗分享,所有的測試都應(yīng)追溯到需求。因最嚴重的錯誤是導(dǎo)致程序無發(fā)滿足需求的錯誤；軟件開發(fā)人員和管理人員首先應(yīng)該盡早地和不斷地進行各種軟件質(zhì)量保證活動（如需求和設(shè)計階段同行評審和走查等）;軟件開發(fā)人員應(yīng)避免檢查自已的程序，利用同行評審的方式對代碼進行審查；(自己檢查容易依照原有的程序設(shè)計思路進行，往往查不出問題)在設(shè)計測試用例時，必須明確預(yù)期的輸出結(jié)果，否則對實際的輸出結(jié)果很

13、難有檢驗的標準，測試失去意義。測試用例應(yīng)由輸入數(shù)據(jù)和與之對應(yīng)的期望輸出結(jié)果這兩部分組成，在輸入數(shù)據(jù)中，應(yīng)當包括合理的輸入條件和不合理的輸入條件；在進行各種分析和修復(fù)工作中，要充分注意修復(fù)工作所產(chǎn)生的影響效果和波及效果。,Founder R&D,軟件測試經(jīng)驗分享,統(tǒng)計表明大約有60%的錯誤是在設(shè)計階段之前注入的，并且修正一個軟件錯誤所需的費用將隨著軟件生存期的進展而上升。錯誤發(fā)現(xiàn)得越晚，修復(fù)它的費用就越高，而且呈指數(shù)增長的趨勢

14、。測試后程序中殘存的錯誤數(shù)目與該程序中已發(fā)現(xiàn)的錯誤數(shù)目（即檢錯率）很可能成正比；(編碼規(guī)范、需求理解、技術(shù)能力、內(nèi)部耦合性是引起這些現(xiàn)象的原因)程序中的大部分錯誤往往是在一小部分模塊中發(fā)現(xiàn)的，遵循普遍適用的“二八定理”（即80%的錯誤往往是由20%的模塊所造成的），例如，IBM公司的OS/370操作系統(tǒng)中，47% 的錯誤僅與該系統(tǒng)中的4%的程序模塊有關(guān)；要嚴格執(zhí)行測試計劃，排除測試的隨意性，這樣才能消除各種無序操作所造成的副

15、作用；測試設(shè)計決定了測試的有效性和效率，測試工具只能提高測試效率應(yīng)當對每一個測試結(jié)果做全面的檢查，這樣才有可能找到真正的出錯原因，為今后的調(diào)試工作奠定基礎(chǔ)。,Founder R&D,結(jié)束語,產(chǎn)品越復(fù)雜，測試花費的時間就越長，費用就越大，測試發(fā)現(xiàn)缺陷的效率也就越低。缺陷會掩蓋或加重其它缺陷。也就是說，當一個程序有許多缺陷時，由于缺陷相互作用，使得發(fā)現(xiàn)和修復(fù)缺陷的過程更加復(fù)雜。這使得一些缺陷很難查找和修復(fù)。一個缺陷可能掩蓋其它