文/高亮吳先斌
不論是高校還是其他行業,管理信息系統數據質量的重要性不言而喻。在業務層面,數據質量問題不僅會影響單點業務的正常開展,還會影響與該業務相關的其他業務順利開展;在決策層面,數據質量問題會直接影響到管理層的決策依據是否準确、客觀。
高校各類業務較多,應用系統繁雜,在系統建設過程中往往會忽視數據質量的重要性,沒有采取足夠的措施,導緻随着系統和數據的逐步深入應用,數據質量問題一點點暴露出來,比如數據的有效性、準确性、一緻性等。最壞的結果就是用戶感覺系統和數據是不可信的,最終放棄了使用系統,這樣也就失去了建設系統的意義。
從高校數據質量管理工作進展情況來看,在思想上目前還沒有引起高校CIO的足夠重視,在管理制度、技術措施等方面還沒有開展更多有效工作。數據質量是一個非常複雜的系統性問題,解決數據質量問題應該從數據質量管理制度、應用系統建設、數據質量監控三個方面開展,并且三者要有機結合形成聯動,單靠某一方面的努力是不夠的。我們要清楚一點,再完美的系統都存在數據質量問題,數據質量監控隻是一種必不可少的補充手段,已經到了解決問題的下遊。本文主要介紹一種基于規則庫的數據質量自動監控平台實現方法及其在推動數據質量管理方面的重要作用。
監控平台架構
數據質量監控平台主要包括三個部分:數據層、功能層和應用層,平台架構如圖1所示。
1.數據層
數據層定義了數據質量監控的對象,主要是各核心業務系統的數據,如人事系統、教學系統、科研系統、學生系統等。
2.功能層
功能層是數據質量監控平台的核心部分,包括數據質量檢查規則的定義、數據質量檢查規則腳本、檢查規則執行引擎、數據質量檢查規則執行情況監控等。
3.應用層
數據質量檢查結果可以通過兩種方式訪問:一種是通過郵件訂閱方式将數據質量檢查結果發給相關人員,另一種方式利用前端展示工具(如MicroStrategy、Cognos、Tableau等)開發數據質量在線分析報表、儀表盤、分析報告等。前端展示報表不僅能夠查看彙總數據,而且能夠通過鑽取功能查看明細數據以便業務人員能夠準确定位到業務系統的錯誤數據。