一、會計數(shù)據(jù)處理發(fā)展歷程回顧
會計數(shù)據(jù)是對企業(yè)經(jīng)營活動過程中各種經(jīng)濟事項進行記錄的符號。在對會計數(shù)據(jù)進行采集、存儲、加工和傳遞等的過程中所采用的技術稱為會計數(shù)據(jù)處理技術。會計數(shù)據(jù)處理技術的發(fā)展經(jīng)歷了四個階段:
一是會計數(shù)據(jù)手工處理階段, 會計人員依靠算盤、紙張等計算工具對會計數(shù)據(jù)進行采集、存儲、加工和具時會計數(shù)據(jù)進行采集、存儲、加工和傳遞等。手工處理階段在會計業(yè)務處理過程中表現(xiàn)出好的適應性、靈活性和可靠性,但也表現(xiàn)出低速度、低效率和高差錯率等不足之處。
二是會計數(shù)據(jù)機械處理階段,即會計人員利用穿孔機、驗孔機、機電設備、電子設備等工具對會計數(shù)據(jù)進行采集、存儲、加工和傳遞等。會計數(shù)據(jù)機械處理階段能夠提高會計數(shù)據(jù)處理的計算速度與正確性,但這些工具存在體系龐大、成本過高、操作困難和穩(wěn)定性較差等不足。
三是會計數(shù)據(jù)電子計算機處理階段。計算機的出現(xiàn),為會計數(shù)據(jù)處理提供了技術支撐。會計數(shù)據(jù)的集中存儲和自動處理極大地提高了會計數(shù)據(jù)處理的工作效率,提高了會計信息的及時性和準確性。這個階段,計茸機技術還是會計數(shù)據(jù)處理的工具,信息的分享和交換主要通過軟盤、光盤等存儲介質(zhì)來實現(xiàn)。該階段會計核算和操作流程主要模擬手工方式,只有相關獨立的單機運行的會計核算程序,一種核算程序獨立完成一項會計業(yè)務,相互之間沒有聯(lián)系。
四是會計數(shù)據(jù)網(wǎng)絡化處理階段。隨著網(wǎng)絡技術的發(fā)展,財務部門,可獨立使用計算機及網(wǎng)絡如內(nèi)部網(wǎng)(intranet)、外部網(wǎng)(extranet)、因特網(wǎng)(internet)等進行會計數(shù)據(jù)的處理。
利用分布式數(shù)據(jù)庫技術、互聯(lián)網(wǎng)技術、中間件技術、系統(tǒng)集成技術等現(xiàn)代信息技術,特別是ERP系統(tǒng)的開發(fā)與應用,企業(yè)會計信息系統(tǒng)實現(xiàn)了業(yè)務流程、會計工作流程和信息流程的集成,徹底消除了“信息孤島”現(xiàn)象,極大地提高了整個企業(yè)的信息共享性。同時,實現(xiàn)了業(yè)務處理和會計處理的集成、財務信息和非財務信息的集成、會計核算與會計管理的集成。
二、物聯(lián)網(wǎng)下會計數(shù)據(jù)處理的革命
(一)會計大數(shù)據(jù)的特征
隨著信息技術特別是物聯(lián)網(wǎng)技術、移動計算技術的發(fā)展,會計核算必須收集、處理數(shù)量巨大、結構各異的大數(shù)據(jù)。這些會計大數(shù)據(jù)除具有一般大數(shù)據(jù)的4個“V”的特征外,還具有無形性與粘性的特征:
1.數(shù)據(jù)數(shù)童規(guī)模大(Volume)。物聯(lián)網(wǎng)下產(chǎn)生的數(shù)據(jù)數(shù)量大,它已經(jīng)不是過去大規(guī)模數(shù)據(jù)(large scale data)、龐大數(shù)據(jù)(enormous data)、海童數(shù)據(jù)(massive data)所能夠描述的,而應該是用大數(shù)據(jù)(big data)來概括。數(shù)據(jù)規(guī)模不是用GB, TB為單位而是用PB為單位來衡量。
2.數(shù)據(jù)異構的數(shù)據(jù)((Variety)。物聯(lián)網(wǎng)下產(chǎn)生的數(shù)據(jù)不僅包括數(shù)字這樣結構化的數(shù)據(jù),還包括聲音、圖像等非結構化的數(shù)據(jù)。這些數(shù)據(jù)因為與業(yè)務事件的關聯(lián)性,從而導致結構化數(shù)據(jù)與非結構化數(shù)據(jù)更加復雜,不易處理。
3.數(shù)據(jù)產(chǎn)生與處理實時性( Velocity)。傳統(tǒng)數(shù)據(jù)時時間處理要求不高。但是,物聯(lián)網(wǎng)下物的行為與人的行為一般都要求在當下完成,因此數(shù)據(jù)的產(chǎn)生與處理具有實時性。
4.價值密度低(Value)。會計大數(shù)據(jù)會連續(xù)不斷地產(chǎn)生,但有價值的數(shù)據(jù)卻只是連續(xù)產(chǎn)生的數(shù)據(jù)中的一個片斷或一個部分。以視頻為例,連續(xù)不間斷的監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅只有一兩秒。因此,大數(shù)據(jù)的價值密度低。
5.會計數(shù)據(jù)的無形性與粘性。當前物聯(lián)網(wǎng)上企業(yè)采集、傳輸、處理的數(shù)字信息主要是非價值的數(shù)量信息。這些數(shù)據(jù)可以直接被感應器所感知,從而容易被傳播;而會計數(shù)據(jù)是無形的數(shù)據(jù),它不能夠被感應器所感知。同時,會計數(shù)據(jù)是直接粘合在業(yè)務數(shù)據(jù)之中,不能夠脫離業(yè)務數(shù)據(jù)而存在。因此,會計數(shù)據(jù)具有無形性與粘性。
(二)會計大數(shù)據(jù)的處理問題:物聯(lián)網(wǎng)與云計算的發(fā)展必須解決的問題
如果說石油是工業(yè)社會的血液,那么數(shù)據(jù)就是信息社會中的血液。但是,大童的大數(shù)據(jù)如果沒有得到有效利用,就會產(chǎn)生數(shù)據(jù)泛濫或信息超載。大量優(yōu)質(zhì)的數(shù)據(jù)和劣質(zhì)數(shù)據(jù)融合在一起,可能會產(chǎn)生各種各樣的誤差和錯誤。數(shù)據(jù)不準確就沒有任何價值。如何保證數(shù)據(jù)的可信性和質(zhì)童是物聯(lián)網(wǎng)需要解決的首要問題。其次,如何時物聯(lián)網(wǎng)中所產(chǎn)生的大量數(shù)據(jù)進行智能挖掘和分析以產(chǎn)生真正的數(shù)據(jù)價值是物聯(lián)網(wǎng)需要解決的核心問題。最后,如何對由于物聯(lián)網(wǎng)所產(chǎn)生的大量大數(shù)據(jù)進行存儲和管理并確保這些大數(shù)據(jù)的安全,是物聯(lián)網(wǎng)下需要解決的基礎問題。
三、構建會計大數(shù)據(jù)分析平臺及其思路:企業(yè)會計云計算建設的核心
隨著會計大數(shù)據(jù)時代的來臨,企業(yè)要向數(shù)據(jù)分析型企業(yè)轉型,必須改變傳統(tǒng)觀念,全員、全方位、全過程地利用數(shù)據(jù),建立會計大數(shù)據(jù)分析平臺。由于篇幅的限制,會計大數(shù)據(jù)的治理及管理、標準與安全管理等內(nèi)容不在本文論述,本文主要提出企業(yè)推行會計云計算、構建會計大數(shù)據(jù)分析平臺中需要做到的幾點內(nèi)容。
(一)大數(shù)據(jù)不是信息,信息不是智慧:企業(yè)必須端正的認識
由于數(shù)據(jù)蘊含著企業(yè)管理決策所需要的信息,通過對企業(yè)所擁有的數(shù)據(jù)進行分析,能夠為企業(yè)創(chuàng)造巨大的效益,如對企業(yè)內(nèi)部數(shù)據(jù)進行挖掘、優(yōu)化,能幫助企業(yè)更精準地找到用戶、降低營梢成本、提高企業(yè)銷售率、增加利潤。因此,當前許多企業(yè)認為只要是數(shù)據(jù)就要收集、存儲,就能夠從中獲取收益,這是一個錯誤的認識。數(shù)據(jù)越多,不一定代表信息越多。數(shù)據(jù)不代表信息,更不代表智慧。企業(yè)大量收集大數(shù)據(jù)的同時,也面臨著大數(shù)據(jù)處理、使用、保管和安全等方面的新挑戰(zhàn)。當前,許多企業(yè)有很多數(shù)據(jù)自收集后就存在服務器內(nèi),不產(chǎn)生任何價值。如銀行、電信、保險等企業(yè)擁有巨量數(shù)據(jù),但有很大一部分數(shù)據(jù)是處于休眠或者是半休眠狀態(tài),不僅未能幫助企業(yè)做出有效的管理決策,而且耗費大量存儲和管理成本。
(二)確保會計大數(shù)據(jù)質(zhì)量:一個必須堅持的原則
“垃圾的數(shù)據(jù)只能產(chǎn)生垃圾的信息。”在會計大數(shù)據(jù)處理過程中經(jīng)常出現(xiàn)數(shù)據(jù)不準確、不完整、不及時等數(shù)據(jù)質(zhì)量問題。因此,在會計數(shù)據(jù)處理的過程中必須確保會計大數(shù)據(jù)的質(zhì)量。
會計大數(shù)據(jù)的質(zhì)量主要包括大數(shù)據(jù)的準確性、完整性、一致性、時效性、可信性和可解釋性等。數(shù)據(jù)的準確性是指不包含錯誤或存在偏離期望的值;數(shù)據(jù)的完整性是指數(shù)據(jù)不缺屬性值,或僅含聚集數(shù)據(jù);數(shù)據(jù)的一致性是指數(shù)據(jù)之間不存在差異,相互可內(nèi)洽;數(shù)據(jù)的時效性是指數(shù)據(jù)的及時性;數(shù)據(jù)的可信性是指反映有多少數(shù)據(jù)是用戶依賴的;數(shù)據(jù)可解釋性是指數(shù)據(jù)是否容易理解。
(三)建立企業(yè)大數(shù)據(jù)中心開發(fā)平臺:數(shù)據(jù)分析平臺建設的基礎
大數(shù)據(jù)的問題不是單一的一個產(chǎn)品能夠解決的,它需要一整套的解決方案,它要融合很多傳統(tǒng)的、新的技術。要構建大數(shù)據(jù)分析平臺并從大數(shù)據(jù)中挖掘出價值,企業(yè)首先需要一個可擴展、靈活而可管理的數(shù)據(jù)基礎架構,也就是企業(yè)大數(shù)據(jù)中心開發(fā)平臺。
1.數(shù)據(jù)中心開發(fā)平臺的基本內(nèi)容。數(shù)據(jù)中心開發(fā)平臺的含義很多,筆者認為,數(shù)據(jù)中心主要應具備以下特征:
①數(shù)據(jù)中心是各種數(shù)據(jù)的集成與交換中心,是集基礎與應用為一體的綜合開發(fā)與應用集成平臺。
②數(shù)據(jù)中心是一種搭建平臺,提供一系列完整語義的數(shù)據(jù)處理功能,提供對流程、表單、應用程序界面數(shù)據(jù)等完整的搭建方案(由一系列的程序模塊及數(shù)據(jù)組成),因而也是關于應用系統(tǒng)的集成設計器和工具箱。
③數(shù)據(jù)中心是一種強兼容性的數(shù)據(jù)倉庫,可以在同一個框架下,把來自不同生產(chǎn)廠商、不同格式、不同標準和分布在不同位置的數(shù)據(jù)統(tǒng)一在一個系統(tǒng)之下,即實現(xiàn)對分布式多源異構數(shù)據(jù)的管理能力。
④數(shù)據(jù)中心是一個定義完備的功能倉庫,支持和管理以多種方式(組件、插件、流程、動態(tài)庫、程序片斷和腳本)提供的功能,并能時這些功能以一種一致的方式進行調(diào)用和執(zhí)行。
⑤數(shù)據(jù)中心是一種應用集成系統(tǒng),采用柔性設計理念,系統(tǒng)能夠被快捷地搭建出來,且能適應需求的變化迅速做出調(diào)整。
2.數(shù)據(jù)中心的體系架構。數(shù)據(jù)中心的架構是面向服務的系統(tǒng)架構(Service-Oriented Architecture),又稱為SOA架構。在這架構下,無數(shù)軟件制造者可將其研制軟件功能以服務形式提供出來,各功能之間是相互獨立的,以一種稱為松藕合的協(xié)議機制來組合。數(shù)據(jù)中心架構通過目錄配置、可視化配置和搭建充分利用功能倉庫和數(shù)據(jù)倉庫的機制進行管理。
(四)會計大數(shù)據(jù)的獲取、存儲和計算:一條企業(yè)參與會計云計算的主線
1.數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、教據(jù)變換:會計大數(shù)據(jù)的獲取。
會計有一句名言:財務會計與管理會計影同源分流”,這里的源便是數(shù)據(jù)。但是,收集來的數(shù)據(jù)應先經(jīng)過數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換才能進行會計的加工、處理。首先,未經(jīng)處理會出現(xiàn)數(shù)據(jù)的不準確,例如收集數(shù)據(jù)的設備可能出故障;人或計算機的錯誤可能在數(shù)據(jù)輸入時出現(xiàn);用戶不希望提交個人信息時,故意強制輸入不正確的值;錯誤也可能在傳輸過程中出現(xiàn)。其次,未經(jīng)處理會出現(xiàn)數(shù)據(jù)的不完整。不完整數(shù)據(jù)的出現(xiàn)可能出于多種原因,如銷售事務數(shù)據(jù)中顧客的數(shù)據(jù)不一定總能得到;數(shù)據(jù)的重復,如多次記入的客戶;數(shù)據(jù)邏輯上關聯(lián)不一致,如地址與郵政編碼。
會計數(shù)據(jù)預處理主要有數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換。有效的“清理”是指消除噪音和刪除不一致數(shù)據(jù);集成是指多種數(shù)據(jù)源可組合在一起;選擇是指從數(shù)據(jù)庫中提取與分析任務相關的數(shù)據(jù);變換是指通過匯總或聚集操作,把數(shù)據(jù)變換和統(tǒng)一成適合挖掘的形式。
2.關系型數(shù)據(jù)庫存儲與管理向本原(XML)數(shù)據(jù)庫存儲與管理轉變:會計大數(shù)據(jù)的存儲與管理。
數(shù)據(jù)的存儲與計算是相互依存的。因此,會計大數(shù)據(jù)的存儲在會計云計算中具有重要的地位。隨著會計大數(shù)據(jù)時代的來臨,會計數(shù)據(jù)已從原來數(shù)值型為主的數(shù)據(jù)向非結構性為主的數(shù)據(jù)轉變。由于非結構性數(shù)據(jù)存儲與結構性數(shù)據(jù)存儲技術上存在本質(zhì)的差異,會計大數(shù)據(jù)的存儲與管理要從關系型數(shù)據(jù)庫存儲與管理向本原(XML)數(shù)據(jù)庫存儲與管理轉變。
①關系型數(shù)據(jù)庫存儲與管理。關系型數(shù)據(jù)庫存儲與管理不僅很好地解決了數(shù)據(jù)的集中和共享問題,而且數(shù)據(jù)關系模型有嚴格的數(shù)學基礎,抽象級別比較高,而且簡單清晰,便于理解和使用。關系型數(shù)據(jù)庫也能夠解決數(shù)據(jù)獨立性和抽象問題。用戶在對這種數(shù)據(jù)庫進行存取時,不需要明確數(shù)據(jù)的存儲結構并指出存取路徑。
②原生XML數(shù)據(jù)庫系統(tǒng)(Native XML Database)存儲與管理。關系型數(shù)據(jù)庫能很好地處理所謂的“表格型數(shù)據(jù)”,卻對物聯(lián)網(wǎng)技術所產(chǎn)生的非結構化的數(shù)據(jù)無能為力。這就需要比關系型數(shù)據(jù)庫產(chǎn)品更高級的面向對象關系型數(shù)據(jù)庫來支持(作者注:“面向對象的數(shù)據(jù)庫系統(tǒng)<objectoriented database>"<或簡稱“OO數(shù)據(jù)庫系統(tǒng)”>專門用來解決非結構化的數(shù)據(jù)存儲問題。由于面向對象的數(shù)據(jù)庫產(chǎn)品的主要設計思想是試圖用新型數(shù)據(jù)庫系統(tǒng)來取代現(xiàn)有的數(shù)據(jù)庫系統(tǒng),這對許多已經(jīng)運用數(shù)據(jù)庫系統(tǒng)多年兼積累了大量工作數(shù)據(jù)的客戶<尤其是大客戶>來說,無法承受新舊數(shù)據(jù)間的轉換而帶來的巨大工作量及巨額開支。
另外,面向對象的關系型數(shù)據(jù)庫系統(tǒng)使查詢語言變得極其復雜,從而使得無論是數(shù)據(jù)庫的開發(fā)商家還是應用客戶都視其復雜的應用技術為畏途。因此,面向對象與關系型數(shù)據(jù)庫的結合是當前的主要方式)。以非結構化數(shù)據(jù)為主要特征的會計大數(shù)據(jù)存儲與管理必須在跨操作平臺、跨軟件系統(tǒng)的Internet平臺上進行,其基礎技術就形可擴展的標識語言(XML, extensiblemarkup language)。如果說以http傳輸協(xié)議和超文本標識語言HTML為標志的是第一代Internet技術的話,那么,圍繞著XML所形成的一系列標準和技術將構成新一代的Internet技術。HTML文件中的標識符僅表示該文件應該如何顯示,文件中表達的意義完全需要人通過對文字的閱讀才能理解,機器難以判斷其表達的語義。而XML則不同,它所采用的標識符本身就代表了語義結構,文件的具體語義完全可以通過對語義結構的分解及該結構內(nèi)變量值或字符的分析由機器來解釋。因此,用通俗的話來概括HTML與XML的差別:0HTML是寫給人看的;而XML則是寫給機器看的。
一般說來,XML有下列重要特性:XML是一種表意而非表形的元語言;XML是Internet的標準語言,具有跨操作平臺、跨區(qū)域的特點,是網(wǎng)絡世界里的一種“世界語”;XML是一種可自我描述定義的元語言(self descriptionmeta language),所以它將大量用于制定行業(yè)內(nèi)及行業(yè)間數(shù)據(jù)交換的標準。相對于傳統(tǒng)的關系型數(shù)據(jù)庫管理系統(tǒng)來說,原生XML數(shù)據(jù)庫系統(tǒng)存儲與管理是一種結構完全不同、設計思想新穎的全新的數(shù)據(jù)庫系統(tǒng)。如果用關系型數(shù)據(jù)庫來處理XML數(shù)據(jù),將需要一系列復雜的轉換工作,從而極大地影響應用的速度。當轉換選擇不合理時,很有可能對應用造成致命的傷害。而原生XML數(shù)據(jù)庫系統(tǒng)則不同,XML數(shù)據(jù)不經(jīng)任何轉換而按原結構形狀直接存入數(shù)據(jù)庫內(nèi)。時于XML應用,原生XML數(shù)據(jù)庫系統(tǒng)的速度相對于其他數(shù)據(jù)庫來說要快得多。
3.數(shù)據(jù)挖掘:會計大數(shù)據(jù)的計算。
從某種意義上說,會計實質(zhì)上是數(shù)據(jù)分類處理的一門學問。如何從經(jīng)濟業(yè)務數(shù)據(jù)中獲取決策知識是會計的主要目的。隨著信息技術的發(fā)展,數(shù)據(jù)挖掘技術正是會計大數(shù)據(jù)處理的核心技術。數(shù)據(jù)挖掘(Data mining)主要是指從數(shù)據(jù)庫中提取知識,并對數(shù)據(jù)進行一定的處理,從而獲得其中隱含的、事先未知的而又可能極為有用的信息。數(shù)據(jù)挖掘方法主要包括神經(jīng)網(wǎng)絡法、遺傳算法、決策樹法、搜蓋正例排斥反例法、統(tǒng)計分析法、模糊集法等。
數(shù)據(jù)挖掘的主要內(nèi)容可分為四類,即預測建模、關聯(lián)分析、聚類分析和異常檢測等。這里主要把它分為兩類:預測任務與描述任務。預測任務是指根據(jù)其他屬性的值,預測特定屬性的值;描述任務主要是導出概括數(shù)據(jù)中潛在聯(lián)系的模式(如相關、趨勢、聚類、軌跡和異常)。
轉載請注明出處:拓步ERP資訊網(wǎng)http://m.nttd-wave.com.cn/
本文標題:構建會計大數(shù)據(jù)分析平臺 企業(yè)會計云計算建設的核心
本文網(wǎng)址:http://m.nttd-wave.com.cn/html/consultation/1083979825.html