發(fā)表時(shí)間:2020-02-29 次數(shù):536 作者:John Harrington 控制工程中文版
ETL,是英文 Extract-Transform-Load 的縮寫,用來描述將數(shù)據(jù)從來源端經(jīng)過提取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程。提取、轉(zhuǎn)換、加載軟件(ETL軟件),也就是常說的數(shù)據(jù)處理軟件,可以幫助改善運(yùn)營技術(shù)(OT)應(yīng)用程序的數(shù)據(jù)收集。面對(duì)海量數(shù)據(jù),制造企業(yè)需要解決數(shù)據(jù)集成的主要挑戰(zhàn)。
大多數(shù)人都熟悉工業(yè) 4.0、智能制造和工業(yè)物聯(lián)網(wǎng)(IIoT),這些術(shù)語的興起反映出運(yùn)營技術(shù)(OT)的巨大變化,其中涉及到了大量的基礎(chǔ)技術(shù),包括云、大數(shù)據(jù)、智能傳感器、單板固態(tài)計(jì)算機(jī)、無線網(wǎng)絡(luò)、分析軟件、應(yīng)用程序開發(fā)平臺(tái)和移動(dòng)設(shè)備等。
雖然其中一些技術(shù)不是最新技術(shù),但是由于最近成本的下降和易用性的提高,增加了其使用率。這些技術(shù)與諸如控制系統(tǒng)和制造執(zhí)行系統(tǒng) (MES)之類的傳統(tǒng)OT技術(shù)相結(jié)合,通過提供更多數(shù)據(jù)以及利用該數(shù)據(jù)的工具,幫助改制造企業(yè)的運(yùn)營和業(yè)務(wù)功能。
許多類似的技術(shù),最初都是為信息技術(shù)(IT) 部門開發(fā)的,旨在與其它業(yè)務(wù)領(lǐng)域進(jìn)行交互。鑒于海量的制造數(shù)據(jù)和改進(jìn)運(yùn)營的需求,IT正在評(píng)估和采用這些工具的可能性。希望利用工業(yè)數(shù)據(jù)的運(yùn)營團(tuán)隊(duì),在數(shù)據(jù)集成方面面臨著挑戰(zhàn),這增加了部署此類系統(tǒng)所需的工作量。IT 行業(yè)通過創(chuàng)建提取、轉(zhuǎn)換、加載(ETL)軟件來解決這些數(shù)據(jù)集成難題,將業(yè)務(wù)系統(tǒng)集成到分析系統(tǒng)中。
ETL可以從其它系統(tǒng)和數(shù)據(jù)庫(如客戶關(guān)系管理(CRM)和企業(yè)資源計(jì)劃(ERP)系統(tǒng)中提取數(shù)據(jù),并將數(shù)據(jù)合并到數(shù)據(jù)存儲(chǔ)中,然后通過清理、調(diào)整和規(guī)范化數(shù)據(jù)進(jìn)行轉(zhuǎn)換。
為什么之前很少使用 ETL 解決方案來處理工業(yè)數(shù)據(jù)?原因是工廠中來自控制系統(tǒng)的工業(yè)數(shù)據(jù),與來自業(yè)務(wù)系統(tǒng)的交易數(shù)據(jù)所面臨的挑戰(zhàn)不一樣。對(duì)于制造企業(yè)而言,了解ETL解決方案中的每個(gè)細(xì)節(jié),以最大限度地發(fā)揮潛在數(shù)據(jù)優(yōu)勢(shì)至關(guān)重要。
運(yùn)營數(shù)據(jù)并沒有全部存儲(chǔ)在數(shù)據(jù)庫中以待提取使用。它可以從工廠中的可編程邏輯控制器、機(jī)器控制器、監(jiān)控和數(shù)據(jù)采集(SCADA)系統(tǒng)和時(shí)間序列數(shù)據(jù)庫中實(shí)時(shí)獲得。運(yùn)營數(shù)據(jù)必須從數(shù)百個(gè)設(shè)備和系統(tǒng)中收集數(shù)據(jù),而不是從少數(shù)大型數(shù)據(jù)庫中提取數(shù)據(jù)。
交易處理系統(tǒng)可以存儲(chǔ)每筆交易的完整記錄,但是在工廠中,并不是所有的過程數(shù)據(jù)都被保存為“交易”。大規(guī)模的離散制造商,無法存儲(chǔ)離線的每個(gè)組件的完整數(shù)據(jù)集。
運(yùn)營數(shù)據(jù)的轉(zhuǎn)換
對(duì)運(yùn)營數(shù)據(jù)的轉(zhuǎn)換,比IT數(shù)據(jù)轉(zhuǎn)換需要考慮更多的因素。
運(yùn)營數(shù)據(jù)存儲(chǔ)通常定期進(jìn)行。存儲(chǔ)的數(shù)據(jù)可以是實(shí)際值,例如生產(chǎn)數(shù)量,也可以是根據(jù)原始數(shù)據(jù)獲得的統(tǒng)計(jì)數(shù)據(jù),例如每秒檢查但每小時(shí)記錄一次的平均、最小和最大溫度值。PLC數(shù)據(jù)點(diǎn)通常具有一個(gè)地址或名稱以及一個(gè)值。數(shù)據(jù)點(diǎn)僅提供以過程或控件為中心的數(shù)據(jù)視圖。沒有描述、度量單位、操作范圍或其它描述性信息。
由于工業(yè)數(shù)據(jù)主要用于控制環(huán)境之外的機(jī)器維護(hù)、過程優(yōu)化、質(zhì)量和可追溯性,因此帶來了一定的挑戰(zhàn)性。在這種情況下,必須對(duì)數(shù)據(jù)進(jìn)行分析和調(diào)整,以對(duì)機(jī)器進(jìn)行維護(hù),對(duì)過程進(jìn)行流程優(yōu)化,對(duì)產(chǎn)品進(jìn)行質(zhì)量和追溯。所需的數(shù)據(jù)必須相關(guān)聯(lián),有時(shí)必須轉(zhuǎn)換為可用格式。
典型的工廠所擁有的機(jī)器具有不同的數(shù)據(jù)。對(duì)于分析,必須對(duì)數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)準(zhǔn)化、規(guī)范化,并且在某些情況下使用部件指標(biāo)來進(jìn)行計(jì)算。分析數(shù)據(jù)通常不如控制數(shù)據(jù)那么關(guān)鍵。企業(yè)使用低成本傳感器收集數(shù)據(jù)以進(jìn)行非關(guān)鍵分析。傳感器可能會(huì)發(fā)生故障或漂移。帶有外部數(shù)據(jù)驗(yàn)證的冗余傳感器,可以幫助實(shí)現(xiàn)良好的數(shù)據(jù)存儲(chǔ)。
工業(yè)數(shù)據(jù)的提取和轉(zhuǎn)換,必須在接近生產(chǎn)機(jī)器處完成。這樣數(shù)據(jù)就可以被就地邊緣分析所使用,并發(fā)送到就地?cái)?shù)據(jù)中心或云端。采用邊緣計(jì)算還是云計(jì)算主要取決于哪個(gè)效率更高。制造企業(yè)必須簡(jiǎn)化數(shù)據(jù)集成,以實(shí)現(xiàn)工業(yè) 4.0、智能制造和IIoT的預(yù)期價(jià)值。
關(guān)鍵概念 :
■ ETL解決方案可以收集數(shù)據(jù)并將其存儲(chǔ)以供進(jìn)一步分析使用。
■ 獲取和轉(zhuǎn)換OT數(shù)據(jù)與IT數(shù)據(jù)面臨不同的挑戰(zhàn)。
■ ETL可以改善OT數(shù)據(jù),但是必須簡(jiǎn)化該過程以獲取更多數(shù)據(jù)價(jià)值。
思考一下 :
在 您 的 工 廠 中, 哪些應(yīng)用程序?qū)?ETL解決方案中受益最多?為什么?你知道ETL軟件有哪些嗎?歡迎留言。
本文來自于《控制工程中文版》(CONTROL ENGINEERING China )2019年11-12月刊《技術(shù)進(jìn)展》欄目,原標(biāo)題為:改善工業(yè)數(shù)據(jù)的集成