當(dāng)有人描述批處理和流處理之間的區(qū)別時(shí),典型的答案是批處理數(shù)據(jù)被收集、存儲(chǔ)一段時(shí)間、定期處理和使用(例如工資單、銀行對賬單),而流數(shù)據(jù)則被處理和使用。在生成時(shí)立即投入使用(考慮來自傳感器數(shù)據(jù)的警報(bào))。
雖然準(zhǔn)確,但這個(gè)答案未能說明為什么差異很重要,以及為什么公司果斷轉(zhuǎn)向流處理架構(gòu)。
我們將世界視為不斷發(fā)生的事件。我們通過將這些信息流與我們的經(jīng)驗(yàn)和記憶進(jìn)行比較來做出決定。我們感知威脅并做出反應(yīng),或者識別并抓住機(jī)會(huì)。及時(shí)做出反應(yīng)往往是有益的——我們避免被蛇咬傷或在電影院搶到最好的座位。流處理更緊密地反映了這種非常人性化的體驗(yàn)?zāi)J健?/font>
企業(yè)吸收盡可能多的信息流,在數(shù)據(jù)流過時(shí)尋找代表威脅或機(jī)遇的模式,當(dāng)所述模式出現(xiàn)時(shí),他們就會(huì)采取行動(dòng)。不采取行動(dòng)的代價(jià)可能是數(shù)據(jù)泄露或失去收入機(jī)會(huì)。
當(dāng)您需要處理大量數(shù)據(jù)并且可以定期交付結(jié)果時(shí),批處理仍然很有效。但如果最近的趨勢持續(xù)下去,更多的工作將轉(zhuǎn)向流媒體,因?yàn)楣緹o法再接受批量的隱性成本并保持競爭力。
一個(gè)很好的例子是內(nèi)幕交易。現(xiàn)在,檢測即將執(zhí)行內(nèi)幕交易的人的成本遠(yuǎn)低于稍后在批處理處理后嘗試平倉該交易的成本。即使批處理過程每五分鐘運(yùn)行一次,也僅僅意味著您會(huì)更快地找到它們,而不是阻止它們。最終流與批次將顯示在資產(chǎn)負(fù)債表和股票價(jià)格中。
反對流式傳輸?shù)囊粋€(gè)潛在論點(diǎn)是,它可能無法像批處理那樣經(jīng)濟(jì)高效地處理數(shù)據(jù)量。然而,隨著 Kafka、Flink 及其云類似系統(tǒng)的出現(xiàn),這種情況變得越來越少。
上一篇我們送上的文章是
使用電池的安全指南 , _!在下一篇繼續(xù)做詳細(xì)介紹,如需了解更多,請持續(xù)關(guān)注。
本文由
日本NEC鋰電池中國營銷中心于2023-07-16 17:17:30 整理發(fā)布。
轉(zhuǎn)載請注明出處.