在當今數(shù)據(jù)驅(qū)動的商業(yè)時代，企業(yè)對于數(shù)據(jù)處理能力的要求日益嚴苛，不僅需要海量數(shù)據(jù)的實時寫入與存儲，更追求極致的查詢分析速度。天眼查，作為國內(nèi)領先的商業(yè)查詢平臺，其背后是萬億量級的商業(yè)關系圖譜和實時變動的企業(yè)信息。為應對數(shù)據(jù)實時性、查詢性能與系統(tǒng)擴展性的多重挑戰(zhàn)，天眼查選擇了基于Apache Doris構建其統(tǒng)一的實時數(shù)據(jù)倉庫，實現(xiàn)了“秒級數(shù)據(jù)寫入，毫秒級查詢響應”的核心目標。

一、挑戰(zhàn)：海量、實時與復雜的查詢需求

天眼查的業(yè)務場景對數(shù)據(jù)處理提出了幾大核心挑戰(zhàn)：

1. 數(shù)據(jù)實時性要求高：企業(yè)信息變更、司法動態(tài)、新聞輿情等需要近乎實時地更新至平臺，供用戶查詢。
2. 查詢復雜度與并發(fā)量巨大：用戶進行的商業(yè)關系挖掘、風險篩查等查詢往往涉及多表關聯(lián)、深度聚合，且面臨高并發(fā)訪問壓力。
3. 數(shù)據(jù)規(guī)模龐大：處理并存儲千億級別的企業(yè)關系與行為數(shù)據(jù)，且需保證歷史數(shù)據(jù)的可分析性。
4. 系統(tǒng)需要簡化：期望用一個系統(tǒng)同時滿足實時數(shù)據(jù)接入、交互式即席查詢和離線數(shù)據(jù)分析，降低運維復雜度與成本。

二、選型：為何是Apache Doris？

在評估了多個大數(shù)據(jù)組件后，Apache Doris憑借其獨特的架構優(yōu)勢脫穎而出，成為天眼查統(tǒng)一實時數(shù)倉的基石：

• 極速的查詢性能：Doris采用MPP（大規(guī)模并行處理）架構，列式存儲引擎和向量化執(zhí)行模型，即便是對千億級數(shù)據(jù)進行多維度分析，也能保證毫秒到秒級的查詢響應，完美支持高并發(fā)即席查詢。
• 高效的實時數(shù)據(jù)接入：支持通過Stream Load等方式實現(xiàn)秒級數(shù)據(jù)導入，能夠無縫對接Kafka等消息隊列，滿足天眼查對數(shù)據(jù)實時更新的嚴苛要求。
• 統(tǒng)一的數(shù)據(jù)服務：Doris同時支持高吞吐的批處理數(shù)據(jù)和低延遲的實時數(shù)據(jù)，實現(xiàn)了“離線”與“實時”數(shù)倉的統(tǒng)一，簡化了技術棧。
• 易用與易運維：兼容MySQL協(xié)議，開發(fā)人員可以像使用傳統(tǒng)數(shù)據(jù)庫一樣輕松上手；支持在線彈性擴縮容，運維成本相對較低。

三、實踐：天眼查的統(tǒng)一實時數(shù)倉架構

天眼查基于Apache Doris構建的數(shù)倉架構，實現(xiàn)了從數(shù)據(jù)接入到服務應用的流暢閉環(huán)：

1. 實時數(shù)據(jù)管道：通過Flink、Kafka等組件將各種實時數(shù)據(jù)源（如企業(yè)變更流、新聞流）進行初步處理，然后利用Doris的Stream Load功能，以秒級延遲持續(xù)導入Doris實時數(shù)倉。
2. 統(tǒng)一存儲與計算層：Apache Doris作為核心存儲與計算引擎，承載了所有明細數(shù)據(jù)和聚合模型。通過精心設計的表結構、分區(qū)與物化視圖，在保證數(shù)據(jù)實時性的對復雜查詢進行了大幅優(yōu)化。
3. 高效查詢服務層：應用端直接通過標準SQL或JDBC/ODBC接口訪問Doris。Doris的優(yōu)異性能確保了前端復雜的圖譜分析、風險探查等查詢操作都能獲得即時反饋，提升了用戶體驗。
4. 數(shù)據(jù)管理與治理：利用Doris提供的權限管理、多租戶隔離等功能，保障了數(shù)據(jù)安全與資源合理分配。

四、成效：性能與效率的飛躍

遷移至基于Apache Doris的統(tǒng)一實時數(shù)倉后，天眼查獲得了顯著的收益：

• 查詢性能量級提升：大多數(shù)核心業(yè)務查詢響應時間從原來的分鐘級降至毫秒到秒級，復雜關聯(lián)分析效率提升數(shù)十倍。
• 數(shù)據(jù)時效性革命：關鍵企業(yè)信息與風險變動的數(shù)據(jù)更新延遲從小時級縮短至秒級，極大地增強了數(shù)據(jù)的決策價值和用戶體驗。
• 架構大幅簡化：合并了原有的多個在線與離線系統(tǒng)，降低了數(shù)據(jù)冗余，統(tǒng)一了數(shù)據(jù)口徑，運維和開發(fā)成本顯著降低。
• 支撐業(yè)務創(chuàng)新：強大的實時分析能力為天眼查開發(fā)更深度的商業(yè)洞察、風險監(jiān)控等增值服務提供了堅實的數(shù)據(jù)基礎。

五、

天眼查的成功實踐表明，Apache Doris作為一款現(xiàn)代化的MPP分析型數(shù)據(jù)庫，完全有能力支撐起超大規(guī)模數(shù)據(jù)下的實時寫入與極速查詢需求。其“統(tǒng)一、實時、極速”的特性，正幫助越來越多的企業(yè)像天眼查一樣，構建簡潔、高效且面向未來的數(shù)據(jù)平臺，將數(shù)據(jù)價值以前所未有的速度轉(zhuǎn)化為業(yè)務競爭力。在追求實時數(shù)據(jù)驅(qū)動的道路上，Apache Doris已成為一個值得信賴的關鍵技術選擇。