欧美三级中文视频在线观看_快穿被c翻校园h_国产A级理论片不卡顿_国产日韩在线视看第一页

讓快更快,火山引擎ByteHouse為ClickHouse提速

近日,火山引擎數智平臺VeDI與DataFun聯(lián)合舉辦以“OLAP計算引擎”為主題的直播活動(dòng),來(lái)自火山引擎數智平臺VeDI的產(chǎn)品專(zhuān)家從技術(shù)選型、能力分析、性能優(yōu)化以及應用場(chǎng)景落地多個(gè)角度,介紹火山引擎ByteHouse如何基于ClickHouse實(shí)現實(shí)時(shí)計算能力升級。

據介紹,火山引擎ByteHouse來(lái)源于字節跳動(dòng)多年內部沉淀。由于場(chǎng)景越來(lái)越豐富以及數據分析需求增長(cháng),業(yè)務(wù)對于實(shí)時(shí)數倉的要求也越來(lái)越高。首先是數據體量大以及不斷增長(cháng)的問(wèn)題。早在2019 年,字節內部每天新增的數據量就達到了100TB。其次,在海量數據基礎上,由于數據類(lèi)型多樣(包括批式數據和流式數據)、查詢(xún)需求多樣、交互式分析復雜,數據引擎需要具備靈活性。目前,行業(yè)Redis、 SparkSQL 等開(kāi)源方案可以從不同角度滿(mǎn)足上述兩個(gè)需求,但是維護多個(gè)開(kāi)源數據庫將導致成本高,選擇一款可以避免成本無(wú)限擴展的計算引擎成為字節數據研發(fā)首要考慮的問(wèn)題。

ClickHouse性能高、靈活性強,且主要依賴(lài)磁盤(pán)、成本相對可控,成為字節跳動(dòng)內部計算引擎的首選。但原生 ClickHouse 能力難以支持 upset 、實(shí)時(shí)數據更新等一些場(chǎng)景,在很多層面有局限性,例如:


(資料圖片)

· 單表性能強勁,但多表能力局限,且對標準 SQL 兼容性低。

· 缺乏成熟運維管理工具,運維復雜程度高。

· ClickHouse 為 MPP 架構(存算一體架構),性能強,但橫向擴容成本非常高、數據隔離性差。

ByteHouse產(chǎn)品專(zhuān)家在直播中介紹到,“為了解決以上問(wèn)題,我們主要從4個(gè)方向進(jìn)行優(yōu)化,讓OLAP引擎能力、性能、運維、架構進(jìn)一步升級?!?/strong>

第一,豐富的自研表引擎,實(shí)現OLAP引擎能力進(jìn)化。 ByteHouse 彌補了ClickHouse表引擎的不足,并衍生出全新的表引擎,包括使高可用表引擎、實(shí)時(shí)數據引擎、Unique 引擎、Bitmap 引擎。以Unique 引擎為例,它解決了社區版 ReplacingMergeTree 實(shí)時(shí)更新延遲問(wèn)題,真正做到實(shí)時(shí) upset。

第二,新增優(yōu)化器、字典、索引支持能力,實(shí)現OLAP引擎性能進(jìn)化。ClickHouse在多表場(chǎng)景中性能存在缺陷,而B(niǎo)yteHouse 通過(guò)自研CBO 和 RBO(基于代價(jià)和基于規則的優(yōu)化器),支持了多層嵌套的下推、Join 子查詢(xún)的下推、Join-Reorder、Bucket Join、Runtime Filter 等優(yōu)化器特性,做到 TPC-DS 的性能可以達到 99 條sql100%覆蓋,極大提升多表場(chǎng)景下的性能。另外,ByteHouse還支持了全局字典以及更多索引,如 Bitmap index,讓查詢(xún)效率更快。

第三, 自動(dòng)化、可視化,實(shí)現OLAP引擎運維進(jìn)化。ByteHouse 提供標準化運維、集群健康度檢測、問(wèn)題發(fā)生時(shí)的診斷工具,幫助運維人員提高效率。例如,集群健康度的檢測工具,類(lèi)似于集群的實(shí)時(shí)巡檢,能夠報告當前集群狀態(tài)、出現了什么問(wèn)題、問(wèn)題如何解決,最大程度把問(wèn)題前置化,降低運維風(fēng)險。從效果上看, 18000 個(gè)節點(diǎn)只需要不到 10 個(gè)運維人員來(lái)支持。

第四, 存算分離,實(shí)現OLAP引擎架構進(jìn)化。ByteHouse推出了 MPP 2. 0 即存算分離架構。一方面, 存算分離可以更好實(shí)現資源隔離,每一個(gè)計算任務(wù)都會(huì )提交到不同的計算資源中,做到用戶(hù)之間互不影響,還能靈活擴容、縮容存儲計算資源;另一方面,存算分離能做到真正云原生(Cloud native),ByteHouse 存儲層既支持 HDFS,也支持 S3 對象或者其他的對象存儲,實(shí)現云原生部署。

目前,ByteHouse已經(jīng)在行為分析、精準營(yíng)銷(xiāo)、實(shí)時(shí)監控等業(yè)務(wù)場(chǎng)景中落地。以實(shí)時(shí)監控為例,很多互聯(lián)網(wǎng)APP有線(xiàn)上運營(yíng)活動(dòng)、直播電商等業(yè)務(wù),數據實(shí)時(shí)性格外重要。數據從生產(chǎn)到展現在大屏上,延遲往往要控制在分鐘級甚至秒級以?xún)?。而B(niǎo)yteHouse高吞吐性能、查詢(xún)性能,使數據從輸入端到輸出端的流程達到秒級。在數據保障層面,ByteHouse 也能精細到Exactly Once 的語(yǔ)義,保證數據不丟失、不重復,最終達到數據高效存儲、準確查詢(xún)。(作者:吳卓港)

推薦DIY文章
全新門(mén)派“萬(wàn)靈山莊”首曝 《劍網(wǎng)3》十四周年發(fā)布會(huì )全回顧
刷新全智能手表體驗上限,OPPO Watch 4 Pro發(fā)布:2199元起
OPPO Watch 4 Pro真機亮相! 智能體驗與外觀(guān)質(zhì)感再升級,將于8月29日發(fā)布
全球首臺8K激光電視引關(guān)注!人民日報探廠(chǎng)海信直播即將啟幕
持續引領(lǐng)智能手表體驗!OPPO Watch系列新品溝通會(huì )召開(kāi)
當智能健身走向全民化:AEKE輕力量家庭智能健身房引領(lǐng)未來(lái)
精彩新聞

超前放送