持續(xù)引領(lǐng)一棧式數(shù)據(jù)服務(wù) PingCAP 發(fā)布 TiDB 5.3 版本

責(zé)任編輯:zhaoxiaoqin

2021-12-20 23:39:35

2021 年 11 月 30 日,企業(yè)級開源分布式數(shù)據(jù)庫廠商 PingCAP 正式發(fā)布 TiDB 5.3 版本。TiDB 在規(guī)?;?lián)機交易和實時分析能力兩大領(lǐng)域?qū)崿F(xiàn)快速的迭代創(chuàng)新,TiDB 5.3 版本中 HTAP 架構(gòu)的性能和穩(wěn)定性取得顯著提升,系統(tǒng)可觀測性得到進一步增強,生態(tài)工具提速為 MySQL 用戶帶來重磅福利,累計優(yōu)化和更新 40 多項功能,以“一棧式數(shù)據(jù)服務(wù)平臺”幫助企業(yè)用戶更好地應(yīng)對雙十一等海量數(shù)據(jù)嚴苛場景下的挑戰(zhàn)。

HTAP 架構(gòu)的性能和穩(wěn)定性取得顯著提升

在數(shù)字化轉(zhuǎn)型的過程中,企業(yè)對“海量、實時、在線”的數(shù)據(jù)需求變得更加迫切,企業(yè)中的任意人在任意時間、任意地點對任意形態(tài)的數(shù)據(jù)都可能產(chǎn)生消費的需求,作為 HTAP (Hybrid Transactional/Analytical Processing,即混合事務(wù) / 分析處理)數(shù)據(jù)庫的引領(lǐng)者,TiDB 用“一棧式數(shù)據(jù)服務(wù)平臺”應(yīng)對企業(yè)規(guī)?;灰缀蛯崟r分析的需求,提升關(guān)鍵業(yè)務(wù)的時效性,降低數(shù)據(jù)技術(shù)棧的復(fù)雜性。

自 TiDB 5.0 版本 HTAP 架構(gòu)發(fā)布以來,已經(jīng)廣泛地應(yīng)用到金融、物流、零售、新經(jīng)濟等行業(yè)頭部用戶的風(fēng)控、反欺詐、實時數(shù)據(jù)中臺、實時數(shù)倉等場景。在小紅書反欺詐數(shù)據(jù)分析場景中,面對單表破 50 億的數(shù)據(jù)規(guī)模,TiDB HTAP 實時查詢技能發(fā)揮穩(wěn)定,分鐘級呈現(xiàn)促銷發(fā)放優(yōu)惠券的使用與分發(fā)情況。汽車之家把 TiDB HTAP 應(yīng)用于個性化營銷場景,根據(jù)用戶畫像實時推薦喜好信息與促銷信息推薦,相較 MySQL 聚合場景效能提升 20-50 倍。

得益于開源社區(qū)大量真實場景的驗證與反饋,5.3 版本對 TiFlash 列式存儲引擎進行了大幅深層優(yōu)化,如調(diào)整存儲引擎底層文件結(jié)構(gòu)和 IO 模型,優(yōu)化訪問不同節(jié)點副本和文件區(qū)塊的計劃等。新版本中 TiFlash 支持更多的函數(shù)(涵蓋字符串、時間和其他計算)下推到 MPP 引擎,提升了分布式計算時遠程數(shù)據(jù)的讀取效率,消除了高負載條件下數(shù)據(jù)等待造成內(nèi)部進程超時引起的例外和任務(wù)失敗。此外,數(shù)據(jù)校驗的完善、SQL 告警信息和日志收集的優(yōu)化提升了集群的綜合運維能力。

TiDB HTAP 架構(gòu)可隨數(shù)據(jù)量和業(yè)務(wù)增長輕松擴展到 200 節(jié)點以上的大規(guī)模集群,并且做到 OLTP 和 OLAP 負載隔離互不影響,在雙十一等讀寫壓力雙高的極致場景下提供性能優(yōu)異、可靠穩(wěn)定的服務(wù)。經(jīng)實際驗證,TiDB 5.3 版本在金融、物流等超高吞吐實時在線交易場景下讀寫混合負載的綜合性能,提升幅度可達 50%~100% ,并大幅度降低了同等負載下 CPU、內(nèi)存資源使用率以及由于 IO 阻塞等待造成的查詢失敗概率。

系統(tǒng)可觀測性進一步增強

分布式系統(tǒng)的可觀測性成為基礎(chǔ)軟件設(shè)計的重要方向,TiDB 一直以來致力于通過技術(shù)手段描繪分布式系統(tǒng)的全貌,幫助技術(shù)人員快速診斷系統(tǒng)的健康狀態(tài),從而降低業(yè)務(wù)風(fēng)險。

TiDB 5.3 版本的 TiDB Dashborad 新增持續(xù)性能分析(Continuous Profiling)功能,提供在集群運行狀態(tài)下(包括故障狀態(tài))自動保存實例性能分析結(jié)果的能力,為用戶帶來數(shù)據(jù)庫源碼水平的性能洞察,讓原本“黑盒”的數(shù)據(jù)庫變成“白盒”。用戶可通過火焰圖進行快速的故障排查和定位,故障診斷時間縮短 50% 以上。持續(xù)性能分析提供對 TiDB、PD 和 TiKV 節(jié)點持續(xù)的性能分析并保存結(jié)果,功能開啟后對集群讀寫損耗低于 0.5%,對業(yè)務(wù)不構(gòu)成影響。

某銀行技術(shù)負責(zé)人反饋:在分布式數(shù)據(jù)庫選型 POC 測試中,某些業(yè)務(wù)的查詢語句響應(yīng)時間不達預(yù)期,分布式數(shù)據(jù)庫廠商往往需要花費 1-2 天的時間進行大規(guī)模的性能排查。通過使用 TiDB 的持續(xù)性能分析功能,僅需 30分鐘就能定位到性能瓶頸,為全鏈路的快速調(diào)優(yōu)奠定了基礎(chǔ)。

生態(tài)工具提速為 MySQL 用戶帶來重磅福利

TiDB 經(jīng)常被用戶比喻為”加大號的 MySQL”,當(dāng) MySQL 遇到容量和性能瓶頸的時候,可以輕松遷移到 TiDB 實現(xiàn)性能和容量的彈性擴展,減少分庫分表對業(yè)務(wù)的侵入以及繁瑣的運維工作,讓 MySQL 用戶即刻享受到 TiDB 實時查詢分析的紅利。

TiDB Data Migration (DM) 是一款實時數(shù)據(jù)同步工具,支持數(shù)據(jù)從與 MySQL 協(xié)議兼容的數(shù)據(jù)庫同步到 TiDB。在 5.3 版本中,DM 在合并單行數(shù)據(jù)的多次變更、點查更新合并為批量操作等方面進行了多項優(yōu)化,使得分庫分表 MySQL 同步至 TiDB 的延遲大幅降低,保障了下游 TiDB 數(shù)據(jù)查詢實時性,企業(yè)無需進行大規(guī)模數(shù)據(jù)架構(gòu)的改造就能快速引入 TiDB 以增強實時查詢分析效率。經(jīng)場景實測,在 300K QPS 數(shù)據(jù)同步流量下,99.9% 時間內(nèi)上下游同步延遲降低至 1 秒以內(nèi),尤其適用于高負載業(yè)務(wù)壓力下 TiDB 作為只讀從庫的場景。

TiDB 5.3 版本中,TiDB Lingtning 實現(xiàn)了全量數(shù)據(jù)遷移的再提速,為 MySQL 分庫分表架構(gòu)上超過 100 TB 規(guī)模的業(yè)務(wù)遷移到 TiDB 提供了升級版方案。新版本 TiDB Lingtning 具備水平擴展能力,支持用戶同時部署多個 Lightning,并行地將單表或者多表數(shù)據(jù)遷移 TiDB。例如:在升級后,上游為 10 個分表 MySQL 集群,數(shù)據(jù)總規(guī)模 10 TB,使用 5 個 Lightning 實例并行導(dǎo)入,導(dǎo)入速度較上個版本提升 400% 以上。

除了上述三大方向的突破和升級之外,新版本 TiDB 對分布式事務(wù)一致性的核心組件分布式時間戳(TSO)的處理流程進行了深度優(yōu)化,在保障分布式事務(wù)線性一致性的前提下降低時間戳獲取延遲,以更好地支撐百 TB 以及百萬 QPS 超大規(guī)模集群的擴展,優(yōu)化后集群整體 QPS 吞吐實現(xiàn) 100% 以上的提升。

TiDB 5.3 版本還引入了臨時表功能,提供 Global 和 Local 兩類臨時表來緩存業(yè)務(wù)的中間歷史數(shù)據(jù),計算完成后臨時表可實現(xiàn)自動的清理回收。一條 SQL 即可輕松創(chuàng)建臨時表,高效地解決了業(yè)務(wù)中間計算結(jié)果的臨時存儲問題,幫助用戶簡化業(yè)務(wù)邏輯并提升性能。

PingCAP 首席架構(gòu)師唐劉表示:TiDB HTAP 的使命不僅僅局限于對傳統(tǒng)數(shù)據(jù)庫的升級或者是交易和分析處理性能的提升,本質(zhì)上 TiDB HTAP 是一個開放的生態(tài)體系,在企業(yè)中承擔(dān)著支持數(shù)據(jù)服務(wù)消費化和構(gòu)建統(tǒng)一實時數(shù)據(jù)服務(wù)平臺的角色,為用戶帶來業(yè)務(wù)與架構(gòu)的創(chuàng)新與提升。本次發(fā)布的 5.3 版本是 TiDB 邁向成熟企業(yè)級 HTAP 平臺的一個重要里程碑,越來越多的企業(yè)希望通過“一棧式數(shù)據(jù)服務(wù)平臺”簡化數(shù)據(jù)技術(shù)棧,提升業(yè)務(wù)的實時洞察能力,用戶只需要掌握最基礎(chǔ)的 SQL 語言能力和數(shù)據(jù)分析能力就可以驅(qū)動業(yè)務(wù)決策。

更多 TiDB 5.3 版本新功能,請查閱 TiDB 官網(wǎng) Release Notes:https://docs.pingcap.com/zh/tidb/stable/release-5.3.0

立即開啟 TiDB 體驗之旅:https://pingcap.com/zh/product/

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號