2021 年 11 月 30 日，企業(yè)級開源分布式數(shù)據(jù)庫廠商 PingCAP 正式發(fā)布 TiDB 5.3 版本。TiDB 在規(guī)?；?lián)機交易和實時分析能力兩大領(lǐng)域?qū)崿F(xiàn)快速的迭代創(chuàng)新，TiDB 5.3 版本中 HTAP 架構(gòu)的性能和穩(wěn)定性取得顯著提升，系統(tǒng)可觀測性得到進一步增強，生態(tài)工具提速為 MySQL 用戶帶來重磅福利，累計優(yōu)化和更新 40 多項功能，以“一棧式數(shù)據(jù)服務(wù)平臺”幫助企業(yè)用戶更好地應(yīng)對雙十一等海量數(shù)據(jù)嚴苛場景下的挑戰(zhàn)。

HTAP 架構(gòu)的性能和穩(wěn)定性取得顯著提升

在數(shù)字化轉(zhuǎn)型的過程中，企業(yè)對“海量、實時、在線”的數(shù)據(jù)需求變得更加迫切，企業(yè)中的任意人在任意時間、任意地點對任意形態(tài)的數(shù)據(jù)都可能產(chǎn)生消費的需求，作為 HTAP （Hybrid Transactional/Analytical Processing，即混合事務(wù) / 分析處理）數(shù)據(jù)庫的引領(lǐng)者，TiDB 用“一棧式數(shù)據(jù)服務(wù)平臺”應(yīng)對企業(yè)規(guī)?；灰缀蛯崟r分析的需求，提升關(guān)鍵業(yè)務(wù)的時效性，降低數(shù)據(jù)技術(shù)棧的復(fù)雜性。

自 TiDB 5.0 版本 HTAP 架構(gòu)發(fā)布以來，已經(jīng)廣泛地應(yīng)用到金融、物流、零售、新經(jīng)濟等行業(yè)頭部用戶的風(fēng)控、反欺詐、實時數(shù)據(jù)中臺、實時數(shù)倉等場景。在小紅書反欺詐數(shù)據(jù)分析場景中，面對單表破 50 億的數(shù)據(jù)規(guī)模，TiDB HTAP 實時查詢技能發(fā)揮穩(wěn)定，分鐘級呈現(xiàn)促銷發(fā)放優(yōu)惠券的使用與分發(fā)情況。汽車之家把 TiDB HTAP 應(yīng)用于個性化營銷場景，根據(jù)用戶畫像實時推薦喜好信息與促銷信息推薦，相較 MySQL 聚合場景效能提升 20-50 倍。

得益于開源社區(qū)大量真實場景的驗證與反饋，5.3 版本對 TiFlash 列式存儲引擎進行了大幅深層優(yōu)化，如調(diào)整存儲引擎底層文件結(jié)構(gòu)和 IO 模型，優(yōu)化訪問不同節(jié)點副本和文件區(qū)塊的計劃等。新版本中 TiFlash 支持更多的函數(shù)（涵蓋字符串、時間和其他計算）下推到 MPP 引擎，提升了分布式計算時遠程數(shù)據(jù)的讀取效率，消除了高負載條件下數(shù)據(jù)等待造成內(nèi)部進程超時引起的例外和任務(wù)失敗。此外，數(shù)據(jù)校驗的完善、SQL 告警信息和日志收集的優(yōu)化提升了集群的綜合運維能力。

TiDB HTAP 架構(gòu)可隨數(shù)據(jù)量和業(yè)務(wù)增長輕松擴展到 200 節(jié)點以上的大規(guī)模集群，并且做到 OLTP 和 OLAP 負載隔離互不影響，在雙十一等讀寫壓力雙高的極致場景下提供性能優(yōu)異、可靠穩(wěn)定的服務(wù)。經(jīng)實際驗證，TiDB 5.3 版本在金融、物流等超高吞吐實時在線交易場景下讀寫混合負載的綜合性能，提升幅度可達 50%～100% ，并大幅度降低了同等負載下 CPU、內(nèi)存資源使用率以及由于 IO 阻塞等待造成的查詢失敗概率。

系統(tǒng)可觀測性進一步增強

分布式系統(tǒng)的可觀測性成為基礎(chǔ)軟件設(shè)計的重要方向，TiDB 一直以來致力于通過技術(shù)手段描繪分布式系統(tǒng)的全貌，幫助技術(shù)人員快速診斷系統(tǒng)的健康狀態(tài)，從而降低業(yè)務(wù)風(fēng)險。

TiDB 5.3 版本的 TiDB Dashborad 新增持續(xù)性能分析（Continuous Profiling）功能，提供在集群運行狀態(tài)下（包括故障狀態(tài)）自動保存實例性能分析結(jié)果的能力，為用戶帶來數(shù)據(jù)庫源碼水平的性能洞察，讓原本“黑盒”的數(shù)據(jù)庫變成“白盒”。用戶可通過火焰圖進行快速的故障排查和定位，故障診斷時間縮短 50% 以上。持續(xù)性能分析提供對 TiDB、PD 和 TiKV 節(jié)點持續(xù)的性能分析并保存結(jié)果，功能開啟后對集群讀寫損耗低于 0.5%，對業(yè)務(wù)不構(gòu)成影響。

某銀行技術(shù)負責(zé)人反饋：在分布式數(shù)據(jù)庫選型 POC 測試中，某些業(yè)務(wù)的查詢語句響應(yīng)時間不達預(yù)期，分布式數(shù)據(jù)庫廠商往往需要花費 1-2 天的時間進行大規(guī)模的性能排查。通過使用 TiDB 的持續(xù)性能分析功能，僅需 30分鐘就能定位到性能瓶頸，為全鏈路的快速調(diào)優(yōu)奠定了基礎(chǔ)。

生態(tài)工具提速為 MySQL 用戶帶來重磅福利

TiDB 經(jīng)常被用戶比喻為”加大號的 MySQL”，當(dāng) MySQL 遇到容量和性能瓶頸的時候，可以輕松遷移到 TiDB 實現(xiàn)性能和容量的彈性擴展，減少分庫分表對業(yè)務(wù)的侵入以及繁瑣的運維工作，讓 MySQL 用戶即刻享受到 TiDB 實時查詢分析的紅利。

TiDB Data Migration (DM) 是一款實時數(shù)據(jù)同步工具，支持數(shù)據(jù)從與 MySQL 協(xié)議兼容的數(shù)據(jù)庫同步到 TiDB。在 5.3 版本中，DM 在合并單行數(shù)據(jù)的多次變更、點查更新合并為批量操作等方面進行了多項優(yōu)化，使得分庫分表 MySQL 同步至 TiDB 的延遲大幅降低，保障了下游 TiDB 數(shù)據(jù)查詢實時性，企業(yè)無需進行大規(guī)模數(shù)據(jù)架構(gòu)的改造就能快速引入 TiDB 以增強實時查詢分析效率。經(jīng)場景實測，在 300K QPS 數(shù)據(jù)同步流量下，99.9% 時間內(nèi)上下游同步延遲降低至 1 秒以內(nèi)，尤其適用于高負載業(yè)務(wù)壓力下 TiDB 作為只讀從庫的場景。

TiDB 5.3 版本中，TiDB Lingtning 實現(xiàn)了全量數(shù)據(jù)遷移的再提速，為 MySQL 分庫分表架構(gòu)上超過 100 TB 規(guī)模的業(yè)務(wù)遷移到 TiDB 提供了升級版方案。新版本 TiDB Lingtning 具備水平擴展能力，支持用戶同時部署多個 Lightning，并行地將單表或者多表數(shù)據(jù)遷移 TiDB。例如：在升級后，上游為 10 個分表 MySQL 集群，數(shù)據(jù)總規(guī)模 10 TB，使用 5 個 Lightning 實例并行導(dǎo)入，導(dǎo)入速度較上個版本提升 400% 以上。

除了上述三大方向的突破和升級之外，新版本 TiDB 對分布式事務(wù)一致性的核心組件分布式時間戳（TSO）的處理流程進行了深度優(yōu)化，在保障分布式事務(wù)線性一致性的前提下降低時間戳獲取延遲，以更好地支撐百 TB 以及百萬 QPS 超大規(guī)模集群的擴展，優(yōu)化后集群整體 QPS 吞吐實現(xiàn) 100% 以上的提升。

TiDB 5.3 版本還引入了臨時表功能，提供 Global 和 Local 兩類臨時表來緩存業(yè)務(wù)的中間歷史數(shù)據(jù)，計算完成后臨時表可實現(xiàn)自動的清理回收。一條 SQL 即可輕松創(chuàng)建臨時表，高效地解決了業(yè)務(wù)中間計算結(jié)果的臨時存儲問題，幫助用戶簡化業(yè)務(wù)邏輯并提升性能。

PingCAP 首席架構(gòu)師唐劉表示：TiDB HTAP 的使命不僅僅局限于對傳統(tǒng)數(shù)據(jù)庫的升級或者是交易和分析處理性能的提升，本質(zhì)上 TiDB HTAP 是一個開放的生態(tài)體系，在企業(yè)中承擔(dān)著支持數(shù)據(jù)服務(wù)消費化和構(gòu)建統(tǒng)一實時數(shù)據(jù)服務(wù)平臺的角色，為用戶帶來業(yè)務(wù)與架構(gòu)的創(chuàng)新與提升。本次發(fā)布的 5.3 版本是 TiDB 邁向成熟企業(yè)級 HTAP 平臺的一個重要里程碑，越來越多的企業(yè)希望通過“一棧式數(shù)據(jù)服務(wù)平臺”簡化數(shù)據(jù)技術(shù)棧，提升業(yè)務(wù)的實時洞察能力，用戶只需要掌握最基礎(chǔ)的 SQL 語言能力和數(shù)據(jù)分析能力就可以驅(qū)動業(yè)務(wù)決策。

更多 TiDB 5.3 版本新功能，請查閱 TiDB 官網(wǎng) Release Notes：https://docs.pingcap.com/zh/tidb/stable/release-5.3.0

立即開啟 TiDB 體驗之旅：https://pingcap.com/zh/product/