在2個月的等待以后,星環(huán)科技推出了全新的Transwarp Data Hub 4.3版本。全新的版本包含多項創(chuàng)新的功能,并在系統(tǒng)穩(wěn)定性和性能上做了進一步的提升,可以滿足各種數(shù)據(jù)量的數(shù)據(jù)業(yè)務的需求。Transwarp Inceptor開始支持DB2 SQL/PL,是業(yè)界首個同時支持Oracle PL/SQL和DB2 SQL/PL的大數(shù)據(jù)平臺;推出全新組件Stargate,可以接入多種數(shù)據(jù)源參與實時數(shù)據(jù)分析,解決數(shù)據(jù)孤島問題;支持實時數(shù)據(jù)同步工具,可應用于實時數(shù)據(jù)分析市場;Transwarp Stream增強了Stream SQL的兼容性,支持在流上進行SQL應用開發(fā),且支持99%的SQL 99標準,極大降低了流應用開發(fā)的門檻。Transwarp Discover增加并完善對DataFrame的接口支持,讓數(shù)據(jù)挖掘編程更加便利。
Transwarp Inceptor
Transwarp Inceptor 4.3在產(chǎn)品結(jié)構(gòu)上做了重大升級,包含8大核心組件功能,其中新組件Stargate可以讓多數(shù)據(jù)源的數(shù)據(jù)實時進入Inceptor參與計算,Guardian提供更加完備的多租戶管理功能,其他6大組件也都有較大的升級。
全新的多數(shù)據(jù)源管理組件Stargate可以連接包括Oracle/DB2/Mysql/Teradate等數(shù)據(jù)庫和數(shù)據(jù)平臺,并兼容DBLink語法,可以將多種不同數(shù)據(jù)源的數(shù)據(jù)接入Inceptor引擎做實時的統(tǒng)計分析,而無需事先將數(shù)據(jù)導入HDFS,從而更加方便用戶的業(yè)務構(gòu)建多樣化需求。
PL/SQL Compiler迎來重大升級,支持80%的DB2 SQL/PL和其他SQL擴展,包括完整的數(shù)據(jù)類型、流程控制、Package、游標、異常處理以及動態(tài)SQL執(zhí)行,并且支持在存儲過程中做高速統(tǒng)計,增刪改查與分布式事務操作。Inceptor是首個同時支持Oracle PL/SQL和DB2 SQL PL兩大主流SQL模塊化擴展的大數(shù)據(jù)平臺。
Transwarp Inceptor在分布式引擎上也做了重要的提升,在超大量數(shù)據(jù)分析上取得重要突破。Inceptor 4.3能夠在29臺普通兩路x86服務器上運行100TB的TPC-DS基準數(shù)據(jù)分析測試,完整運行99個分析業(yè)務只需要40小時,無論數(shù)據(jù)量還是性能均超過國內(nèi)外其他平臺,表明Inceptor在系統(tǒng)健壯性,性能和可擴展性方面已經(jīng)達到國際一流水平。
Inceptor推出了全新的多租戶管理組件Guardian,提供完整的多租戶管理功能,包括租戶CPU/內(nèi)存/磁盤等資源管理,租戶權(quán)限管理以及安全控制等,支持LDAP認證和底層Kerberos加密。此外,Guardian支持Row Level Security,允許管理員對同一張表內(nèi)數(shù)據(jù)給不同的租戶做精確的行級權(quán)限控制,從而保證數(shù)據(jù)的私密性和安全性,適應更多場景數(shù)據(jù)管理的需求。
在和數(shù)據(jù)工具的兼容整合方面,Inceptor也取得重要進展,能夠?qū)覫BM CDC和Oracle Golden Gate等數(shù)據(jù)同步工具,可以實時的將交易數(shù)據(jù)庫的更新同步到數(shù)據(jù)倉庫中做交互式分析業(yè)務。
在分布式事務方面,Inceptor在性能和可用性方面也做了重要提升,批量的Update/Merge Into的性能提升2~3倍,而小數(shù)據(jù)量的增改的延時降低了5倍以上。
Transwarp Stream
Transwarp Stream 4.3推出了新的SQL編譯器,支持用戶以Stream SQL,Scala和Java API來開發(fā)流處理應用,極大降低了流應用開發(fā)的門檻。Stream SQL支持99% 的SQL 99語法標準,支持ANSI SQL 2003 OLAP核心擴展,可以滿足流應用開發(fā)的業(yè)務需求;支持按數(shù)據(jù)字段時間切分滑動窗口和跳動窗口,用戶可以通過與SQL 2003兼容的Window語法來創(chuàng)建滑動窗口或者跳動窗口,并在窗口上進行各種復雜的聚合操作。此外,Stream 4.3支持包括Socket,文件以及Kafka等在內(nèi)的多種流輸入方式,支持包括Hyperbase,HDFS以及Holodesk等輸出方式,支持企業(yè)數(shù)據(jù)總線應用,保證有靈活的多場景適用性。此外,支持用戶通過SQL來管理Application和Stream Job,方便應用的運維和管理工作。
Transwarp Discover
為了給開發(fā)人員提供更友好的R編程接口,Discover在R編程接口做了重要升級。Discover對HDFS上讀取的數(shù)據(jù)及sql中獲取的數(shù)據(jù)增加DataFrame的支持,允許在DataFrame上做聚合操作,并且支持包括RDD、sql抽象出來的Table等在內(nèi)的多種輸入數(shù)據(jù)類型。
在基礎組件方面,Discover也做了一些升級。R版本升級到3.2.2,R Studio升級到0.98.486。此外Discover中內(nèi)置的Spark的版本升級到1.5.1。
Transwarp Manager
為了更加方便運維操作,Transwarp Manager 4.3支持對管理角色做遷移,防止Master節(jié)點故障導致平臺不能服務,目前支持Zookeeper,NameNode,Resource Manager和HMaster的管理角色遷移。此外,Manager 4.3還提供多項實用功能,包括Inceptor客戶端jar包下載,命令行服務監(jiān)控工具等功能,方便用戶各種場景下的運維需求。
Transwarp Manager 4.3增加了對Redhat/CentOS 7.1 on Power的支持,因此TDH可以非常便捷地部署在IBM Power服務器平臺上。
星環(huán)科技是目前國內(nèi)極少數(shù)掌握大數(shù)據(jù)核心技術(shù)的高科技公司,專注于企業(yè)級大數(shù)據(jù)核心平臺數(shù)據(jù)庫軟件的研發(fā)與服務。公司產(chǎn)品Transwarp Data Hub (TDH)以其業(yè)界最完整的SQL on Hadoop支持; 獨特的對分布式ACID數(shù)據(jù)一致性支持;以及對SSD優(yōu)化提高集群性價比等特點,比肩硅谷同行。產(chǎn)品的功能和性能在業(yè)界處于領(lǐng)先水平。在全球去IOE的大背景下,TDH已成為在數(shù)據(jù)倉庫,數(shù)據(jù)集市等領(lǐng)域替代傳統(tǒng)數(shù)據(jù)庫公認的大數(shù)據(jù)產(chǎn)品。