互联网 频道

星环科技TDH 大数据平台再创佳绩

  星环科技是国内极少数掌握大数据核心技术的高科技公司,专注于企业级大数据核心平台数据库的研发与服务, 产品Transwarp Data Hub (TDH)以其业界最完整的SQL on Hadoop支持; 独特的对分布式ACID数据一致性支持;以及对SSD优化提高集群性价比等特点,比肩硅谷同行。

  

  思科也是业界知名的集网络和服务器于一身的整体解决方案厂商,其UCS系统方案包含低延时无丢包万兆以太网统一交换网络阵列,以及机架和刀片式企业级x86 架构服务器。它是一个集成的可扩展平台,在统一的管理域中管理所有资源并对管理域进行统一的资源调配和管理。统一计算系统专为大数据计算优化。

  近日,星环科技和思科联手在最新款服务器UCS C240 M4和N9K-C9372PX交换机上进行了大数据测试,得到了令人惊喜的最新测试结果:星环科技TDH 平台在cisco的UCS系统上的表现令人惊艳。借助于思科性能优异的UCS M4服务器和低延迟,高吞吐的网络交换技术,相较于星环原有的系统在1TB测试数据集下性能提升了2.6倍,领先以往所有的历史记录。

  在思科服务器上,星环TDH首次实现在4个节点服务器上完成10TB数据的性能测试。相对于1TB数据的测试结果又低了9倍,再次证明了星环大数据平台良好的可扩展性。这意味着跑完一条SQL需要的时间更短。而数据的处理速度加快,为用户带来更多价值。

  最后星环工程师不满足于现有成绩,在总容量80TB的数据容量下实现了60TB数据的大数据搜索计算,思科的系统再次承受住这一考验。

  

  为了提升整体性能,此次思科和星环科技进行了如下优化:

  1. 此次测试用的服务器集成了12块SAS 7.2KRPM 2T磁盘和一块1.6T SSD的配置(2块硬盘做了RAID1安装OS,未作为数据存储)。SSD高速闪存盘结合星环科技独有的holodesk技术,极大地减少了hadoop中shuffle时间,提升了性能。

  此外每个节点上的数据也利用星环优化的分布式算法,不但对节点间的数据做了分散存储,而且单节点各磁盘间也做了分散存储,最大程度上减少了磁盘突读写瓶颈的发生几率。

  2. 思科VIC1227网卡多队列助力:思科VIC1227作为一块CNA的网卡,在底层是通过虚拟化实现一卡多用、带宽动态隔离的效果,同时还支持多队列属性。思科UCS在保证硬件兼容性和宽容度的同时,又保证了池化资源配置的灵活性,并由此提供了卓越的表现。

  此外,星环科技TDH平台全面支持UCS平台上service profile的无状态计算功能。CISCO的统一计算系统提供端到端的管理方式,其UCS Manager中的service profile漂移功能可以为我们的用户提供服务或应用配置保持一致的功能。在测试过程中,我们发现不但数据在硬件配置改变后完全可用,连操作系统也可以在硬件的变更后完全没有感知。一切运行都正常如初。

  通过这次实践我们发现在思科UCS设备以其先进、灵活、高效、无状态化的特性;在与以星环为代表的大数据一站式平台软件的合作实践中成绩优异,比同类同配置服务器有更好的性能表现。同时UCS方便的硬件资源池化管理理念,也很大程度上简化了用户维护庞大的分布式大数据集群复杂度,降低其运维成本和综合成本。

  此次星环科技与CISCO的合作,也是思科UCS系列产品和星环大数据解决方案的强强联合,真正为客户带来1+1>2的卓越价值。

  *星环信息科技(上海)有限公司是目前国内极少数掌握企业级大数据Hadoop和Spark核心技术的高科技公司,从事大数据时代核心平台数据库软件的研发与服务。在全球去IOE的大背景下,Hadoop技术已成为公认的替代传统数据库的大数据产品。公司产品Transwarp Data Hub (TDH)的整体架构及功能特性比肩硅谷同行,产品性能在业界处于领先水平。

  *思科公司是全球领先的网络解决方案供应商。今天,网络作为一个平台成为了商业、教育、政府和家庭通信不可或缺的一部分,思科的互联网技术正是这些网络的基础。

0
相关文章