近日,创邻科技携手香港科技大学(广州)共同撰写的论文 “Galaxybase: A High Performance Native Distributed Graph Database for HTAP” 被数据库领域国际学术会议VLDB2024成功收录,并受邀参与VLDB 2024会议进行现场报告!
VLDB会议是数据管理与数据库领域的三大国际顶尖学术会议之一,被中国计算机学会(CCF)推荐为A类国际会议。自 1975 年成立以来,VLDB每年吸引全球优异研究机构参与,对于系统的创新性、完整性和实验设计都有着严苛的标准。
此次合作论文的收录,标志着Galaxybase的“HTAP场景下的原生分布式架构”理论进入数据库领域前沿研究的最高水平。这也是创邻科技近十年在图数据库研究上的成果,首次以论文形式公开展示。
“Galaxybase: A High Performance Native Distributed Graph Database for HTAP”
图数据库是一种专门用于存储、管理和查询数据实体之间复杂关系的数据库管理系统。与传统的关系数据库不同,图数据库使用顶点、边和属性来对数据实体及其关系进行建模。它在处理结构化和高度互联的数据时具有更高的灵活性和性能,特别适用于社交网络、能源网络优化、金融欺诈检测和知识图谱等领域的查询与分析。
创邻科技提出了一种基于通用硬件的原生分布式HTAP图数据库架构,通过一种存储模式满足不同查询需求,并在存储、事务和分布式处理方面进行了全面优化,以应对当前密集数据的查询与分析需求。
在存储设计方面,创邻科技提出Log-Structured Adjacency List,一种顺序磁盘读写的结构,可大幅减少读写放大。Edge Page结构按策略有序存储邻居边,支持对边进行多种模式查询。通过适应于场景的数据分片和副本策略,减少了分布式系统间的通信负担。本存储模式的提出,不仅使图数据库能够全面支持不同类型的查询需求,还推动了大规模图数据库可扩展处理技术的发展。在事务处理方面,创邻科技针对OLTP和OLAP场景实施双模式分布式事务策略。序列化隔离级别的读写事务与无锁快照分析的只读事务共存,既确保了系统的整体性能和可靠性,也促进了在图数据库领域HTAP一体化技术的发展。
实验数据显示,Galaxybase在分布式模式下,在OLTP工作负载下实现了高达8万每秒的吞吐量,在HTAP工作负载下的性能比其他数据库高出一个数量级。这说明在不同的任务场景下,Galaxybase依然保持高效的性能,通过一套存储满足核心查询与分析需求。即使在内存资源有限的情况下,它仍能高效加载数据并稳定运行,相比其他数据库在资源有限环境下的表现,Galaxybase可有多达数百倍的性能优势。这对于需要在有限资源条件下处理大规模图数据的场景而言,是一个重要的突破。
想要了解详细的论文内容,欢迎持续关注 VLDB 2024。届时,创邻科技也将现场汇报论文结果,并发布论文的对应解读文章。未来,创邻科技将继续专注于图数据处理技术,不断改进和优化Galaxybase,致力于为该领域提供更高效、更智能的解决方案。