近日,白山云科技大数据团队基于StarRocks成功搭建了全新的大数据平台,并已全量投入使用。据了解,StarRocks是一款国产开源、极速全场景MPP数据库,采用了新一代弹性MPP架构,能够高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景,展现出卓越的性能,比同类产品平均快3-5倍。
在引入StarRocks之前,白山云大数据团队采用的是ClickHouse作为分布式数据库。ClickHouse是一款面向列的开源数据库管理系统,使用C++编写并支持SQL查询语言。然而,随着业务的发展,ClickHouse逐渐暴露出一些显著的问题,例如查询速度慢、横向扩展能力差、数据写入时延长、故障恢复用时较长等。当遇到故障或问题时,ClickHouse的文档和阅读源码成为了解决问题的主要途径,但这又带来了新的问题。
为了解决这些问题,白山云大数据团队开始寻找替代方案。在经过严格的选型评估后,他们最终选择了StarRocks作为数据平台的底座。StarRocks的高性能、高可用性以及优秀的分布式数据库特性使其成为白山云大数据平台的理想选择。通过使用StarRocks,白山云科技成功实现了大数据处理的速度与安全性能的提升,进一步提高了业务运营效率。
作为白山云的技术基石,大数据团队将对所有的StarRocks写入、查询接口进行统一管理和优化,拦截异常行为,以提高集群性能,为各业务需求方提供更低延迟、更高性能、更加稳定的数据平台。
未来,白山云科技将积极参与到社区的新功能开发建设中,参与一些StarRocks新特性的开发,而不再仅限于问题修复类型的代码提交。同时,大数据团队还将进一步挖掘StarRocks的潜能,探索冷热分离、湖仓一体、存算分离等多个创新模块,以充分发挥其性能优势。