网络百科 心情随笔 自动驾驶公司毫末智行采用OceanBase,应对数十亿数据对象管理难题

自动驾驶公司毫末智行采用OceanBase,应对数十亿数据对象管理难题

面对年增数亿的数据对象,自动驾驶领域的人工智能技术公司毫末智行采用了国产数据库OceanBase。4月25日,记者了解到,目前毫末智行已经完成数十亿数据表的迁移工作,获得了更强的数据可靠性、可用性、扩展性。

毫末智行成立于2019年,今年2月刚刚完成超亿元的B1轮融资,将用于AI自动驾驶技术的研发投入。

自动驾驶旨在通过创建能够准确感知环境、做出智能决策,并在没有人为干预的情况下安全驾驶的车辆,能否取得快速进展在很大程度上依赖于大量数据集。

目前毫末智行拥有数十亿的数据对象,包括车型、硬件型号、雷达位置、图像收集位置等强管理数据库。对于海量数据的采集、处理、管理,给毫末智行带来了很大的技术挑战。整个数据处理过程包括原始数据的采集、分解、打包,数据推理、筛选、分类、自动标注、数据交付等,对时效性、处理效率等要求很高。

毫末智行原本采用的数据库专注于OLTP场景,在处理极大量数据时容易遭遇性能瓶颈,且扩展方式复杂,难以满足数据处理阶段对扩展性的要求。此外,毫末智行还搭建在多云环境上,管理难度进一步提升。

作为一款为关键业务负载打造的分布式数据库,OceanBase既能比主流单机数据库提供更好的性能,也能实现分布式架构下事务处理和实时分析的最佳性能,同时以统一的技术栈最小化管理成本。

毫末智行将数据迁移至OceanBase后,对数据进行处理时,即使是超长的慢SQL,执行时间也能保持在2-5秒之间。此外,OceanBase具备动态扩容的能力,可以实现无感知平滑扩容,在数据量增长或业务调整时能快速响应需求。

OceanBase还适配了多云平台上基于基础设施的各类存储系统,同时借助OCP工具,毫末智行的数据库运维工作人员也得以实现对数据库的图形化管理,实现集中管控,更好地管理和监控各个集群的状态和性能,确保系统的稳定性和可靠性,大大简化运维流程,减少人工干预和操作成本。

毫末智行运维工程师赵国良表示,过去半年,通过OceanBase提供的OMS数据迁移工具,已经完成了数十亿行数据表的迁移工作,这种大规模的数据迁移需要高度的技术能力和精细管理,进一步证明了OceanBase的强大功能和卓越性能。

OceanBase是蚂蚁集团旗下的自研原生分布式数据库,曾在2019年、2021年接连打破世界纪录,并连续10余年稳定支撑双11。OceanBase的客户数已经超过1000家,其中30%将其应用于核心系统。