登录后查看
极视角作为一家以机器学习AI算法为核心能力的公司,整体业务大量涉及到AI/ML算法相关的工程,而其中的特征工程的环节非常重要。特征工程是指从原始数据转换为特征向量的过程,特征工程是机器学习中最重要的步骤,会直接影响机器学习的效果,并通常需要大量的时间。典型的特征工程包括数据清理、特征提取、特征选择等过程。
而在整体的特征工程中,特征数据的存储和管理是其中的一个重要环节。传统上来说,AI工程师会采用比较简单的以文件的形式来存储特征数据,然后通过代码的形式将特征数据导入到后续的训练或者推理流程中,极视角的特征数据存储和使用也采用了类似的方式。
在多年发展的过程中,极视角积累了大量的垂直领域的AI算法,而其中的各类特征数据已经变的非常庞大而分散,绝大部分都只留存在每个AI工程师自己的工程流中。但是实际上大量的场景都开始出现交叉和整合,有很多相对通用的特征数据由于没有得到很好的管理,使得每次训练新模型的时候又要重复整个特征工程的步骤,对于工程时间和资源都有较大的消耗。
登录后查看
在以MatrixOne为底座构建的AI特征平台建设完成后,极视角的AI工程师彻底摆脱了过去每个AI算法模型开发都需要单独建设一套特征工程的业务模式。在模型开发效率上,通过预先计算和存储特征,模型开发周期减少了30%,从平均4周缩短至2.8周,而特征复用使得每次模型迭代的特征工程的pipeline也减少了40%,大量重复建设的pipeline被识别出来直接使用已经建设好的特征工程或者直接应用预制的特征数据。同时通过业务特征的共享,业务整体的灵活性也大幅增加,不同部门和不同项目碰到业务需求的时候,由于具备这样的跨部门、跨项目的特征数据共享,提升了整体数据利用率达40%。
特征数据平台实际上在机器学习领域是一个非常常见的需求,MatrixOne与极视角的合作实际上给整个行业提供了一个针对特征数据平台的理想范本。










