这篇文章的缩写版本于 2024 年 3 月 19 日出现在 The New Stack 上。
在企业人工智能中，重要有两种范例的模子：辨别模子和天生模子。辨别模子用于对数据举行分类或猜测，而天生模子用于创建新数据。只管天生式人工智能近来占据了消息的主导职位，但构造仍在寻求这两种范例的人工智能。对于渴望进步运营服从并寻求额外收入泉源的构造来说，鄙视性人工智能仍旧是一项告急办法。这些差别范例的 AI 有很多共同点，但与此同时，在构建 AI 数据根本办法时必须思量显着差别。
构造不应仅构建专用于 AI 和 AI 的根本办法，而让贸易智能、数据分析和数据科学等工作负载自生自灭。可以构建一个完备的数据根本办法，以支持构造的全部需求 - 贸易智能、数据分析、数据科学、辨别性人工智能和天生式人工智能。
在另一篇文章中，我们先容了一个当代数据湖的参考架构，该架构可以大概满足贸易智能、数据分析、数据科学和 AI/ML 的需求。让我们回首一下当代数据湖参考体系布局，并重点先容它支持 AI/ML 工作负载的功能。
当代数据湖
让我们从界说当代数据湖开始，由于它将作为参考体系布局的根本。这种架构不是“再循环”的，而是反映了广泛实用的工程第一原则。当代数据湖是一半数据堆栈和一半数据湖，对全部事变都使用对象存储。将对象存储用于 Data Lake 非常故意义，由于对象存储用于非布局化数据，而非布局化数据正是 Data Lake 要存储的内容。但是，将对象存储用于数据堆栈大概听起来很奇怪，但以这种方式构建的数据堆栈代表了下一代数据堆栈。这是由 Netflix、Uber 和 Databricks 编写的开放表格式规范 （OTF） 实现的，这使得在数据堆栈中无缝使用对象存储成为大概。
OTF 包罗 Apache Iceberg、Apache Hudi 和 Delta Lake。它们分别由 Netflix、Uber 和 Databricks 编写，由于市场上没有可以处理惩罚其数据需求的产物。 从本质上讲，它们所做的（以差别的方式）都是界说一个可以构建在对象存储 （MinIO） 之上的数据堆栈。对象存储提供了可扩展容量和高性能的组合，这是其他存储办理方案无法做到的。由于这些是当代规范，因此它们具有老式数据堆栈所不具备的高级功能，比方分区演变、模式演变和零副天职支。末了，由于数据堆栈是使用对象存储构建的，因此您可以将雷同的对象存储用于图像、视频文件、音频文件和文档等非布局化数据。非布局化数据通常存储在业界所谓的数据湖中。使用对象存储作为数据湖和数据堆栈的根本，可以天生可以大概生存全部数据的办理方案。布局化存储驻留在基于 OTF 的数据堆栈中，非布局化存储驻留在数据湖中。MinIO 的同一实例可用于两者。
在 MinIO，我们将基于 OTF 的数据堆栈和数据湖的这种组合称为当代数据湖，我们将其视为全部 AI/ML 工作负载的根本。它是网络、存储、处理惩罚和转换数据的地方。使用辨别性 AI（监督式、无监督式和强化式学习）的训练模子通常须要一种存储办理方案，该办理方案可以处理惩罚可以存在于数据堆栈中的布局化数据。另一方面，如果要训练大型语言模子 （LLMs），则必须在 Data Lake 中以原始和处理惩罚情势管理非布局化数据或文档。
发表于 2026-2-25 03:33:30