2024年AI推动的11个数据管理趋势

2023 年是生成式人工智能（GenAI）和基础大语言模型年。然而，随着企业竞相将人工智能引入其工作流程的前沿和中心，他们开始意识到高效数据管理的重要性。

众所周知，高质量数据是业务成功的关键因素，而新一代人工智能将进一步挖掘数据价值，这也是新的一年企业关注的焦点。以下是多位数据科学专家对2024 年数据生态系统的发展预测。

1.关系型数据库将摆脱SQL

– Bob Muglia，Fauna 执行主席、Snowflake 前首席执行官

“无论是利用现代边缘、物联网还是生成式人工智能应用来发展业务，企业在 2024 年都不乏大胆的计划。所有这些计划都依赖于对企业数据的安全访问。对于许多公司来说，支撑这些应用程序的数据基础设施仍然停滞不前。许多组织仍然依赖过时的运营数据库，这些数据库是为了满足已有数十年历史的技术的需求而构建的

SQL 是一种数据库语言，缺乏标准化的过程逻辑方法，对于大多数应用程序来说，该过程逻辑嵌入在使用有状态、持久会话连接到 SQL 数据库的应用程序服务器中。这种 SQL 设计方法在 50 年前就有意义，但对于现代无连接云服务来说却是一个痛苦的遗产。它通常要求应用程序代码和数据库共同驻留在同一数据中心区域，这严重阻碍了对当今企业至关重要的无服务器或地理分布式应用程序，例如物联网和边缘应用程序……

展望未来，我们将看到企业采用更敏捷的数据库基础设施，支持跨物联网、边缘和人工智能的现代应用程序的分布、一致性、可扩展性和灵活性。遗留数据库面临的挑战只会变得更加昂贵，因为它们的局限性对企业开发人员来说变得更加负担，并且成为业务创新步伐的更大瓶颈。”

2.矢量数据库将成为最抢手的技术
– Talentica Software 首席架构师 Ratnesh Singh Parihar 和 Timescale 人工智能和矢量总经理 Avthar Sewrathan

“到 2024 年，矢量数据库将成为最受欢迎的技术。在数据驱动的洞察力推动创新的时代，矢量数据库因其在处理高维数据和促进复杂相似性搜索方面的能力而迅速获得关注。无论是推荐系统、图像识别、自然语言处理、财务预测还是其他人工智能驱动的企业，了解顶级矢量数据库对于跨行业的软件开发至关重要。”

“随着人工智能从头开始构建新的应用程序……，矢量数据库将在技术堆栈中发挥越来越重要的作用，就像应用程序数据库过去一样。当团队寻求创建具有新的法学硕士支持功能的人工智能产品时，他们将需要可扩展、易于使用且操作简单的矢量数据存储。”

3.在企业数据湖中用大语言模型掘金

– Charlie Boyle，Nvidia DGX 系统副总裁

“关于平均企业存储多少信息的统计数据并不缺乏——对于大公司来说，它可能高达数百 PB。然而，许多公司报告称，他们挖掘的信息（主要是结构化数据）还不到一半，以获取可操作的见解。2024 年，企业将开始使用生成式人工智能来利用这些未经处理的数据，将其用于构建和定制法学硕士。借助人工智能驱动的超级计算，企业将开始挖掘非结构化数据（包括聊天、视频和代码），将其生成式人工智能开发扩展到训练多模式模型。这种超越挖掘表格和其他结构化数据能力的飞跃将使公司能够提供更具体的问题答案并发现新的机会。这包括帮助检测健康扫描中的异常情况、发现零售业的新兴趋势以及使业务运营更安全。”

4.没有先进自动化技术来支持人工智能的公司将面临挣扎

– Sean Knapp，Ascend.io 首席执行官

“随着企业采用人工智能来保持竞争优势，许多人会更强烈地感受到混乱的数据基础设施的影响。当风险从简单地在仪表板上提供不良信息到可能根据该数据自动执行错误决策和行为时，不良数据（或数据不足）的影响将会更加复杂。那些没有强大数据基础设施和治理的企业，将生成式人工智能置于关键任务环境中迟早会遭受准确性损失。”

5.告别云计算“杀猪盘”，云FinOps团队将优化其数据管道，降低云计算成本

– Sean Knapp，Ascend.io 首席执行官

“面对今年云支出失控的现实，到 2024 年，将需要真正的跨组织合作伙伴关系来识别不必要的支出，其中财务和工程团队都将发挥关键作用。在Ascend 的年度研究中，48% 的受访者提到了优化数据管道以降低云计算成本的计划，其中 89% 的受访者预计管道数量将在未来 12 个月内增长。明年势在必行的是，利用平台查明数据管道中哪些地方出现了额外支出，并通过快速演示成本优化来进行反击，以避免上层的误导性指令。”

6.意图数据将成为市场营销团队的必备条件

——Henry Schuck，ZoomInfo 首席执行官

“到 2024 年，意图数据将是市场营销团队的‘必备品’。随着公司努力协调销售和营销工作，通过意图数据的行为数据分析来预测客户需求的能力将变得越来越重要。随着人工智能每年变得越来越复杂，我们预计客户参与将持续从被动转向主动，从而提高转化率并培养长期客户忠诚度。”

7.数据和业务团队将在人工智能产品的使用上争论不休

– Arina Curtis，DataGPT 首席执行官兼联合创始人

“虽然企业用户对ChatGPT等人工智能产品的需求已经开始增长，但数据团队在允许大模型访问企业数据之前仍会执行庞大的检查清单。但是随着人工智能证明自己是可靠和安全的，采用可能会更早而不是更晚。

此外，企业将优先考虑干净的数据集，以赶上人工智能驱动分析的潮流。干净的数据集将成为成功实施人工智能的基础，使企业能够获得有价值的见解并保持竞争力。”

企业将受到实时和人工智能的双重打击
– Dhruba Borthakur，Rockset 首席技术官兼联合创始人

“人工智能驱动的实时数据分析将通过自动化为企业节省成本提供竞争情报，并使大大提高软件工程师的效率。例如，保险公司的数据库中存储着数TB的数据。借助人工智能，到 2024 年，我们将能够实时处理这些文档，并从该数据集中获得良好的情报，而无需编写自定义模型。

到目前为止，软件工程师需要编写代码来解析这些文档，然后编写更多代码来提取关键字或值，然后将其放入数据库并查询以生成可操作的见解。为企业节省的成本将是巨大的，因为借助实时人工智能，企业无需雇用大量员工即可从数据中获得竞争价值。”

9.知识图谱将帮助用户消除数据孤岛

——Molham Aref，RelationalAI 首席执行官兼创始人

“随着企业不断将更多数据转移到数据云中，他们正在云中收集数百、数千甚至数万个数据孤岛。知识图将通过利用各种数据源之间的关系轻松驱动语言模型来导航存在的所有数据孤岛。因此，在新的一年里，我们将看到各种基于知识图谱的成熟和新颖的人工智能技术支持智能应用程序的开发出现。”

10.人工智能将改变当前的数据管理方式

— Osmar Olivo，Inrupt 产品管理副总裁

“企业正在意识到人工智能为其整体价值主张和竞争优势做出贡献的潜力。为了实现这一目标，人工智能需要接受不同类型数据的训练和处理。有些数据是公开的，但其中很多是个人消费者信息或特定于组织的知识产权。公司会发现他们需要取得平衡，以保护人工智能模型使用的数据，同时仍然使用这些数据来支持有价值的决策。这些创新的数据管理解决方案将随着监管合规性和新兴立法的不断发展而不断发展。”

11.首席数据官将成为CIO的第一人选

– Heath Thompson，Quest Software 总裁兼总经理

“到 2024 年，成为 CIO 候选的最佳职业路径是成为出色的首席数据官。在过去几年中，CDO 已从低预算咨询角色发展成为帮助企业充分利用数据的关键资产。随着越来越多的组织投资人工智能和云以实现数据民主化并刺激创新，CDO 占据了主导地位，并且比以往任何时候都更接近 CIO 以及业务的成功。寻找优秀CIO的组织将选择那些真正了解数据如何移动、流经和影响组织的人，这意味着CDO将在追求这一职业道路上拥有天然优势，并继续在企业中发挥巨大影响力。”