为什么87％的机器学习项目失败

根据Gartner的预测，“ 到2020年，AI项目的80％将通过向导他们的才华不会在组织规模保持炼丹，运行”和变换2019 VentureBeat的的预测，AI项目的87％，绝不会让它投入生产。

这是为什么？为什么这么多项目失败？这是10个原因。

1.不够专业
原因之一是该技术对广大受众来说仍然是新技术。此外，大多数组织仍不熟悉软件工具和所需的硬件。如今，似乎所有从事数据分析或软件开发工作，并完成了一些示例数据科学项目的人都在通过在线短期课程后将自己标榜为数据科学家。事实是，需要经验丰富的数据科学家来处理大多数机器学习和AI项目，尤其是在定义成功标准，最终部署和对模型进行持续监控时。

2.数据科学与传统软件开发之间的脱节
数据科学与传统软件开发之间的脱节是另一个主要因素。传统的软件开发往往更具可预测性和可衡量性。但是，数据科学仍然是研究和工程的一部分。数据科学研究通过多次迭代和实验向前发展。有时，整个项目将不得不从部署阶段返回到计划阶段，因为所选择的指标并没有推动用户行为。数据科学项目可能不会期望基于传统敏捷项目的交付。对于在常规软件开发项目的每个任务周期结束时一直在努力交付清晰结果的领导层，这将引起大规模的混乱。

3.数据量和质量
每个人都知道，数据集越大，从AI系统进行的预测就越好。除了大量数据的直接影响之外，随着数据规模的增加，还会出现许多新的挑战。在许多此类情况下，您将必须合并来自多个源的数据。
一旦开始这样做，您将意识到它们通常不同步。这将导致很多混乱。有时，您最终将合并不应该合并的数据，这将导致具有相同名称但含义不同的数据点。错误的数据充其量只能产生不可操作或无法理解的结果。错误的数据也会导致误导性结果。

4.数据标签
标记数据的不可用是使许多机器学习项目停滞的另一个挑战。根据《麻省理工学院斯隆管理评论》，76％的人通过尝试自己标记和注释训练数据来应对这一挑战，而63％的人甚至尝试构建自己的标记和注释自动化技术。这意味着这些数据科学家的大量专业知识会因标记过程而流失。这是有效执行AI项目的主要挑战。这就是许多公司将标签任务外包给其他公司的原因。但是，如果标签任务需要足够的领域知识，则将标签任务外包是一个挑战。如果公司需要保持数据集的质量和一致性，则必须投资于注释者的正式和标准化培训。如果要标记的数据很复杂，另一种选择是开发自己的数据标记工具。但是，这通常比机器学习任务本身需要更多的工程开销。

5.组织孤立
数据是机器学习项目中最重要的实体。在大多数组织中，这些数据将以不同的安全约束和格式（结构化，非结构化，视频文件，音频文件，文本和图像）驻留在不同的位置。将这些数据以不同的格式放在不同的位置本身是一个挑战。但是，当孤立组织时，挑战又加倍，负责任的个人不会相互合作。

6.缺乏合作

另一个主要挑战是数据科学家，数据工程师，数据管理员，BI专家，DevOps和工程等不同团队之间缺乏协作。对于数据科学领域的工程方案团队来说，这尤其重要，因为它们的工作方式和用于完成项目的技术存在很多差异。工程团队将实施机器学习模型并将其投入生产。因此，它们之间需要适当的理解和强有力的协作。

7.技术上不可行的项目
由于机器学习项目的成本往往非常昂贵，因此大多数企业倾向于以雄心勃勃的“月球”项目为目标，这将完全改变公司或产品并带来超额回报或投资。这样的项目将永远完成，并将推动数据科学团队达到极限。最终，企业领导者将对项目失去信心并停止投资。始终最好将精力集中在具有适当范围的单个可实现项目上，并针对简单的业务挑战。

8.技术和业务团队之间的协调问题
很多时候，机器学习项目是在业务和数据科学团队之间没有明确期望项目目标，目标和成功标准的情况下启动的。这些类型的项目将永远停留在研究阶段，因为他们永远不知道自己是否正在取得进展，因为至今还不清楚目标是什么。在这里，数据科学团队将主要专注于准确性，而业务团队将对诸如财务收益或业务洞察力之类的指标更感兴趣。最后，业务团队最终不接受数据科学团队的结果。

9.缺乏数据策略
根据《麻省理工学院斯隆管理评论》（MIT Sloan Management Review），只有50％的拥有100,000多名员工的大型企业最有可能采用数据策略。在开始机器学习项目之前制定可靠的数据策略至关重要。作为数据策略的一部分，您需要对以下内容有清楚的了解：

您公司中的总数据这些项目真正需要多少数据？所需个人如何访问这些数据，以及这些人员如何轻松地访问它们关于如何将来自不同来源的所有这些数据汇总在一起的特定策略如何清理和转换这些数据。

10.缺乏领导支持
很容易想到您只需要花一些钱和技术解决问题，结果就会自动出现。我们没有看到领导者提供正确的支持来确保成功所需的条件。有时，业务主管对数据科学家开发的模型不抱有信心。这可能是由于缺乏对业务负责人的AI的理解以及数据科学家无法将模型的业务利益传达给领导层的综合原因。

最终，领导者需要了解机器学习的工作原理以及AI对组织的真正意义。