即刻App年轻人的同好社区
下载
- 企业中对于 GenAI 的预算在增加
- 在降本增效的方面，对于减少客服的开支，任然是目前非常关注的点
- 衡量 ROI 仍然是企业本身在寻找的目的，短期之内在快速的探索，并且寻找可以量化回报的最佳指标，未来 ROI 会变得更加重要
- 实施和扩展 GenAI 需要合适的技术人才，但是企业内部并不具备这样的人才，仅仅使用 API 并不能解决问题，Workflow 任然是非常关键的一部分，模型成本可能只有¼，因此一些 LLMOps 会被一些创业公司所接受
- 企业正在朝多模型，开源的方向发展，单个模型容易被绑定，同时也可以更好的平衡成本，性能，规模之间的关系，快速利用开源领域的进步，这三点对于领导来说尤为看重，因为模型榜单是动态的。而更快速的替换并且使用最新的是领导更希望看到的。
- 成本并不是主要的关注点，定制和控制是企业更加关注的，GenAI 本身所带来的超额价值可能会远远超过其价格。
- 出于监管或数据安全方面的考虑，企业仍然不愿意与闭源模型提供商共享其专有数据，不出所料，知识产权对其商业模式至关重要的公司尤其保守。虽然一些领导者通过自己托管开源模型来解决这个问题，但其他人指出，他们正在优先考虑具有虚拟私有云 （VPC） 集成的模型。
- 2023 年，出于安全原因，许多企业通过其现有的云服务提供商 （CSP） 购买了模型——领导者比 CSP 更关心闭源模型对数据处理不当——并避免冗长的采购流程。2024 年仍然如此，这意味着 CSP 和首选模型之间的相关性相当高：Azure 用户通常更喜欢 OpenAI，而亚马逊用户更喜欢 Anthropic 或 Cohere。如下图所示，在使用 API 访问其模型的 72% 的企业中，超过一半的企业使用其 CSP 托管的模型。（请注意，超过四分之一的受访者确实是自托管的，可能是为了运行开源模型。
- 虽然大部分技术社区都专注于将模型性能与公共基准进行比较，但企业领导者更专注于将微调的开源模型和微调的闭源模型的性能与他们自己的内部基准集进行比较。有趣的是，尽管闭源模型通常在外部基准测试中表现更好，但企业领导者仍然为开源模型提供了相对较高的 NPS（在某些情况下甚至更高），因为它们更容易针对特定用例进行微调。一家公司发现，“经过微调，Mistral 和 Llama 的性能几乎与 OpenAI 一样好，但成本要低得多。按照这些标准，模型性能的收敛速度比我们预期的要快，这为领导者提供了更广泛的非常有能力的模型可供选择。
- 大多数企业都在设计他们的应用程序，以便在模型之间切换只需要更改 API。一些公司甚至在对提示进行预测试，以便只需轻按开关即可进行更改，而另一些公司则构建了“模型花园”，他们可以根据需要将模型部署到不同的应用程序。公司之所以采用这种方法，部分原因是他们从云时代吸取了一些惨痛的教训，即需要减少对供应商的依赖，部分原因是市场发展如此之快，以至于对单一供应商的承诺是不明智的。
- 在降本增效的方面，对于减少客服的开支，任然是目前非常关注的点
- 衡量 ROI 仍然是企业本身在寻找的目的，短期之内在快速的探索，并且寻找可以量化回报的最佳指标，未来 ROI 会变得更加重要
- 实施和扩展 GenAI 需要合适的技术人才，但是企业内部并不具备这样的人才，仅仅使用 API 并不能解决问题，Workflow 任然是非常关键的一部分，模型成本可能只有¼，因此一些 LLMOps 会被一些创业公司所接受
- 企业正在朝多模型，开源的方向发展，单个模型容易被绑定，同时也可以更好的平衡成本，性能，规模之间的关系，快速利用开源领域的进步，这三点对于领导来说尤为看重，因为模型榜单是动态的。而更快速的替换并且使用最新的是领导更希望看到的。
- 成本并不是主要的关注点，定制和控制是企业更加关注的，GenAI 本身所带来的超额价值可能会远远超过其价格。
- 出于监管或数据安全方面的考虑，企业仍然不愿意与闭源模型提供商共享其专有数据，不出所料，知识产权对其商业模式至关重要的公司尤其保守。虽然一些领导者通过自己托管开源模型来解决这个问题，但其他人指出，他们正在优先考虑具有虚拟私有云 （VPC） 集成的模型。
- 2023 年，出于安全原因，许多企业通过其现有的云服务提供商 （CSP） 购买了模型——领导者比 CSP 更关心闭源模型对数据处理不当——并避免冗长的采购流程。2024 年仍然如此，这意味着 CSP 和首选模型之间的相关性相当高：Azure 用户通常更喜欢 OpenAI，而亚马逊用户更喜欢 Anthropic 或 Cohere。如下图所示，在使用 API 访问其模型的 72% 的企业中，超过一半的企业使用其 CSP 托管的模型。（请注意，超过四分之一的受访者确实是自托管的，可能是为了运行开源模型。
- 虽然大部分技术社区都专注于将模型性能与公共基准进行比较，但企业领导者更专注于将微调的开源模型和微调的闭源模型的性能与他们自己的内部基准集进行比较。有趣的是，尽管闭源模型通常在外部基准测试中表现更好，但企业领导者仍然为开源模型提供了相对较高的 NPS（在某些情况下甚至更高），因为它们更容易针对特定用例进行微调。一家公司发现，“经过微调，Mistral 和 Llama 的性能几乎与 OpenAI 一样好，但成本要低得多。按照这些标准，模型性能的收敛速度比我们预期的要快，这为领导者提供了更广泛的非常有能力的模型可供选择。
- 大多数企业都在设计他们的应用程序，以便在模型之间切换只需要更改 API。一些公司甚至在对提示进行预测试，以便只需轻按开关即可进行更改，而另一些公司则构建了“模型花园”，他们可以根据需要将模型部署到不同的应用程序。公司之所以采用这种方法，部分原因是他们从云时代吸取了一些惨痛的教训，即需要减少对供应商的依赖，部分原因是市场发展如此之快，以至于对单一供应商的承诺是不明智的。
2 00
没想到rails 还有人 感动
白宦成: 当我埋的彩蛋被人发现后（
0 00
