近年来，计算机科学领域的一个重要发展是LLM（大规模机器学习）技术的崛起。它使得我们可以处理庞大的数据集，并从中提取宝贵的信息。然而，对于许多企业和机构来说，运行最先进的LLM算法可能意味着巨大的成本。那么，问题来了：你能以合理的投入在本地运行这些强大的LLM吗？
幸运的是，针对这个问题，最近的一项研究将为我们带来一些启示。普吉特系统（Puget Systems）的一篇实验室文章《在本地以合理成本运行最先进的LLM技术：可以吗？》探讨了这个话题。他们所做的研究有助于我们更好地了解是否有可能在有限的预算内实现这一目标。
文章中提到，LLM通常需要高度并行化的计算资源，以应对庞大的数据以及复杂的模型训练。这通常会导致高昂的云计算费用，而且长期运行这些任务的成本更不容忽视。然而，对于某些企业和机构来说，将LLM工作负载迁移到本地服务器上可能是一个更经济实惠的选择。
普吉特系统的研究团队尝试了不同的硬件配置和运行策略，以找到实现这一目标的最佳方法。他们发现，通过选择合适的CPU和大容量内存，以及充分利用GPU的强大计算能力，可以在较低的总成本下实现高性能的LLM运算。
更具体地说，他们在文章中介绍了一个实际的案例。通过使用一台定制的本地服务器，搭配强大的多核CPU和大容量内存，以及几块高性能的GPU卡，他们成功地运行了一个具有挑战性的LLM任务。在比较了与云计算方案的成本后，他们发现，在长期运行的情况下，本地运行LLM可能是一个更具吸引力、经济实惠的选择。
这项研究的结果令人振奋。它向我们展示了以合理成本在本地运行最先进的LLM技术是有可能的。当然，这需要仔细规划和正确的硬件配置，但作为企业和机构，我们现在拥有了更多灵活性和选择。无论是出于成本效益还是数据安全的考虑，本地运行LLM可能是个不错的选择。
然而，需要指出的是，并非所有情况下本地运行LLM都是最优解。对于一些更短期和临时性的项目，云计算方案可能更为合适。此外，企业和机构应该综合考虑硬件购买和维护、能源消耗以及数据中心空间等方面的因素。
总而言之，普吉特系统的研究为我们提供了一个关于以合理成本在本地运行最先进的LLM的有益指南。尽管这需要一些谨慎的规划和投入，但在某些情况下，本地运行LLM可能是一个更经济实惠且可行的选择。对于企业和机构来说，这将是一个积极的变革，为他们提供了更多选择和灵活性。
了解更多有趣的事情：https://blog.ds3783.com/