释放潜力：GPUStack开创大模型时代，打造开源GPU集群管理器
admin
GPUStack：企业私有大语言模型集群管理器发布！
7月26日，数澈软件Seal(以下简称“Seal”)宣布正式发布并开源最新产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。
尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用，但对企业来说，部署托管自己私有的 LLM 供企业和组织在私有环境使用仍然非常复杂。
企业需要安装和管理复杂的集群软件，如 Kubernetes，然后还需要研究清楚如何在上层安装和管理 AI 相关的工具栈。而目前流行的能在本地环境运行 LLM 的方法，如 LMStudio 和 LocalAI，却大都只支持在单台机器上运行，而没有提供多节点复杂集群环境的支持能力。
帮助企业简单快速地开启 LLM 创新
当前，企业如果想要在 GPU 集群上托管大模型，必须要做大量的工作来集成复杂的技术栈。通过使用 GPUStack，企业不再需要担心如何管理 GPU 集群、推理引擎和推理加速、租户和配额管理、使用和计量、性能度量、统一认证授权和访问控制，以及仪表板。
如下图所示，GPUStack 是一个构建企业私有的大模型即服务（LLMaaS）的完整平台，拥有构建大模型即服务所需的各项功能。管理员可以将模型从 Hugging Face 等模型仓库部署到 GPUStack 中，然后开发人员可以连接到 GPUStack 提供的私有大模型 API，在他们的应用中集成和使用私有大模型服务。
整合GPU资源运行大模型
组建 GPU 集群整合资源
GPUStack 可以聚合集群内的所有 GPU 资源。它旨在支持所有的 GPU 厂商，包括英伟达，苹果，AMD，英特尔，高通，华为等。GPUStack 兼容运行 MacOS、Windows 和 Linux 操作系统的笔记本电脑、台式机、工作站和服务器。
模型部署和推理
GPUStack 为在不同 GPU 上部署不同大模型选择最佳的推理引擎，支持的首个推理引擎是 LLaMA.cpp，其他推理引擎（如vLLM）的支持也在路线图中。
快速与现有应用集成
GPUStack 提供了与 OpenAI 兼容的 API，并提供了大模型试验场。开发人员可以调试大模型并将其快速集成到自己的应用中。此外，开发人员还可以通过观测指标来了解应用对各种大模型的使用情况。这也有助于管理员有效地管理 GPU 资源利用。
GPU 和 LLM 的观测指标
GPUStack 提供全面的性能、利用率和状态监控指标。对于 GPU，管理员可以使用 GPUStack 实时监控资源利用率和系统状态。对于 LLM，相关指标则可以帮助开发人员评估模型的性能并优化应用。
认证和访问控制
GPUStack 为企业提供身份验证和RBAC（Role-based Access Control）功能。这保证了只有授权的管理员可以部署和管理大模型，只有授权的开发人员可以使用大模型，应用也可以通过统一的 API 认证授权访问各种大模型。
加入社区，参与开源共创
GPUStack 项目正在快速迭代，计划引入对多模态模型的支持，更多的 GPU 厂商支持，以及更多的推理引擎支持。我们十分欢迎您一起参与开源项目的贡献，也欢迎在我们的 GitHub 仓库 gpustack/gpustack 上点亮 Star 关注我们的最新动态。
