Slack AI 的多云之路：在企业级规模下可靠地服务大模型
来源：slack.engineering
28
2023 年初，Slack 面对一个底层问题：如何在企业级规模上服务大语言模型，同时满足客户对安全、可靠性和性能的预期。三年间，他们从最基础的基础设施起步，逐步演进到一套成熟的多云编排架构。这不是追逐新模型的炫技，而是要构建一个能抵御区域级故障、在云厂商之间灵活调度的系统。 LLM 推理的负载特征和传统 Web 服务截然不同——单次请求耗 GPU 算力...