vllm多卡多机推理 本文适用于拥有多张消费级显卡(如 RTX 3090/4090)但缺乏大显存计算卡的用户。我们将基于 vLLM 框架,详细介绍如何通过多节点多卡推理和量化技术,在本地低成本部署大语言模型,并最大化利用现有硬件资源。 2025-03-17 llm #llm
ORF简要解析与配置 ORF全称是Outbound Route Filtering,启用ORF功能,能够以最大限度减少对等路由器之间发送的BGP更新的数量。该功能可以帮助过滤减少掉不必要的路由更新,以及源路由更新的生成和处理所需的资源量。 2020-07-23 Cisco #RS #Cisco
IRF配置指南 IRF(Intelligent Resilient Framework,智能弹性架构)是H3C自主研发的软件虚拟化技术。它的核心思想是将多台设备通过IRF物理端口连接在一起,进行必要的配置后,虚拟化成一台“分布式设备”。 2020-06-22 H3C #H3C #RS