类库
› hermes-concurrent-agents
r0b0tlab/hermes-concurrent-agents
该项目用于在统一内存GPU(如GB10、DGX Spark)上并发运行多个Hermes Agent工作节点,通过连续批处理最大化每秒令牌吞吐量。支持任务隔离、看板协调及崩溃恢复,适用于NVIDIA和Apple Silicon硬件,旨在提升并行任务的推理效率。
该项目用于在统一内存GPU(如GB10、DGX Spark)上并发运行多个Hermes Agent工作节点,通过连续批处理最大化每秒令牌吞吐量。支持任务隔离、看板协调及崩溃恢复,适用于NVIDIA和Apple Silicon硬件,旨在提升并行任务的推理效率。