类库
› llm-gateway
openziti/llm-gateway
这是一个零信任的LLM网关，提供与OpenAI兼容的代理服务，支持在多个后端（OpenAI、Anthropic、Ollama、vLLM等）之间进行语义路由和负载均衡。它集成了零信任网络访问（通过zrok/OpenZiti），无需端口转发，并支持身份访问控制、虚拟API密钥和端到端加密。
标签
技术栈
根目录 go
查看全部依赖 (11)
依赖
github.com/michaelquigley/df
v0.3.10
github.com/michaelquigley/pfxlog
v0.6.10
github.com/openziti/sdk-golang
v1.4.0
github.com/openziti/zrok/v2
v2.0.0-rc5
github.com/prometheus/client_golang
v1.23.2
github.com/sirupsen/logrus
v1.9.4
github.com/spf13/cobra
v1.10.2
go.opentelemetry.io/otel
v1.40.0
go.opentelemetry.io/otel/exporters/prometheus
v0.62.0
go.opentelemetry.io/otel/metric
v1.40.0
go.opentelemetry.io/otel/sdk/metric
v1.40.0
