Skip to content

使用vlm-sglang-client模式,连接本地docker部署的sglang-server,使用demo.py调用,为什么回复连接不上sglang server? #3265

Answered by dosubot bot
CalvinHujay asked this question in Q&A
Discussion options

You must be logged in to vote

Hi @CalvinHujay! I'm Dosu and I’m helping the MinerU team.

你遇到“连接不上sglang server”的常见原因有:

  1. Docker端口映射或监听地址问题:sglang-server 容器内必须用 --host 0.0.0.0 启动,并且 Docker 要有 -p 30000:30000 端口映射,否则主机访问不到容器服务。不能只监听 127.0.0.1,否则只能容器内访问,主机 demo.py 访问不到。详见官方文档说明

  2. server_url 参数:demo.py 或 CLI 必须用 -b vlm-sglang-client -u http://127.0.0.1:30000,server_url 必须和 Docker 映射一致,不能写成 0.0.0.0,要用主机能访问的 IP 或 localhost。代码要求 server_url 必须是有效的 HTTP 地址,否则直接报错代码实现

  3. 健康检查失败:vlm-sglang-client 会自动请求 /health_generate 检查服务健康,如果端口没映射好、服务没监听 0.0.0.0、或被防火墙拦截,都会导致连接失败或 RemoteProtocolError。你可以在主机上用 curl http://127.0.0.1:30000/health_generate 检查是否能返回 200。

  4. 版本兼容性:sglang-server 镜像建议用 lmsysorg/sglang:v0.4.8 或更高版本,MinerU 2.x 依赖 sglang …

Replies: 1 comment

Comment options

You must be logged in to vote
0 replies
Answer selected by CalvinHujay
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Category
Q&A
Labels
None yet
1 participant