lmdeploy-推理部署 [10] #

模型转换 #

TurboMind 推理+命令行本地对话 #

TurboMind推理+API服务 #

• 启动服务

• Client访问服务

参考 #

10. lmdeploy 量化部署
    (5)LMDeploy 大模型量化部署实践 V

1xx. llm-action inference git