Skip to content

Latest commit

 

History

History
9 lines (7 loc) · 729 Bytes

readme.md

File metadata and controls

9 lines (7 loc) · 729 Bytes

书生浦语大模型 LMDeploy Web 部署实验

本实验是学习使用 LMDeploy 部署模型,并通过 Web 界面方式向外提供服务。

相关资源:

  • LMDeploy: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
  • internlm2-chat-1-8b: 书生·浦语-1.8B (InternLM2-1.8B) 是第二代浦语模型系列的18亿参数版本
  • 课程链接: LMDeploy 量化部署 LLM & VLM 实践
  • 学习笔记: LMDeploy 量化部署 LLM & VLM 实践