oprel使用教程

打开Python环境的终端工具，输入pip install oprel命令执行安装，等待系统自动下载匹配当前硬件环境的依赖包，确认安装完成无报错提示后即可进入下一步。

根据自身需求选择对应的大语言模型文件，可从Hugging Face等开源模型平台下载支持的模型格式，保存到本地的指定目录中，记录好模型的存储路径。

在Python代码中导入oprel库，调用oprel.load_model()方法，传入本地模型路径作为参数，同时可根据硬件情况设置内存管理、混合卸载相关的配置参数。

模型加载完成后，调用model.generate()方法传入输入内容，文本类模型传入prompt文本，多模态模型传入对应模态的输入数据，等待推理计算完成后获取输出结果。

完成推理测试后，若需要集成到业务系统中，可参考官方文档的生产部署示例，添加请求队列、异常处理等逻辑，完成整体服务的上线部署。