本地LLM部署

Farfalle

farfalle.dev

Farfalle是一款开源的AI驱动搜索引擎，核心定位为支持本地大语言模型与云端模型接入的可定制搜索工具，核心功能包括多源搜索结果聚合、本地/云端LLM混合调用、搜索链路可自定义配置，同时支持与主流开发技术栈快速集成。目标用户覆盖AI应用开发者、隐私敏感的搜索使用者、开源工具二次开发爱好者等群体，适合用于搭建个人专属搜索工具、企业内部知识库检索系统、AI搜索类产品原型验证等场景，用户可根据自身需求灵活调整模型接入方式与搜索逻辑，满足不同场景下的信息检索需求。

oprel

pypi.org

oprel是Oprel团队开发的高性能Python库，主要面向需要在本地部署运行大语言模型的开发者与技术团队。核心功能包括生产级运行时支持、进阶内存管理机制、混合卸载策略以及全模态模型适配能力。目标用户覆盖AI应用开发者、机器学习研究人员、企业AI技术团队等群体，可应用于本地LLM应用原型开发、离线AI服务部署、低资源设备模型推理、多模态AI功能测试等多个场景，帮助用户在自有硬件环境下稳定运行各类大语言模型，降低对云端API的依赖。