LLM优化

Neural Magic

neuralmagic.com

Neural Magic是专注于AI模型优化与推理部署的技术服务平台，核心面向有AI模型落地需求的企业与技术团队，提供适配CPU、GPU硬件的大语言模型推理优化方案。核心功能包括开源模型稀疏压缩工具链、跨硬件推理引擎、企业级部署全流程支持。平台可帮助用户在无需采购专用AI加速硬件的前提下，提升大模型运行效率，适配云服务器、私有数据中心、边缘设备等多种部署场景，降低AI应用落地的硬件成本与运维复杂度。

Weavel

weavel.ai

Weavel是面向大语言模型应用开发场景的AI提示优化与LLM性能管理平台，核心为开发者提供提示词迭代、模型效果评估、生产数据追踪三类核心能力，目标用户覆盖LLM应用开发工程师、AI产品经理、NLP算法从业者，可用于对话机器人打磨、RAG系统效果调优、AI生成内容质量管控等多个场景，帮助用户在LLM应用落地过程中建立标准化的迭代流程，降低模型效果验证的人力成本，实现针对特定业务场景的模型性能持续提升。

Entropy-based sampling

notes.haroldbenoit.com

Entropy-based sampling是专注于大语言模型推理阶段熵基采样技术的专业知识分享站点，核心定位为大语言模型采样策略的技术科普与落地参考站点。站点核心功能包括熵基采样的原理解析、落地实现代码示例、不同采样策略的对比评测。目标用户覆盖大语言模型研发人员、自然语言处理方向研究者、AI应用开发工程师、高校相关专业学生等群体，可用于推理采样逻辑优化、学术研究方法参考、项目技术选型调研、课程作业学习等多个场景，帮助用户理解熵基采样的核心逻辑，解决大模型生成内容单调重复、幻觉率高的实际问题。