本项目主要支持基于TencentPretrain的LLaMa模型量化推理以及简单的微服务部署。也可以扩展至其他模型，持续更新中。 特性 Int8推理 支持bitsandbytes库的int8推理，相比tencentpretrain中的LM推理脚本，加入了Batch推理。 优化推理逻辑 在Multi-head Attention中加入了key和value的 ...

Dify 支持接入 Ollama 部署的大型语言模型推理和 embedding 能力。 访问 Ollama 安装与配置，查看 Ollama 本地部署教程。 运行 Ollama ...