2024年9月2日 · 在网上差了很多资料看的懵懵懂懂，有没有大佬能解答一下

Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生物和驴一样，对于小动物尤其是绵羊和山羊有很强烈的保护欲望。

llama.cpp：一个高效的机器学习推理库，其中实现了很多量化方法。 他的作者 @ggerganov 不喜欢写论文和教程文档，导致这个库的学习资料非常少，很多时候只能看代码。

看不懂，但我大受震撼。 幻方买了很多卡在多年前就是我们饭桌上的谈资，最迟在我博四时候（2020年），在和有一级市场二级市场的小伙伴们参与的饭局上，我们就喜欢讨论这事儿，因为我们搞不太清楚，量化投资这个领域到底是要跑什么模型，需要这么大的算力（我没记错的话是千卡 …

先说结论: 有. FlashAI一键部署本地大模型也是基于ollama建构的，将特别优化过的ollama上的主流大模型与 可视化 UI，chatbot，知识库，翻译等应用打包成了 整合包 ，只要在官网主页选择需要的模型，下载包，解压，运行即可，无需操作命令行，无需任何配置，开箱即用，支持mac和win

其实，Ollama 确实比 LM studio 安装和使用要麻烦点，需要自己进行命令行调用。但是 Ollama，下载模型和使用都十分简单，而 LM 下载模型需要一点技巧，小白是很难搞定的。

2025年1月21日 · 此次 Meta 发布的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了。 据介绍，相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度也翻倍，并采用了分组查询注意力机制。

它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。 本文将按照如下顺序介绍Ollama的使用方法~

知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、 …

零一万物对 Yi-34B 训练过程的说明. 就零一万物的观察和分析，大模型社区在技术架构方面现在是一个处于接近往通用化逐步收拢的阶段，基本上国际主流大模型都是基于Tranformer的架构，做attention，activation，normalization，positional embedding等部分的改动，LLaMA、Chinchilla、Gopher 等模型的架构和 GPT 架构 ...