在长视频内容检索的研究领域中，用户常面临时间线导航效率低下的困境。传统的视频检索方法采用逐帧分析的线性处理策略，如同逐帧查字典，效率低下且泛化能力差。而现有的多模态大模型，虽然泛化能力更强，但是效果仍然差强人意。

大模型token的价格原本与其训练、推理等综合成本息息相关。训练与推理的成本越高，token的价格就越贵。此前「甲子光年」做过预估，Meta训练Llama 3.1 ...

对于 Multi-head Latent Attention（MLA）的优化 ... 在激活值量化方面，采用 E4M3 格式，并通过对每个 token 内 128 通道子向量进行在线 ...

平安证券指出，DeepSeek的算法创新颠覆了以往的“堆算力”模式，其算力利用率明显提升，训练成本也骤降至行业平均的1%-5%。这一转折点预示着传统AI业务的运营模式即将被重新定义。

2月18日，DeepSeek的研究团队发布了一篇新的技术论文，《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》。在X（原推特）平台上 ...