Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA；即便是从未见过 ...

目前领先的 LLM 大都基于 Transformer，而 Transformer 核心 ... 而Lightning Attention便是基于 TransNormer 实现的一个 I/O 感知型优化版本。 以下是 Lightning Attention ...