谷歌自称评分高于deepseek v3，现在小模型越来越厉害了，前有qwq-32b，后有gemma3，再精简精简端侧运行似乎也没什么障碍。
HuggingFace Gemma3模型权重合集
Gemma 3简介
Gemma 3 是 Google 最新的开放权重大型语言模型。它有四种尺寸，分别是 10 亿、40 亿、120 亿 和 270 亿 参数，包含基础（预训练）和指令调优版本。Gemma 3 支持 多模态！ 4B亿、12B和 27B参数的模型可以处理 图像 和 文本，而1B参数的模型仅限于文本。
项目官网：https://developers.googleblog.com/en/introducing-gemma3/ HuggingFace模型库：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d 技术报告：https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf Ollma地址：https://ollama.com/library/gemma3
Ollma Gemma3模型权重合集
Gemma 3 的模型架构与训练方法
Gemma 3 支架了Gemma 系列的解码器专用Transformer架构，并在架构和训练上进行了化：
架构与 Gemma 2 的差异：
为了降低长上下的记忆体需求，Gemma 3 模型在架构中交错使用了局部滑动窗口自注意力层和全域自注意力层，比例为 5:1，即每 5 个局部层布局 1 个全域层。局部层的跨度被限制在 1024 个 token，只有全域处理层长。 这样做添加了更多滑动窗口，以减少 KV 缓存负担！实验表明 5:1 的比例效果最佳，而 7:1 也能正常工作。SWA 设为 1024，实验显示 1024 至 2048 之间的值均可行。训练与后训练：
Gemma-3 使用 TPU 进行训练，并结合 Zero-3 类算法与 JAX。27B 版本在 14 万亿 tokens 上训练，12B 版本训练数据为 12T，4B 版本为 4T，1B 版本为 2T。所有版本在强化学习（RL）/后训练阶段都使用了蒸馏（distillation），每个 token 采样了 256 个 logits，来自更大的指令模型（具体不明，可能是闭源模型）。强化学习阶段采用 BOND、WARM 和 WARP 算法。对话模板（Chat Template）调整：
现在对话模板强制包含 BOS（Begin of Sentence）起始标记！格式采用<start_of_turn>user和<start_of_turn>model。词汇表大小为 262K，使用 SentencePiece 分词器，支持拆分数字、保留空格，并具有字节回退机制（byte fallback）。长上下文 & 视觉编码器（Vision Encoder）：
训练过程中从 32K 上下文扩展到 128K，上下文旋转位置编码（RoPE）缩放因子为 8。视觉编码器采用“Pan & Scan”算法，固定分辨率为 896 × 896，并在推理时使用窗口化（windowing）以支持其他尺寸。多语言支持为了让大型语言模型支持多种语言，预训练数据集包含了更多的语言。Gemma 3 的数据集包含 两倍 的多语言数据，以提高语言覆盖率。为了适应这些变化，分词器与 Gemini 2.0 相同。这是一个包含 262K 条目的 SentencePiece 分词器，并采用了过滤技术来降低模型产生危害或不安全输出的风险。新的分词器显著提高了对中文、日文和韩文文本的编码，但英文和代码的标记数量略有增加。
Gemma 3性能以及评估
Google声称，Gemma 3 是「世界上最好的单加速器模型」，在配备单个GPU 的主机上的性能表现超越了Facebook 的Llama、DeepSeek 和OpenAI 等竞争对手。具体来说，Gemma 3 27B 在Chatbot Arena Elo 分数测试中排名第二，仅次于DeepSeek-R1。它超过了DeepSeek 的较小模型、DeepSeek v3、OpenAI 的o3-mini、Meta 的Llama-405B 和Mistral Large。
LMSYS Chatbot Arena评分
LMSys Elo 分数是一个数字，根据模型在双人竞赛中的表现（由人类偏好评判）来排名。
LMSYS Chatbot Arena的人类盲测评估中位居前十的 Gemma 3 27B IT 模型，超越了许多更大规模的开源模型，例如 DeepSeek-V3、LLaMA 3 405B 和 Qwen2.5–70B。
该图表根据Chatbot Arena Elo 分数对AI 模型进行排名；分数越高（顶部数字）表示用户偏好越高。圆点表示预估的NVIDIA H100 GPU 需求。 Gemma 3 27B 排名靠前，尽管其他模型需要多达32 个GPU，但它仅需单个GPU 即可运行。
标准基准测试
在标准基准测试中，Gemma 3 IT模型在各项能力上都超越了Gemma 2 和 Gemini 2.0。
Gemma 3 27B 在 pareto 甜点区
Google表示，当前的Gemma 3 27B 已经处于帕累托最优点。
在 AI 领域，Pareto 甜点区（Pareto Frontier, Sweet Spot） 这个概念指的是在 计算资源（成本） 和 性能（效果） 之间的最佳平衡点。
消融实验
研究团队进行了详细的消融实验，验证了局部/全域注意力层比例、滑动窗口大小、长上下文扩展、教师模型规模以及视觉编码解析器解析度等架构和训练策略对模型认知和记忆体占用的影响。实验结果证明了Gemma 3架构设计的有效性，特别是在降低KV-cache记忆体占用和支持长上下文方面的优势。
Gemma 3总结
Gemma 3作为Gemma系列的最新迭代，带来了以下几个关键的进步：
多模态能力： Gemma 3整合了视觉理解能力，能够处理图像输入，扩展了模型的应用范围。它采用了SigLIP视觉编码器的客制化版本，将转换为模型可以理解的令牌序列。为了降低图像处理的成本，嵌入被压缩为固定大小，并采用Pan & Scan (P&S)方法来处理不同解析度的图像。 长上下文处理： Gemma 3 显着提升了上下文处理能力，支持至少 128K tokens 的长度，1B 模型也支持 32K tokens。为了应对长上下文带来的 KV-cache 记忆体爆炸问题，Gemma 3 采用了新的架构设计，增加了局部焦点层与全域焦点层的区域，并聚焦了局部焦点层的跨度，有效降低了记忆体占用。 更广泛的语言覆盖： Gemma 3在多语言能力方面进行了强化，重新调整了训练数据的组成，增加了多语言数据的比例，提升了模型在不同语言上的能力。 卓越的表现： Gemma 3 模型训练知识调整进行训练，在预和指令驱动版本上都表现出比 Gemma 2 更优异的表现。特别是，开发团队采用了创新的后期训练方法，显着提升了模型在数学、聊天、指令遵循和多语言能力方面的表现，使得 Gemma3–4B-IT 的相当漂亮 Gemma2–27B-IT，而 Gemma3–27B-IT 则可与Gemini-1.5-Pro 相提并论。 开源发布： Google DeepMind将所有Gemma 3模型开源发布，供社群使用，促进了AI技术的普及和发展。
