谷歌天天泄露的终于发布了，感觉是迫不得已，没办法了应该是从open ai开发者大会那天开始准备的，如果这时候不发布等到gemini ultra完全准备好了，估计那时候gpt-5都要出了，那股价就真完了，发布的时候爆火的鸭子图片多模态识别，也被挖出来是造假。
从测试结果来看gemini ultra确实很强大，但远没有到超过gpt-4很多的程度，不过也证明了除了open ai其他公司也是可以训练出和gpt-4相当的llm模型的。
你现在已经可以在和bard用英语交谈的时候使用gemini pro模型了，同时gemini nano也在pixel 8 pro的recorder总结功能和键盘联想上启用了。
来看一下具体的介绍：
- gemini 是多模态的，意味着它可以理解、操作和结合不同类型的信息，包括文本、代码、音频、图像和视频。
- 它还非常灵活，能够高效地运行在从数据中心到移动设备上的各种环境中。gemini 的第一个版本，gemini 1.0，针对三种不同的大小进行了优化：gemini ultra 用于高度复杂的任务，gemini pro 适用于广泛的任务，gemini nano 用于设备上的任务。
- gemini ultra 在 32 个广泛使用的学术基准测试中的 30 个上超越了当前的最新成果，这些基准测试用于的研究和开发。它是第一个在 mmlu（大规模多任务语言理解）上超越人类专家的模型，mmlu 测试了世界知识和在 57 个科目（如数学、物理、历史、法律、医学和伦理）中的解决问题能力。
- gemini 1.0 被训练用于同时识别和理解文本、图像、音频等，使其在解释数学和物理等复杂科目的推理方面表现出色。它还可以理解、解释和生成流行编程语言（如 python、java、c 和 go）中的高质量代码。
- google 使用其针对 ai 优化的基础设施和自家设计的 tensor processing units (tpus) v4 和 v5e 来训练 gemini 1.0。公司还宣布了迄今为止最强大、最高效、最可扩展的 tpu 系统——cloud tpu v5p，专为训练尖端 ai 模型而设计。
- gemini 1.0 现在正在逐步应用于各种产品和平台。它将用于 google 的产品，如 bard 和 pixel，开发者和企业客户可以从 12 月 13 日起通过 google ai studio 或 google cloud vertex ai 中的 gemini api 访问 gemini pro。安卓开发者也将能够通过 aicore，在安卓 14 上使用 gemini nano 开发，该功能将从 pixel 8 pro 设备开始提供。
基于谷歌放出的技术报告他推测的谷歌在预训练阶段保证数据多样性对gemini取得这么好的效果有至关重要的影响：
(1) 数据来源多样化：我们应尽可能从各种不同来源（比如网络、书籍、代码等）获取预训练数据。不仅仅是文本，我们还需要考虑整合不同形式（如图像、音频、视频）、不同语言和不同领域（比如编程）的数据到预训练过程中。
(2) 注重 tokenizer 选择：许多开发者习惯直接使用现成的预训练 tokenizer，认为这样就够了。但实际情况并非如此！tokenization 的问题可能会导致一系列后续问题，影响模型表现。为了获得最佳效果，我们应该在预训练数据集上定制我们自己的 tokenizer，确保其适应模型将处理的数据类型。gemini 正是采用了这种方法。
(3) 数据清洁度至关重要：处理大型语言模型（llm）预训练的数据管道非常复杂，包括启发式规则、基于模型的方案、安全性/有害内容过滤等。先前的研究（例如 falcon llms）强调使用简单规则来筛选预训练数据，但 gemini 在其预训练数据管道中采用了更多手段，力求构建尽可能纯净的预训练数据集。
(4) 来自 chinchilla 的经验教训：2022 年 3 月 chinchilla 的研究发现至今仍适用。优秀的预训练大型语言模型需要大量的参数和海量的数据。简而言之，许多大型语言模型实际上训练不足！我们应尽可能利用所有可用数据进行预训练，前提是不要因计算成本而使自己陷入困境。
(5) 数据加权重要：除了数据混合外，我们从每个预训练数据源采样数据的频率（即数据权重）也十分关键。为了找到最佳数据权重，我们应该用较小的模型和数据集进行调优实验。有趣的是，gemini 的研究者们还发现，在训练过程中调整数据权重（例如，在训练的后期增加特定领域数据的权重）也可能有益。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/yun270599.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 
