作者 | 王启隆
8 月 7 日，为时两天的 2024 Google 开发者大会（Google I/O Connect China）在北京国家会议中心正式开幕。继去年上海的 Google 开发者大会后，这场智汇盛典重磅回归，今年的主题相当全面，聚焦于 AI 对 Web 开发、移动开发和云开发的赋能，还把开发者社区里已经讨论了很久的“Chrome 内置大模型”终于端了上来。
此外，如果你已经看过了五月份在美国举办的 Google I/O 大会，那不用担心，因为北京场的内容拓展也是相当地多！
主题演讲打头阵的是 Google 大中华区总裁陈俊廷，他强调了谷歌开发者在全球舞台上的重要角色，尤其是在移动应用与游戏领域中的创新和用户体验提升方面。在过去的一年里，来自中国的 25 个开发团队凭借其 31 款游戏和应用在全球范围内赢得了 50 个 Google Play 年度最佳奖项。此外他也分享了几项重要的观察和案例，展示了谷歌的 AI 如何为企业和个人带来深远的影响：广告业、手机、艺术与文化、偏远地区教育、无障碍技术……甚至还利用 AI 技术改善牧民的生活质量。
不过，对于开发者而言，更关心的还是开发工具相关的发布。如果你不知道谷歌在中国举办一场 Google I/O 大会的原因，那其实答案很简单：服务中国开发者走向海外。为了更好地支持中国开发者走向海外，谷歌在开发者中文网站上推出了专门的 Google AI 页面，以便开发者轻松获取相关技术和资讯。
Chrome 开发者版：developer.chrome.google.cn
Web.dev 中国开发者访问地址：web.developers.google.cn
接下来深入具体的发布，我们将按照谷歌官网上的方式划分出四段内容，全方位探索他们在 AI 开发、Mobile 开发、Cloud 开发和 Web 开发等领域的创新成果。此外，还有 CSDN 独家的专访内容，先问问谷歌为中国开发者都提供了哪些支持，再共同探讨一下 AI 技术领域的发展趋势。
Google Developer X 和开发者关系副总裁兼总经理 Jeanine Banks 负责分享谷歌将如何在 AI 时代助力开发者，她首先是把 Gemini 1.5 和 Gemma 2 这两款产品给“复习”了一遍目前谷歌提供了三种不同规格的 Gemini 模型，每种模型都有其独特的优势，以满足不同开发者的需求。
Gemini Nano 是 Google 最高效的模型，适用于处理端任务，可以直接在移动设备上运行，提供超低延迟和更好的数据隐私保护。
Gemini 1.5 Flash 是 Google 迄今为止最快最经济的模型，适合处理高容量任务，它为开发者提供了一个拥有 100 万个 token 的上下文窗口。
Gemini 1.5 Pro 则是回答质量最高的模型，适合处理复杂任务，最近更是开放了 200 万个 token 的上下文窗口。更大的上下文窗口为开发者开启了新的可能性，但同时也可能消耗更多的计算资源。
因此，谷歌推出了上下文缓存功能，允许开发者缓存提示中不变的部分，从而减少重复计算，降低费用并加快执行速度。
为了让开发者更容易上手谷歌的 AI 技术，谷歌又推出了 Google AI Studio，这是一个可以轻松尝试 Gemini 模型的平台。开发者可以通过登录工具免费试用不同的 Gemini 模型，并将它们集成到自己的应用中。
此外，Jeanine 还介绍了 Gemma 系列开放模型，这些模型与 Gemini 系列模型共享底层技术和工具，旨在打造实用且负责任的模型。最近发布的 Gemma 2 模型新增了 90 亿和 270 亿参数的版本，相比第一代更加强大、高效，并显著提升了安全性。Gemma 2 模型在全球多种语言的语音交互场景中展现出巨大的潜力。
为了展示 Gemma 2 模型的能力，Jeanine 还展示了一个使用 Gemma 2 和轻量级视觉语言模型给“会说话的狗狗大黄”升级视觉能力的 Demo。
事实上，大黄在去年就已经亮相上海的 Google I/O 了，当时还是个实验性项目。虽然这只卡通小狗看着很整蛊，但其实它体内整合了 PaLM2、MakerSuite、MediaPipe、Vertex AI 等“武林秘籍”，为了让它说话，又提供了云文本转语音技术。今年大黄强势回归，又借 Gemma 2 学会了视觉能力。
Jeanine 还提到，Gemini 模型已经被集成到多个谷歌开发工具中，如 Android Studio、Chrome Dev Tools、Project IDX 等，这些集成让 Gemini 模型可以获取应用设置、性能数据、日志和源代码等上下文信息，成为开发者更得力的助手。
在谈到 Flutter 和 Dart 的最新进展时，Jeanine 宣布了 Flutter 3.24 和 Dart 3.5 的发布，这两个版本改进了在 MacOS 上对 platform view 和 web view 的支持，并提升了性能。其中，Flutter GPU API 是一大亮点，它允许开发者使用 Dart 代码直接访问 GPU，从而进一步提升图形渲染性能。
这是今天新鲜出炉的发布，五月 Google 大会那会儿可还没有。乍一看，这非常类似于 Claude 3.5 Sonnet 的那个 Artifact 功能，同样是给一串代码，Claude 是渲染一个页面出来，而 Flutter 是直接渲染出复杂的 2D 角色动画和 3D 场景，开启了 3D 游戏开发领域全新的可能性，为 Flutter 的应用场景拓展了新的方向。
为了体现 Flutter 的影响力，Jeanine 现场展示了小米 SU7 团队的一段播片。原来，小米当初是使用 Flutter 打造了一款车载配套应用，为小米 SU7 电动车提供了增强驾驶体验的功能，证明了 Flutter 的强大和灵活性。
除了 Flutter，Jeanine 还介绍了 Project IDX，这是一个 AI 赋能的基于 Web 的开发工作空间，目前处于公测阶段。Android Studio on IDX 的早期预览版也已经推出，可以在浏览器中运行，让开发者快速搭建工作区，开始编写、构建和测试原生 Android 应用。
还有个比较有意思的 Oscar 项目，这算是谷歌的 AI 智能体平台，可以帮助维护项目。智能体可以通过自然语言进行交互，因此用户可以向它们发出指令，而无需重写任何代码。此外，Oscar 构建的智能体很快就会部署到谷歌自家的其他开源项目上，值得期待。
Jeanine Banks 的精彩演讲结束后，CSDN 记者还邀请到她进行了一场深度专访，我们从中国开发者的角度出发提出了一些问题，并基于今日大会上的所见所闻，向她询问未来的 AI 开发会是何种光景。
CSDN：考虑到中国的互联网生态系统，你们会如何调整开发者工具和平台，以更好地满足中国开发人员的需求？
Jeanine：首先，见证中国开发者的成长和成功令人赞叹。我们发现中国开发者在技术创新方面非常活跃，他们在采用诸如人工智能这样的现代先进技术方面甚至比世界上其他地区的许多开发者更快。这是非常鼓舞人心的。
谷歌会思考如何支持开发者，会思考自己能为他们做什么，以求所有开发者都能够实现高效的工作并且尽可能快地创新。目前竞争非常激烈，开发者需要快速行动，快速交付，同时也需要负责任地构建。
我们现在推出了 Checks —— 这是我们的隐私合规解决方案和 AI 安全平台，这有助于中国的开发者构建不仅为中国本地客户，也为全球用户服务的解决方案。我们发现保护用户隐私对于给用户提供最佳体验来说至关重要。但是世界各地有许多不同的法规和不同的合规要求。
当你是中国的出海开发者时，你想将你的服务带给全球各地的客户。遵守不同国家和地区的这些要求是非常困难和耗时的，需要大量的努力，况且这些要求还在不断变化。因此，Checks 是谷歌提供的一个解决方案，旨在帮助自动化很多监控和理解工作，让开发者有信心地知道他们正在保护用户隐私，并了解他们需要采取哪些步骤来确保自己的应用符合这些要求。
但现在我们还发现 AI 原生应用正在逐渐出现。当你想在应用中加入人工智能时，这些合规要求实际上还会继续增加，开发者需要进一步考虑用户在安全政策方面的影响。例如，模型产生的结果是否存在偏见，或者产生的信息是否可能被视为骚扰。
因此，我们希望确保中国的开发者有能力构建安全地使用人工智能的应用程序。Checks —— 我们的 AI 安全新服务正处于私人预览阶段，它使开发者能够轻松、快速地实施这些安全政策，并学习如何提供最佳的服务。
CSDN：鉴于中国目前对人工智能发展的高度重视，谷歌如何看待与本地中国人工智能平台的合作？
Jeanine：在中国，我们通过培训计划帮助开发者，组织社区开发者团体，还与本地开发者共同协作。这些举措使得出海开发者能够分享知识，学习最前沿的人工智能模型，同时也能更方便地使用谷歌的应用开发工具套件，并使这些工具更加集成化。此外，中国的社区团体也在持续投资于提供环境，比如今天的 Google I/O Connect China 活动，以此赋予开发者所需的能力。
CSDN：在未来的人工智能时代，开发者需要培养哪些技能？中国开发者可以采取哪些具体措施来增强全球竞争力？
Jeanine：我们现在看到的一个特别新颖而且具有挑战性的问题是，应用程序仍然包含许多相似的架构和技术。开发应用需要数据库，需要一种存储信息的方式，也需要业务逻辑、用户界面，还有多种平台 —— 包括移动设备、网页、汽车和其他设备。拥有了这一切之后，现在还需要把大模型整合进来，这就是我们所说的混合 AI 架构。
因此，在构建应用时出现了更多的复杂性。这包括可靠性、安全性、性能和在应用中有效使用 AI 模型的响应性。这对开发者来说是一项新挑战，即如何将这两者结合起来。这需要一套新的技能。对于开发者而言，有很多新的技术需要学习。
例如，如果你想在应用中实现聊天机器人，就需要学会如何进行提示词（prompt）设计，可能还需要进行微调。如果想要有一个用户界面，那就得学传统的设计。这也涉及到科学，因为我们看到中国开发者在构建和微调本地模型方面的惊人创新和创造力。
此外，得益于开源，现在有许多开放模型可供使用。例如，谷歌推出了 Gemma 系列模型。这些模型的参数都比较小，性能也处于前沿，还有不同的尺寸供开发者选择。比如在最新的 Gemma 2 模型中，我们提供了 90 亿参数和 270 亿参数两种尺寸。这意味着中国的开发者现在可以使用 Gemma 模型进行本地微调，以满足客户需求。
如果你想创建一个聊天机器人，并希望它既能支持本地语言又能支持全球语言。那么借助 Gemma，开发者已经大大扩展了语言支持。我们认为还有更大的潜力可挖掘，聊天机器人只是一个例子。此外，还有其他类型的人工智能服务，比如推荐服务、从其他数据源引入额外上下文的检索增强生成服务。
时隔一年，我再次来到中国，最惊讶的就是人工智能智能体（Agent）的发展。目前有两种不同类型的 AI 智能体，一种是在软件方面，一种是具身智能，为在物理世界中使用 AI 创造了一种全新的体验。看到这些创意和围绕这些概念成长起来的初创公司，真的让人印象深刻。我很期待看到中国的开发者们在这个领域还能走多远。
CSDN：目前 Gemini Nano 已经可以在桌面端和移动端工作，今天还看到你们把 Gemini 装进了 Chrome 浏览器，那么将来你们还计划在哪些设备上引入端侧模型呢？比如手表或是智能眼镜？
在更遥远的未来，开发者编程是不是就不需要笔记本电脑了，动动嘴就行？
Jeanine：首先关于第一个问题，正如你所指出的那样，对我们来说非常重要的一点是继续推动设备上的模型和设备上的人工智能发展。当我们考虑设备上的应用时，并不仅仅局限于移动设备，最近我们在 Chrome 桌面版中引入了 Gemini Nano。能够从桌面到移动设备利用设备上的功能是我们正在投资并扩大支持的领域。
去年年底到今年年初，我们推出了一个名为 Android AI Core 的新功能。它是一套新的平台级服务，可以让 Gemini Nano 模型在设备上运行，同时为开发者提供接口，使他们能够在自己的应用程序中使用这些设备上的服务。
我们的目标是，在 Android 生态系统中使开发者能够创建尽可能小的应用程序，并以一种共享的方式来管理设备上的模型，而无需在他们的 APK（Android 应用程序包）文件中打包这些模型，这样可以避免 APK 文件过大。
当我们考虑单一设备时，我们看到了一种混合需求。对于某些不需要最低延迟的应用场景，开发者可能还需要使用服务器端或基于云端的模型。或许未来可以有更多低速率自适应模型，以实现混合的方法，即在隐私敏感的情况下使用设备上的模型，并且在需要更多计算能力、任务更复杂时使用基于云端的模型，同时能够无缝地将来自设备或云端模型的结果提供给最终用户。
有了这样的能力，我们预计能将模型用于更多不同形态和尺寸的设备。因为现在不仅可以将模型部署在设备上，还可以部署在云端。
关于第二个问题——开发者是否能在没有笔记本电脑的情况下进行开发？我其实没想过这个问题！但我有个主意。谷歌推出了 Project IDX，这是一个基于网络、由 AI 驱动的工作空间，用于全栈多平台开发。它支持前端和后端开发，并且完全在云端。因此，曾经有开发者告诉我们，并向我们展示了实例，他们仅使用平板电脑，就在三个界面上进行开发：一个流式传输界面、一个 IDX 工作空间和聊天窗口。所以我们确实看到开发者正在使用这样的体验，并且我们认为这是未来的发展趋势。这也是我们推出 Android Studio 和 IDX 私密预览版的原因，因为我们希望使开发者能够随时随地构建任何种类的应用程序。
此外，我们与中国的 OEM 合作伙伴紧密合作，这也是 Android 生态系统的一大优势。当我们与制造各种设备的 OEM 合作伙伴合作时，我们也会与他们一起针对特定格式打造所需体验。由于我们有着紧密的合作关系，我们可以采纳他们的反馈意见，并共同工作，以便他们能够为不同类型设备进行开发。
Paul Kinlan，Chrome 开发技术推广部主管，在今天的 Google I/O Connect 2024 开发者大会上发表了关于如何使用谷歌 AI 技术开发 Web 平台的演讲。他首先庆祝了 Web 平台迎来了 35 岁生日，并赞扬了开发者们在过去几十年中不断推动这项技术的发展，带来了无数令人惊叹的 Web 创新。
Paul 强调，AI 正在引领 Web 进入一个的纪元，带来前所未有的功能和工具，使 Web 变得更加强大，也让开发变得更加轻松。他指出，谷歌在提供 AI 解决方案方面具有独特的优势，能够覆盖各种客户的不同模型体量、平台和环境。由于 Web 是触达全球用户的重要桥梁，设备端的执行是部署新 AI 功能的关键。
Paul 指出，设备端的 AI 模型为云端 AI 服务提供了重要的补充，让开发者能够以更低的成本、更少的容量限制和更强的数据隐私保护来交付解决方案。他特别提到了 Web GPU 和 Web Assembly 这两个技术是设备端 Web AI 的基础，并解释说今年谷歌在这方面进行了大量的优化工作，以确保 AI 模型运行更快、更高效。这些技术现在支持 16 位浮点数值、Memory64 和 JavaScript Promise 的集成，这些改进不仅提高了 AI 运行速度，而且扩大了硬件支持范围。
Paul 还提到，许多公司已经开始受益于在端侧运行 AI 和机器学习模型，谷歌也将 Gemini Nano 直接内置到了 Chrome 桌面客户端中，从 Chrome 126 版本开始推送。
对于开发者来说，这事其实并不陌生，因为谷歌早就在开发者版 Chrome 提前几个月推送了，速度那是相当的快，云端模型都没法比：
当然，官宣肯定还是不一样的。Paul 详细介绍了 Gemini 模型在 Chrome 中的应用，比如帮助用户撰写商品评价、社交媒体帖子等内容。开发者现在可以通过 Chrome 使用 Gemini 模型，提供诸如翻译、字幕、转写等功能。为了进一步简化开发流程，Paul 提到了一个实验性的简单提示 API (Prompt API)，它可以让开发者向 Chrome 中的 Gemini Nano 实例发送自然语言指令，并即时获得高质量的响应，全程不会有任何数据离开本地设备。
Paul 认为，Web AI 时代已经到来，Web GPU、Web Assembly 和 Gemini 内置到 Chrome 中标志着这一时代的开启。但他也强调，要实现这一愿景需要所有人的共同努力，谷歌正在与其他浏览器厂商合作，也期待更多的开发者加入早期预览计划，共同塑造 Web 的未来。
随后，Paul 转向了 UI 体验的提升。他提到，尽管许多人对 Web 的印象仍然停留在点击蓝色链接、等待页面加载的阶段，但谷歌的目标是让 Web 体验变得更为流畅和无缝。为了实现这一目标，Paul 介绍了 Speculation Rules API，它通过在后台预读取和预渲染页面来大幅提升站内浏览速度，实现毫秒级的网页加载。他举例说，使用 Speculation Rules API 后，YouTube 的预渲染功能让 Core Web Vitals LCP 得分提升了高达 55%。
此外，Paul 还介绍了 View Transition API，它能够实现页面之间的平滑过渡，受到了全球众多开发者的积极反响。他特别提到了阿里巴巴海外的 Miravia 平台在商品页面中实现了丝滑顺畅的导航体验，并且在采用 View Transition API 之后，转化率提升了 20%。Paul 补充说，今年 5 月的 Google I/O 大会上，谷歌宣布 View Transition API 已经正式支持多页应用，使得无论网站采用哪种架构，都能够实现流畅的导航体验。
为了帮助开发者调试和优化应用，Paul 推荐了 Chrome DevTools 的 Insight 功能。该功能使用 AI 帮助开发者分析问题，并提供解决方案，减少调试时间。他提到 Chrome DevTools Insight 现在已经作为实验性功能推出，能够帮助开发者更高效地解决问题。
虽说是 Mobile 开发，但谷歌的场子肯定是以 Android 为主。Android 开发技术推广部主管史婧羽发表了关于如何利用 AI 技术开发 Android 应用的演讲。她带领大家踏上了一段 Android 之旅，聚焦这个全球用户最多的移动操作系统，并强调 Android 正在以 AI 为核心开启一个全新的移动应用时代，致力于让每位开发者都能够创造出前所未有的卓越体验。
今天，端侧模型 Gemini Nano 模型被点名的次数非常多。史婧羽表示 Nano 模型可以为用户提供更快的响应速度，并确保数据隐私得到保护。例如，在聊天应用中，Gemini Nano 可以实现智能回复功能，为用户提供实时的智能回复，同时保证数据不会离开用户的设备。
史婧羽还提到 Gemini Nano 不需要网络连接，所有操作都在设备上完成。Gemini Nano 通过 AI Core 系统服务实现在设备上的运行，该服务负责管理设备上的基础模型，这样开发者可以直接使用这些模型，专注于开发 AI 功能。Gemini Nano 和 AI Core 已经登陆谷歌自家的 Pixel 8 手机和三星 Galaxy S24 系列，今年还将支持更多的设备。
去年底，Google 推出了 Gemini Nano 的早期访问计划，并获得了强烈的反响。目前，Google 正与部分开发者深入合作，优化 API 以解锁更多的创新功能。Adobe 正在试用 Gemini Nano 来帮助用户总结文档内容，增强 Acrobat AI 助手在设备端的体验。未来几个月，Google 将进一步开放使用权限，让更多的开发者体验 Gemini Nano 的强大功能。
接着，史婧羽转向了开发效率的话题，讨论了 Android 如何帮助开发者更快、更轻松地构建在不同设备上的卓越体验。她特别提到了 Kotlin 社区的蓬勃发展，并宣布支持 Kotlin Multi Platform 用于业务逻辑，以便开发者可以在移动端、Web 服务器和桌面平台之间共享代码。Google 与 JetBrains 和开发者社区合作，为多个 Jetpack 库添加了 Kotlin Multi Platform 支持。
在 UI 方面，Jetpack Compose 让开发者能够更快、更简单地构建适应各种屏幕格式的 UI 界面。Compose 的每个版本都在持续提速，结合 R8 和 Baseline Profiles 可以显著提升应用性能。Compose 还增加了共享元素过渡等新功能，提供更流畅的用户体验。
史婧羽还介绍了新的 Compose API，这些 API 帮助构建符合 Material 设计规范的自适应布局。此外，Google 改进了 Compose 对触控笔、鼠标和键盘的支持，确保应用能够更好地适应用户手中的输入设备。无论使用的是 views 还是 Compose，全新的手写识别功能都可以轻松将手写内容转化为文本。
在测试方面，Google 联合小米、OPPO、Google Pixel、一加和三星等品牌，将他们的设备实验室接入了由 Firebase 支持的 Android Device Streaming 测试平台。借助这个平台，开发者可以在更多真机设备上验证自适应应用，包括最新款的折叠屏手机和平板电脑。
最后，史婧羽谈到了 Android Studio 与 AI 的整合。Android Studio 中的 Studio Bot 成为 Gemini 产品家族的一员，提供 AI 编程辅助。Crashlytics 集成变得更智能，不仅能快速定位崩溃和错误，还能提供修复建议。开发者可以在 Android Studio 内设置 AI 隐私设置，以控制数据分享。Gemini in Android Studio 新增了代码生成和代码补全等功能。
她还预告了 Gemini 1.5 Pro 将支持图像和文本的多模态输入，开发者可以在今年晚些时候体验这一功能，以获得更高质量的反馈和新功能。
谷歌首席布道师，Google Cloud 的 Richard Seroter 分享了云端开发的一些新内容。他指出，这是一个开发者大展拳脚的时代，但也充满了复杂性，因为开发者需要掌握多种编程语言、框架、构建系统、数据库、架构模式和基础设施自动化等技能。随着 AI 的发展，复杂性进一步增加。
Richard 强调，第一代云计算虽然强大，但未能有效减轻开发者的负担。Google 相信云计算的未来应该让开发者能够更快捷、更轻松且更安全地构建高质量软件。为了实现这一目标，Google 提出了云端新旅程的概念，它具有五大特性：
独特的优势：提供超越传统基础设施的强大优势，例如 GKE 的 Autopilot 功能，使得 Kubernetes 集群的运维变得简单；BigQuery 无需管理基础架构即可享受全面集成式的分析体验；Vertex AI 提供一站式模型训练、调优和部署。
创新性：Richard 展示了 Gemini 1.5 的超大上下文窗口，它可以支持超过 200 万个 tokens 的请求。他还演示了如何使用 Gemini 1.5 Pro 处理一个包含 250,000 tokens 的讲座视频，展示其能够识别视频中的声音和画面，并自动翻译的能力。Gemini 1.5 Pro 的缓存功能可以节约成本并避免重复上传相同的内容。此外，他还展示了通过 Vertex AI 的接地功能，可以轻松地将模型结果关联到训练数据之外的其他数据。
灵活性与扩展性：Google Cloud 整合了 Google 及行业的最佳实践，同时保持灵活性，允许开发者选择所需的技术和服务。例如，Vertex AI 提供多种模型选择，包括 Gemini 系列模型、开源模型以及其他第三方模型。
开放性：Google Cloud 打破壁垒，让云端之旅畅行无阻，支持跨云平台的无缝协作。Richard 举例说明了 BigQuery 如何在不同的云环境中运行查询，无需移动数据。
简化与智能化：Google Cloud 通过自动化和智能默认设置简化了流程，并将 AI 深度融入云体验的各个方面。Richard 举例说明了在 Google Cloud 上搭建生产级别的基础设施现在仅需 45 分钟，相比以前数周的时间大幅缩短。
Richard 还谈到了 AI 集成的重要性，包括 Gemini Code Assist 插件用于代码生成、补全、解释和测试生成等功能，以及 Cloud 控制台集成了 AI 聊天功能，可以回答关于服务和 CLI 命令的问题。此外，Gemini in Database 将 AI 智能融入数据库操作，提高了数据处理的智能性和效率。
最后，Richard 强调云端新旅程的目标是以用户为中心，帮助用户构建更高质量的软件，并实现更大的影响。Google Cloud 的设计理念是去繁就简，让用户能够专注于构建，而不是被复杂的底层技术所困扰。
大模型刷新一切，让我们有着诸多的迷茫，AI 这股热潮究竟会推着我们走向何方？面对时不时一夜变天，焦虑感油然而生，开发者怎么能够更快、更系统地拥抱大模型？《新程序员 007》以「大模型时代，开发者的成长指南」为核心，希望拨开层层迷雾，让开发者定下心地看到及拥抱未来。
读过本书的开发者这样感慨道：“让我惊喜的是，中国还有这种高质量、贴近开发者的杂志，我感到非常激动。最吸引我的是里面有很多人对 AI 的看法和经验和一些采访的内容，这些内容既真实又有价值。”
能学习到新知识、产生共鸣，解答久困于心的困惑，这是《新程序员》的核心价值。欢迎扫描下方二维码订阅纸书和电子书。
