colab运行google最新开源模型Gemma

Google开源了新的大模型 Gemma ，Gemma是一系列轻量级、最先进的开放式模型，采用与创建Gemini模型相同的研究和技术而构建。Gemma 由 Google DeepMind 和 Google 的其他团队开发，其灵感来自 Gemini，其名称反映了拉丁语_gemma_，意思是“宝石”。除了模型权重之外，我们还发布了工具来支持开发人员创新、促进协作并指导负责任地使用 Gemma 模型。

Gemma 是为推动人工智能创新的开发人员和研究人员的开放社区而构建的。您今天就可以开始与 Gemma 合作，使用 Kaggle 中的免费访问权限、Colab 笔记本的免费套餐以及首次使用 Google Cloud 用户的 300 美元积分。研究人员还可以申请高达 50 万美元的Google Cloud 积分来加速他们的项目。

google提供了keras3.0来提供跨所有主要框架的推理和监督微调 (SFT) 工具链：JAX、PyTorch 和 TensorFlow 。还有 即用型Colab和Kaggle 笔记本，以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM等流行工具的集成，让您可以轻松开始使用 Gemma。

google也提供了一个快速指南来使用ai.google.dev/gemma

kaggle 获取访问权限

首先访问Gemma在kaggle的页面，登陆你的kaggle账号

image.png

这里会有一个 Request Access,点击(我这是已经有访问权限了，你点了之后也变成这样说明就成功了)

然后我们点击kaggle的设置，按照我的截图依次点击

你的浏览器会下载一个json文件，例如就像下面这样

colab运行

如果你有google账号那就直接打开Gemma的colab页面 (没有的话就注册一个啦)

不出意外你会看到这样一个页面

接下来点击右上角，按照我的截图顺序，选择显卡为t4

点击保存，等待右上角变成这样，代表成功

接下来点击左侧

选择新建新密钥 先添加一个叫做 KAGGLE_USERNAME， 值写我们刚下载的json里面的username字段对应的值，

举个例子,加入我们下载的json是这样，那就填入的是example_username

{"username":"example_username","key":"12345678901112131415"}

再添加一个KAGGLE_KEY，值填写的是key对应的值，在刚才的例子那就是写12345678901112131415

image.png

记着打开两个的访问权限 ## 运行colab 运行notebook即可，就是点击这里的开始按钮就会执行这个小方格里的代码

里面有推理和微调的示例，感兴趣的同学可以自己实践

评测

我这边运行了几个2b模型的例子，效果是实话实说，emmmmmmmmmmmm,一言难尽，可能是2b太拉胯了吧

经过微调之后效果好了不少