colab运行google最新开源模型Gemma

Google开源了新的大模型 GemmaGemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。Gemma 由 Google DeepMind 和 Google 的其他团队开发,其灵感来自 Gemini,其名称反映了拉丁语_gemma_,意思是“宝石”。除了模型权重之外,我们还发布了工具来支持开发人员创新、促进协作并指导负责任地使用 Gemma 模型。

Gemma 是为推动人工智能创新的开发人员和研究人员的开放社区而构建的。您今天就可以开始与 Gemma 合作,使用 Kaggle 中的免费访问权限、Colab 笔记本的免费套餐以及首次使用 Google Cloud 用户的 300 美元积分。研究人员还可以申请高达 50 万美元的Google Cloud 积分来加速他们的项目。

google提供了keras3.0来提供跨所有主要框架的推理和监督微调 (SFT) 工具链:JAX、PyTorch 和 TensorFlow 。还有 即用型ColabKaggle 笔记本,以及与Hugging FaceMaxTextNVIDIA NeMoTensorRT-LLM等流行工具的集成,让您可以轻松开始使用 Gemma。

google也提供了一个快速指南来使用ai.google.dev/gemma

kaggle 获取访问权限

首先访问Gemma在kaggle的页面,登陆你的kaggle账号

image.png

这里会有一个 Request Access,点击(我这是已经有访问权限了,你点了之后也变成这样说明就成功了)

然后我们点击kaggle的设置,按照我的截图依次点击 image.png

image.png image.png 你的浏览器会下载一个json文件,例如就像下面这样 image.png

colab运行

如果你有google账号那就直接打开Gemma的colab页面 (没有的话就注册一个啦)

不出意外你会看到这样一个页面 image.png

接下来点击右上角,按照我的截图顺序,选择显卡为t4 image.png image.png

image.png 点击保存,等待右上角变成这样,代表成功 image.png

接下来点击左侧 image.png

选择新建新密钥 image.png 先添加一个叫做 KAGGLE_USERNAME, 值写我们刚下载的json里面的username字段对应的值,

举个例子,加入我们下载的json是这样,那就填入的是example_username

1
{"username":"example_username","key":"12345678901112131415"}
image.png 再添加一个KAGGLE_KEY,值填写的是key对应的值,在刚才的例子那就是写12345678901112131415

image.png

记着打开两个的访问权限 ## 运行colab 运行notebook即可,就是点击这里的开始按钮就会执行这个小方格里的代码 image.png

里面有推理和微调的示例,感兴趣的同学可以自己实践

评测

我这边运行了几个2b模型的例子,效果是实话实说,emmmmmmmmmmmm,一言难尽,可能是2b太拉胯了吧 image.png

经过微调之后效果好了不少 image.png


colab运行google最新开源模型Gemma
https://studyinglover.com/2024/02/22/colab运行google最新开源模型Gemma/
作者
StudyingLover
发布于
2024年2月22日
许可协议