colab运行google最新开源模型Gemma
Google开源了新的大模型 Gemma ,Gemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。Gemma 由 Google DeepMind 和 Google 的其他团队开发,其灵感来自 Gemini,其名称反映了拉丁语_gemma_,意思是“宝石”。除了模型权重之外,我们还发布了工具来支持开发人员创新、促进协作并指导负责任地使用 Gemma 模型。
Gemma 是为推动人工智能创新的开发人员和研究人员的开放社区而构建的。您今天就可以开始与 Gemma 合作,使用 Kaggle 中的免费访问权限、Colab 笔记本的免费套餐以及首次使用 Google Cloud 用户的 300 美元积分。研究人员还可以申请高达 50 万美元的Google Cloud 积分来加速他们的项目。
google提供了keras3.0来提供跨所有主要框架的推理和监督微调 (SFT) 工具链:JAX、PyTorch 和 TensorFlow 。还有 即用型Colab和Kaggle 笔记本,以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM等流行工具的集成,让您可以轻松开始使用 Gemma。
google也提供了一个快速指南来使用ai.google.dev/gemma
kaggle 获取访问权限
首先访问Gemma在kaggle的页面,登陆你的kaggle账号
这里会有一个 Request Access,点击(我这是已经有访问权限了,你点了之后也变成这样说明就成功了)
然后我们点击kaggle的设置,按照我的截图依次点击
你的浏览器会下载一个json文件,例如就像下面这样
colab运行
如果你有google账号那就直接打开Gemma的colab页面 (没有的话就注册一个啦)
不出意外你会看到这样一个页面
接下来点击右上角,按照我的截图顺序,选择显卡为t4
点击保存,等待右上角变成这样,代表成功
接下来点击左侧
选择新建新密钥 先添加一个叫做 KAGGLE_USERNAME, 值写我们刚下载的json里面的username字段对应的值,
举个例子,加入我们下载的json是这样,那就填入的是example_username 1
{"username":"example_username","key":"12345678901112131415"}
记着打开两个的访问权限 ## 运行colab 运行notebook即可,就是点击这里的开始按钮就会执行这个小方格里的代码
里面有推理和微调的示例,感兴趣的同学可以自己实践
评测
我这边运行了几个2b模型的例子,效果是实话实说,emmmmmmmmmmmm,一言难尽,可能是2b太拉胯了吧
经过微调之后效果好了不少