roofline model roofline model 定义 \[运算强度 = 运算量/访存量\] 运算量是 一个样本进行一次前向传播的浮点运算次数 访存量是 一个样本进行一次前向传播的内存交换数量 以运算强度为横轴、每秒浮点运算次数为纵轴画图,就能得到roofline 算力决定屋顶的高度,带宽决定屋檐的斜率。 所有的计算对应的点都不会超过红绿线 红色部分叫做带宽瓶颈区域,模型计算强度达不到设备的最大性能是,这个时候模型 2024-04-10 笔记 #roofline #模型性能 #运算强度
zhipuAI接口兼容openai zhipuAI接口兼容openai 最近debug发现质谱AI的接口是兼容openai这个库的 首先访问 官网 ,获取一个key 然后使用下面的代码生成jwt token, apikey天获取的key, exp_seconds是过期时间 123456789101112131415161718def generate_token(apikey: str, exp_seconds: int): 2024-04-10 踩坑 #大模型 #zhipu #openai #质谱AI
在docker部署fastapi宝塔里使用nginx反代套上cloudflare获取请求的真实ip 在docker部署fastapi宝塔里使用nginx反代套上cloudflare获取请求的真实ip 背景是这样的,我使用docker部署了一个fastapi部署了一个应用,使用request.client.host获取请求的来源ip,但是获取到的都是172.17.0.1这显然是不是正常的,是docker网络下的ip,所以我们需要在nginx进行设置转发真实ip 首先点击宝塔应用商店,找到nginx 2024-04-09 踩坑 #fastapi #docker #nginx #cloudflare #宝塔 #真实ip #fastapi 反向代理 #反向代理 #docker 172.17.0.1
clion搭建libbpf-bootstrap开发环境 clion搭建libbpf-bootstrap开发环境 首先用clion打开libbpf-bootstrap目录,将example/c下的CMakeLists.txt导入 这个时候你会发现代码不能用clion自带的可视化界面debug,这是因为libbpf-bootstrap目录结构太离谱了,我们只需要做一个小小的更改 将73行的 1set(LIBBPF_LIBRARIES ${CMAK 2024-04-06 踩坑 #libbpf-bootstrap #ebpf #clion #Clion
coze+coze-discord-proxy+ChatNextWebUI实现AI自由 coze+coze-discord-proxy+ChatNextWebUI实现AI自由 前不久我的openai账号被封了,还亏了这个月的20刀gpt4月费,可谓是亏麻了。为了继续使用gpt4,我们需要注册一个账号,找到一个接口或者去折腾gpt4free,但是有没有更加轻松的方式呢? 诶,实际上真的有,那就是字节的 扣子(coze),可以自己构建知识库,加入插件,工作流,还有很多功能,更重要的是,我 2024-03-31 踩坑 #免费gpt #coze #coze-discord-proxy #ChatNextWebUI #AI
colab运行google最新开源模型Gemma Google开源了新的大模型 Gemma ,Gemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。Gemma 由 Google DeepMind 和 Google 的其他团队开发,其灵感来自 Gemini,其名称反映了拉丁语_gemma_,意思是“宝石”。除了模型权重之外,我们还发布了工具来支持开发人员创新、促进协作并指导负责任地使用 Gemma 模型。 2024-02-22 笔记 #Gemma #Google #大模型
Sora技术报告 视频生成模型作为世界模拟器 笔记 Sora技术报告 视频生成模型作为世界模拟器 笔记 技术报告原题目叫做 Video generation models as world simulators,翻译一下就是 视频生成模型作为世界模拟器,地址在这里 。我写的时候是翻译和笔记并行,翻译感谢gpt4出色的翻译能力。 技术报告介绍了OpenAI在视频数据上大规模训练生成模型的探索,特别是在视频和图像上联合训练文本条件扩散模型,这些视频和图 2024-02-16 #笔记 #文字生成视频
archlinux flutter开发踩坑 archlinux flutter开发踩坑 archlinux是个好东西,但是开发flutter坑不少。2023年5月我配置了flutter,后来用得不多,23年11月还尝试过但是失败,最近又要使用,就来解决下。 ## 20230210 今天需要写一个手机app,突然发现构建不出来了,报错 1234567891011> Failed to create parent directory 2024-02-10 #踩坑 #flutter #archlinux
fastapi集成google auth登录 fastapi集成google auth登录 流程设计 1. 启动 Google 登录流程 前端:用户点击 Google 登录按钮。 请求:前端发起请求到 /user/login/google。 2. 后端处理 /user/login/google 请求 后端生成一个重定向到 Google 认证服务器的 URL 后端将此 URL 发送给前端。 3. 前端重定向 前端接收到 URL 后,重 2024-01-21 #google auth #fastapi #后端