Dynaseal:面向未来端侧llm agent的llm api key分发机制
面向未来端侧llm agent的llm api key分发机制
pydantic实现的LLM ReAct
Learn to how to use pydantic to implement LLM ReAct with detailed guides and scripts on StudyingLover's blog.
fastapi 和 uvicorn 设置监听 ipv6
fastapi 和 uvicorn 设置监听 ipv6 启动程序时我们一般写的是 1uvicorn.run(app, host="0.0.0.0", port=8000) 但是这样子启动的程序在纯 ipv6 或者双栈(同时有 ipv4 和 ipv6)的机子上使用 ip(v6):port 访问是访问不到的，所以我们需要更改启动方式。 直接参考GitHub的一个讨论，最佳答案是这个
pydantic+openai+json 控制大模型输出的最佳范式
调用大模型已经是如今做 ai 项目习以为常的工作的，但是大模型的输出很多时候是不可控的，我们又需要使用大模型去做各种下游任务，实现可控可解析的输出。我们探索了一种和 python 开发可以紧密合作的开发方法。 所有的代码都开源在了GitHub 大模型输出是按照 token 逐个预测然后解码成文本，就跟说话一样，但是有的时候我们需要用大模型做一些垂直领域的工作，例如给定一段文本，我们想知道他属于正向
roofline model
roofline model 定义 \[运算强度 = 运算量/访存量\] 运算量是 一个样本进行一次前向传播的浮点运算次数 访存量是 一个样本进行一次前向传播的内存交换数量 以运算强度为横轴、每秒浮点运算次数为纵轴画图，就能得到roofline 算力决定屋顶的高度，带宽决定屋檐的斜率。 所有的计算对应的点都不会超过红绿线 红色部分叫做带宽瓶颈区域，模型计算强度达不到设备的最大性能是，这个时候模型
zhipuAI接口兼容openai
zhipuAI接口兼容openai 最近debug发现质谱AI的接口是兼容openai这个库的 首先访问 官网 ,获取一个key 然后使用下面的代码生成jwt token, apikey天获取的key, exp_seconds是过期时间 123456789101112131415161718def generate_token(apikey: str, exp_seconds: int):
在docker部署fastapi宝塔里使用nginx反代套上cloudflare获取请求的真实ip
在docker部署fastapi宝塔里使用nginx反代套上cloudflare获取请求的真实ip 背景是这样的，我使用docker部署了一个fastapi部署了一个应用，使用request.client.host获取请求的来源ip,但是获取到的都是172.17.0.1这显然是不是正常的，是docker网络下的ip,所以我们需要在nginx进行设置转发真实ip 首先点击宝塔应用商店，找到nginx