prompt2model笔记 prompt2model是一个通过提示自动生成语言模型的方法 项目地址GitHub image.png 模型分为Prompt Parser，Dataset Retriever，Dataset Generator，Model Retriever几个部分 Prompt Parser image.png 作者使用具有上下文学习的 LLM 来分割用户提示，在实验中使用

RoboTAP笔记 RoboTAP是一种基于点追踪技术的少样本视觉模仿方法，可以实现机器人在多个任务和场景中的精准操作。 项目主页GitHub RoboTAP不需要任何特定于任务的训练或神经网络微调。由于TAP的普适性，作者发现添加新任务（包括调整超参数）只需几分钟，这比我们熟悉的任何操纵系统都快几个数量级。作者认为这种能力在大规模自主数据收集和作为解决现实任务的解决方案方面可能非常有用。Robo

MediaPipe即将推出图像生成服务 今天我逛GitHub Trending的时候突然发现MediaPipe的示例库被顶到了前排 这不对劲，我赶紧去mediapipe的储存库，发现7个小时前Google推送了新的内容 ImageGenerator Java API 原来MediaPipe也要推出文字生成图片内容啊，还是移动端设备上的，这让我想起来GitHub最近有人开始写stable-dif

Dual-Stream Diffusion Net for Text-to-Video Generation笔记 这篇论文提出的模型架构是Dual-Stream Diffusion Net（DSDN），它是一种双流扩散网络。 image.png 首先，视频内容通过一个一个编码器编码成内容特征和一个动作编码器编码成动作特征，并通过一个增量学习模块进行更新。前向扩散过程没有使用DDPM而是使用了

ViT在DDPM取代UNet(DiT) 项目主页 这篇论文主要是尝试使用ViT取代DDPM中的UNet，叫做Diffusion Transformer-DiT，作者训练了DiT-S、DiT-B、DiT-L 和 DiT-XL四种模型，每种模型的patch取8,4,2, 一共训练了12个模型。 作者探索的完整 DiT 设计空间是补丁大小、变压器块架构和模型大小。 模型第一层是对 sequences o

LISA(推理分割)笔记 简介 这篇论文题目中文翻译是 基于大型语言模型的语义分割， 提出了一个新任务-推理分割。大概就是给一张图和一段话，模型使用大语言模型分割出目标。作者给了一个例子，从图片中分割出富含维生素C的物品。 作者说这篇论文有三个贡献，提出了推理分割的任务，建立了一个推理分割基准，ReasonSeg， 还有训练了一个模型。 项目主页GitHub LISA可以完成四种任务 1) com