新技术

来自Meta的研究人员推出了AI视频生成模型Animated Stickers，它可以让普通表情包图片“动”起来。这项技术的核心是利用先进的文本到图像（Text-to-Image）模型，通过添加时间层...

来自麻省理工学院、清华大学和英伟达的研究人员推出一种条件感知神经网络（CAN），用于在图像生成模型中添加控制，它通过动态调整神经网络的权重来实现对生成图像的控制。 论文 GitHub 与之前的条件控制...

来自谷歌的研究人员推出视频编码器VideoPrism，它是一个通用的视频理解模型，能够处理多种视频理解任务，如分类、定位、检索、字幕生成和问答（QA）。VideoPrism通过在一个单一的冻结模型上进...

清华大学的研究人员推出一种高效且精确的注意力机制量化方法SageAttention，此方法的OPS（每秒操作数）性能分别比FlashAttention2和xformers提高了约2.1倍和2.7倍。S...

来自加州大学圣地亚哥分校和Adob​​e 研究中心的研究人员推出新的图像编辑技术Editable Image Elements for Controllable Synthesis，它允许用户对输入的...

Google Research、Google DeepMind和华盛顿大学的研究团队推出新框架ImageInWords（IIW），此框架旨在创建准确且细节丰富的图像描述，以提高视觉-语言模型（VLMs...

来自牛津大学、Adobe Research的研究人员提出了一种“连续3D词（Continuous 3D Words）”的新方法，使得用户能够通过文本提示来精细控制图像生成过程中的多个属性，比如照明方向...

Snap和罗格斯大学的研究人员推出新型图像生成模型的权重量化技术BitsFusion。简单来说，就是研究者们开发了一种方法，可以把一个用来生成图片的复杂模型（叫做扩散模型）的参数量大大减少，同时还能让...

苹果和香港中文大学的研究人员推出新型图像生成模型DART，这个模型的目标是让计算机能够根据文本描述生成高质量的图像。DART是一个基于Transformer架构的模型，它在非马尔可夫框架内统一了自回归...

腾讯优图实验室和南京大学的研究人员推出新技术RealTalk，它是一个用于生成逼真、实时的音频驱动人脸视频的框架。简单来说，RealTalk可以根据一个人的语音生成一个看起来非常真实的3D人脸动画，而...

来自Meta和慕尼黑工业大学的研究人员推出ViewDiff，它能够根据文本描述或已有的图像输入，生成与3D对象一致的高质量图像。 项目主页 GitHub 想象一下，你只需要告诉计算机你想要的3D对象是...

这篇论文介绍了一个名为VSP-LLM（Visual Speech Processing incorporated with LLMs）的新框架，它结合了视觉语音处理和大语言模型（LLMs），以提高视觉...