语音模型

随着多模态大语言模型（MLLMs）的发展，如何有效地整合视觉、语言和语音成为了人工智能领域面临的一个重要挑战。VITA-1.5 是由南京大学（NJU）、腾讯优图实验室（Tencent Youtu La...

FishSpeech v1.5 是一款功能强大的文本到语音（TTS）模型，具备多语言支持、零样本即时语音克隆、低延迟等特性。该模型拥有仅5亿参数，却能够在多种语言之间无缝切换，并提供高质量的语音合成效...

音频语言模型（ALMs）在各种应用中发挥着关键作用，包括实时转录、翻译、语音控制系统和辅助技术。然而，许多现有解决方案面临高延迟、大量计算需求以及依赖云端处理等限制。这些问题对边缘部署提出了挑战，因为...

香港科技大学的研究团队近期在探索从给定歌词生成完整歌曲音频的领域取得了重要进展，这一过程被称为“歌词到歌曲”（lyrics2song）。尽管基于文本条件的音乐生成模型在创作非人声音乐短片段方面已经展现...

ElevenLabs 是一家专注于人工智能音频生成的初创公司，最近筹集了 1.8 亿美元的资金，估值达到 33 亿美元。以其高质量的声音合成技术而闻名，该公司现在正通过推出其首个独立的语音转文本模型 ...

Zyphra 最近发布了 Zonos-v0.1 测试版，这是一款支持高保真语音克隆的实时文本转语音（TTS）模型。作为开源项目的一部分，Zonos-v0.1 包含两个强大的 TTS 模型：一个 16 ...

在大模型时代，人们对机器的期望已经不再局限于简单的语音识别或声音分类，而是希望机器能够具备复杂的推理能力。例如，通过汽车座舱的录音判断车辆是否存在潜在故障，从交响乐中推测作曲家的情绪，或者在地铁站的嘈...

香港科技大学、SparkAudio开源社区、上海出门问问信息技术有限公司、上海交通大学、南洋理工大学、西北工业大学和网易伏羲人工智能实验室的研究人员推出Spark-TTS，这是一个基于大语言模型（LL...

Hume 推出了 Octave（全能文本和语音引擎），这是首个专为文本转语音设计的大语言模型（LLM）。与传统文本转语音（TTS）系统不同，Octave 不仅能够“朗读”文字，还能真正理解单词在上下文...

Sesame 团队近期发布了一项名为 Conversational Speech Model (CSM) 的全新语音技术，旨在解决当前语音助手普遍存在的“死板”问题。这项技术的目标是让语音助手不仅能够...

近年来，大语言模型（LLMs）在自然语言处理领域取得了显著进展，这启发了业界对语音理解语言模型（Speech Understanding Language Models, SULMs）的开发。SULM...

在促进全球交流的进程中，多语言语音识别和翻译技术扮演着至关重要的角色。然而，开发能够实时准确地转录和翻译多种语言的模型面临着诸如处理语言细微差别、确保高准确性与低延迟以及实现跨设备高效部署等挑战。为应...