清华大学联手字节跳动开源听觉大语言模型SALMONN

清华大学电子工程系与字节跳动的火山语音团队联袂协作，推出全新开源狂言语模子 SALMONN。

据先容，SALMONN 援手语音、音频以及音乐输入，它可能感知和通晓差异类型的音频内容输入，并具备众言语语音识别和翻译以及语音推理等功用。

据悉，SALMONN 与古代的语音识别、音频字幕天生等语音和音频处分义务比拟具备更好的通用性，同时可能切实地听从利用者的指令。

总体而言，目前 SALMONN 也许胜任英语语音识别、英语到中文的语音翻译、心情识别、音频字幕天生、音乐刻画等紧急的语音和音频义务，同时又闪现绝伦种正在模子熬炼中没有特意进修过的众言语和跨模态才华，涵盖非英语语音识别、英语到（中文以外）其他言语的语音翻译、对语音内容的摘要和症结词提取、基于音频的故事天生、音频问答、语音和音频撮合推理等义务。