首页
社区
课程
招聘
AI声音克隆技术引发网络安全新挑战
发表于: 2024-10-1 09:55 2742

AI声音克隆技术引发网络安全新挑战

2024-10-1 09:55
2742

AI声音克隆技术

随着人工智能技术的飞速发展,AI声音克隆技术正逐渐成为网络安全领域的新挑战。近日,一起涉及AI声音克隆的录音门事件引发了广泛关注,揭示了这一技术在恶意使用下的潜在风险。

涉案嫌疑人利用AI声音克隆平台“Reecho睿声”伪造了卢某某的酒后言论,这一事件不仅暴露了AI声音克隆技术的强大能力,也凸显了其在网络安全方面的潜在威胁。据合肥警方通报,嫌疑人王某某通过互联网下载音视频资料,杜撰卢某某酒后言论脚本,使用AI工具训练生成假冒卢某某的音频,并通过视频软件合成音视频,最终形成谣言大量传播。

“Reecho睿声”平台由一位00后创业者开设,今年2月正式上线。该平台的语音大模型已预先经过海量中文音频的训练,涵盖多种类型,但最多的是有声读物与常规对话音频。最短3秒钟的音频素材,就能生成比较逼真的片段。然而,这种愈发逼真的声音克隆技术,也容易带来诈骗和虚假信息等社会治理难题。

知名电脑安全技术公司McAfee去年5月发布的一项全球性调研显示,在接受调查的7000人中,四分之一的受访者表示经历过AI语音克隆骗局,70%的人表示不相信自己能分辨出克隆的声音和真实的声音。这表明,AI声音克隆技术在提升用户体验的同时,也带来了新的网络安全风险。

为了应对这一挑战,言域科技采取了多项风控合规措施。首先,严格要求用户用国内手机号进行实名认证,甚至结合人脸认证,确保是本人在使用该账号。其次,引入敏感词监测和预警系统,如果用户输入一些涉黄、涉暴、涉政的敏感词,后台系统可以预警和拦截。另外,平台为生成的音频添加了隐形可溯源的“数字水印”,可以直接追踪到生成者的具体身份。

加强AI内容标识,成为监管部门当前的治理重点方向之一。9月14日,国家网信办发布《人工智能生成合成内容标识办法(征求意见稿)》,拟细化网络平台和用户的AI内容标识义务,避免公众混淆误解。其中要求提供生成合成服务的网络信息服务提供者,如果提供相关法规提及的深度合成服务类型,必须对生成合成内容添加显式标识和不易被用户明显感知到的隐式标识。

具体到音频,《标识办法》拟要求在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等显式标识。不过,显式标识非常容易被篡改,如果直接铺满整个音频,又会影响到生成音频的可用性。所以,实践中更多依靠隐式标识来防范,将一些隐藏的身份信息通过技术手段穿插到整个音频的频谱,能抵抗加速、减速、剪切等音频编辑操作。

据言域科技创始人兼CEO谢伟铎介绍,由于平台上生成的音频长度有限,能承载的信息相应受限,言域科技嵌入的隐式标识主要是用户ID。有了ID符号,可以反向追溯到用户手机号和使用记录等信息。谢伟铎计划后续上线AI克隆音频鉴伪平台,让监管部门和民众辨析音频是否来源于言域科技。

AI声音克隆技术的快速发展,不仅在娱乐和商业领域展现出巨大潜力,也在网络安全领域引发了新的思考。如何在享受技术红利的同时,有效防范其潜在风险,成为摆在监管机构、技术公司和用户面前的重要课题。未来,随着技术的进一步发展,AI声音克隆技术将在更多领域得到应用,但其带来的网络安全挑战也将更加复杂和严峻。

在这场技术与安全的博弈中,只有不断加强技术研发和监管力度,才能确保AI声音克隆技术在合法合规的轨道上健康发展,为社会带来更多正面的价值。

收藏
免费 0
支持
分享
最新回复 (0)
游客
登录 | 注册 方可回帖
返回
//