时间
2024年6月-9月
行业
混合办公
团队
跨团队合作
角色
研究员，
产品设计师
Loccus.ai，一家独立软件供应商，隶属于惠普未来工作孵化部门，专注于提供检测语音深度伪造的AI模型。
联盟介绍
Loccus.ai 是一家独立软件供应商 (ISV)，专门开发用于检测深度伪造语音诈骗的人工智能模型。
HP未来工作孵化器，促进将Loccus.ai这样的独立软件供应商(ISV)整合进入HP生态系统，增强混合办公解决方案。
Zoom与惠普公司和惠普Poly合作，构建无缝集成的混合办公生态系统。
+
+
0.23
0.12
0.03
0.32
深度伪造检测
置信度 = 0.98
模型如何运作？
来自loccus.ai的模型将监控声音流，并提供一个检测深度伪造的置信度评分，范围从
0.0 ~ 1.0
桌面研究
我进行了关于深度伪造语音技术用例的案头研究。此研究强调了深度伪造技术的两个最有害领域，Loccus.ai 在检测方面可能至关重要。因此，我选择关注这两个场景，以识别挑战并应用该技术。
冒充诈骗
攻击者使用深度伪造技术模仿声音或外貌，冒充高管、员工或个人进行诈骗和欺骗行为。
目标
企业环境、金融机构和内部沟通系统。
损坏
财务损失（诈骗金额达数百万美元）。
组织内部信任的丧失。
潜在的法律和声誉损害。
招聘面试诈骗
虚假信息
深度伪造技术被用来创造虚假的媒体内容——视频或音频，以传播假新闻、宣传或操控公众舆论。
目标
社交媒体平台、新闻网站和政治活动。
损坏
公众对媒体和机构的信任侵蚀。
社会和政治动荡。
有害叙事的扩散，破坏公共秩序。
精炼为两个痛点
会议安全
虚拟会议中缺乏实时身份验证，使得深度伪造攻击者能够利用信任，绕过安全措施，并操控决策过程。
在线浏览安全
快速内容分享加剧了深度伪造信息的传播，使得在这些欺骗性叙述影响公众认知之前难以进行控制。
鉴于我们经常接触到在线的深度伪造内容，我们需要明确的标准来区分安全和不安全的内容，在尽量减少对用户体验的不必要干扰的同时
将这些风险级别与HP AI助手的警示系统对齐。
风险管理
我参考了“CIS警报级别信息”系统，该系统将网络安全威胁严重程度从低（绿色）到严重（红色）进行评级，以便设计一套专门针对社会工程攻击的警报系统，并与HP AI助手相协调。
警报系统（社会工程）
与惠普AI助手警报保持一致
原型
AI助手会检测风险等级，并根据不同情况显示警报。与Zoom等软件的深度集成，通过提供无缝的安全措施来增强用户体验。
为了支持不同的使用场景，我设计了两个版本的警报系统，Zoom插件（会议应用集成）和HP AI助手警报（系统集成），以更好地支持不同的使用场景。
功能 01
会议安全
Zoom 插件
语音识别可以确认讨论中的参与者
轻松移除参与者并提交报告
当应用窗口被最小化时，用户会收到系统提醒
功能 02
在线浏览安全
HP AI助手系统集成警报
AI将评估内容并触发不同级别的警报。
该大纲明确告知用户内容中包含深度伪造技术。
影响与学习
我与Loccus.ai（惠普孵化的初创公司）、Zoom和HP AI Companion的团队合作，设计了一个Zoom插件
可以在会议中检测深度伪造诈骗，提高用户在虚拟协作中的安全性和信任感。
从用户体验的角度来看，我了解到平衡安全警报的必要性，以避免用户疲劳，同时仍然有效地传达风险。发光轮廓等视觉提示对于快速传达深度伪造威胁而不干扰工作流程非常有价值。此外，用户更倾向于可定制的警报敏感度和AI决策的透明度，以建立信任和参与度。