中国青年网

教育

首页 >> 文字列表 >> 正文

复旦青年教师潘旭东:坚持10年为AI大模型“治未病”、护安全

发稿时间:2024-04-14 14:33:00 来源: 中国青年报客户端

  中国青年报客户端讯(中青报·中青网记者 魏其濛)4月15日是全民国家安全教育日。复旦大学青年教师潘旭东近10年来一直在人工智能安全领域深耕,目前是复旦大学顶尖安全团队“复旦白泽”中的“学术之星”。

潘旭东在海外顶尖科研院所进行专题报告。复旦大学供图

  AI安全研究要紧跟着AI前沿脚步,识破技术迷局,率先揭示AI系统的潜在安全风险,同时发展安全评测和治理方法,就像中医中所谓的“治未病”,对未知疾病进行预防和提早治疗。

  在复旦就读本科时,年仅22岁的潘旭东在计算机学院的实验室中构造了一种有效的攻击算法,对AI大模型进行深度编码,能准确破解用户的一言一行。他解释:“比如一份病例记录,被AI大模型处理转换,变成高维深度特征向量,如果攻击者可以把它再逆向出来,便破解了病人的隐私信息。”

  2020年,在安全领域国际旗舰会议USENIX Security和IEEE S&P上,潘旭东凭借这一前瞻性的发现,同时以第一作者的身份发表2篇研究成果,首次揭示了OpenAI GPT系列、Google BERT等8款商用大模型的数据隐私风险。这一国际上首次发现大模型重大安全问题的成果,迅速引起Google、OpenAI等头部厂商的高度重视,并被包括多国院士在内的上百位国际知名学者引用,获评2022年度世界人工智能大会WAIC青年优秀论文提名奖。随着ChatGPT、GPT-4等AI大模型应用的相继推出,深度编码已成为垂直大模型应用中的关键基础设施,潘旭东和团队对这项重大安全风险的超前预判,体现出科学研究的重要性。

  守护AI系统安全,需要前瞻性的视野,尽早发现AI大规模应用面临的未知安全隐患。2018年,本科毕业前夕,潘旭东曾考虑过出国深造,因为AI安全研究在国际上已初露端倪,而国内还鲜有关注。然而,他一直相信,扎根中国同样能做出杰出的成果。在复旦博士毕业之际,潘旭东已在国际顶级学术会议和顶级期刊发表20多项科研成果,收到了“华为天才少年”的Offer和海外顶尖科研机构的工作邀约。面对这些机会,他最终坚定选择了留校。

  2023年4月起,潘旭东和团队将研究重心转移到AI大模型安全评测与治理上。深受复旦大学文理融合特色熏陶,潘旭东从“现代语言学之父”乔姆斯基转换生成语法中获得灵感,研制基于语言学变异的AI安全治理大模型,高效诱导国内外数十款大模型违规生成,全面评测当前AI大模型安全水位,多项成果在多家大模型头部厂商得到应用。

  潘旭东说,希望将导师杨珉教授言传身教的报国理想,伴随着科研经验,传递给下一代的复旦青年。谈及理想,他说:“不仅要在国际上做出领先的、有意义的成果,更要把这些成果真正落在大地上,为国家网络空间安全贡献复旦青年智慧。”

责任编辑:蒋宇骏