哥大与某机构共推AI技术新 fellowship 与科研项目
虽然这些技术对顶层准确率的影响通常可以忽略不计,但调整后的模型与其派生出的全精度模型在输出上表现出细微的差异。我们提出了一种新的攻击,称为对抗性偏差攻击(ADA),该攻击通过在输入数据中添加对抗性噪声,最大化原始模型和边缘模型之间的输出差异,从而利用模型量化、压缩和剪枝中的差异。这类研究在对话系统、虚拟化身和机器人中尤其有用,因为共情行为可以鼓励用户更喜欢说话者,认为说话者更聪明,真正采纳说话者的
哥伦比亚工程与应用科学学院与某机构为哥伦比亚人工智能技术中心 (CAIT) 宣布新增博士生 fellowship 和教师研究奖项
2021年2月,哥伦比亚工程与应用科学学院和某机构宣布了哥伦比亚人工智能技术中心(CAIT)的首批教师研究奖和博士生 fellowship。现在,CAIT 正在宣布新增两个博士生 fellowship 和五个教师研究奖。
运筹学博士生候选人 Madhumitha Shridharan 和计算机科学博士生候选人 Tuhin Chakrabarty 成为新的 fellowship 获得者。
Madhumitha Shridharan 和 Garud-Iyengar
Shridharan 的指导老师是工业工程与运筹学系 Tang Family 教授兼哥伦比亚研究副院长 Garud Iyengar,她正在研究计算因果边界的优化方法。
Shridharan 解释说:“我们对数据丰富的商业环境中大规模系统的因果分析感兴趣。虽然学习数据中的相关性可能使模型能够预测与训练数据分布相似的数据,但因果学习和推理试图理解系统如何响应反事实干预。我们有兴趣开发用于现实世界商业系统中可解释性和顺序决策的因果模型和算法。”
Chakrabarty 的指导老师是计算机科学系 adjunct 副教授、数据科学研究所研究科学家 Smaranda Muresan。Chakrabarty 正在研究用于自然语言理解和生成的知识感知模型。
Tuhin Chakrabarty 和 Smaranda Muresan
“基于 transformer 架构的大规模语言模型,如 GPT-3 或 RoBERTa,已经推进了自然语言理解和生成的最新技术。然而,尽管这些模型在零样本、少样本或有监督的各种任务中表现出色,但它们通常难以处理隐含或非组合性含义。我的研究兴趣是将常识知识与大规模预训练语言模型的迁移学习能力相结合,以提高当前语言模型的能力。”
教师研究项目
本次获得支持的五个新教师研究项目分别是:
1. 在口语中传递共情
-
负责人: Percy K. and Vida L. W. Hudson 计算机科学教授 Julia Hirschberg
Hirschberg 指出:“过去15年,已有大量研究致力于在对话系统中创建文本、面部表情和手势中的共情反应。然而,几乎没有研究识别能够创造共情声音的语音特征。这类研究在对话系统、虚拟化身和机器人中尤其有用,因为共情行为可以鼓励用户更喜欢说话者,认为说话者更聪明,真正采纳说话者的建议,更加信任和喜欢它,并希望与说话者更长时间、更频繁地交流。我们建议通过收集第一个共情播客和视频语料库,通过众包标记共情度,构建机器学习模型来识别共情语音,以及可用于生成共情语音的语音、语言特征以及视觉特征,从而识别产生共情语音的声学/韵律以及词汇特征。”
2. 两种模型的故事
-
负责人:计算机科学系教授兼软件系统实验室联合主任 Junfeng Yang;电气工程与计算机科学助理教授 Asaf Cidon
Yang 和 Cidon 观察到:“全精度深度学习模型通常太大或成本太高,无法部署在边缘设备上。为了适应有限的硬件资源,模型经常被量化、压缩或剪枝。虽然这些技术对顶层准确率的影响通常可以忽略不计,但调整后的模型与其派生出的全精度模型在输出上表现出细微的差异。我们提出了一种新的攻击,称为对抗性偏差攻击(ADA),该攻击通过在输入数据中添加对抗性噪声,最大化原始模型和边缘模型之间的输出差异,从而利用模型量化、压缩和剪枝中的差异。它将构造恶意输入,欺骗边缘模型,但原始模型几乎无法检测到。这种攻击尤其危险:即使在原始模型上进行了广泛的鲁棒训练,量化、压缩或剪枝总会引入细微的差异,为攻击者提供了充足的可乘之机。此外,数据科学家甚至可能无法注意到此类攻击,因为原始模型通常作为权威模型版本,用于验证、调试和再训练。我们还将研究新的或现有的防御措施如何抵御 ADA 攻击,从而大大提高边缘设备的安全性。”
3. 有限容量下的联合选择与库存优化
-
负责人:决策、风险与运营助理教授 Will Ma
Ma 和 Topaloglu 写道:“电子零售商已经开始在市中心部署‘前置’配送中心,这些中心的空间非常有限。我们的提议是开发可扩展的优化算法,使电子零售商能够系统地决定应放置在这些宝贵空间中的 SKU 种类和库存。我们的模型考虑了内生地依赖于我们 SKU 选择的需求、库存池效应以及不同 SKU 类别之间的相互作用。我们的模型旨在揭示以下方面的见解:需求可变性与 SKU 碎片化之间的关系;在给定类别中选择少数 SKU 的排序规则;以及不同类别容量的边际价值。”
4. 用于机器学习的指数级更快并行算法
-
负责人:工业工程与运筹学系助理教授 Eric Balkanski
Balkanski 解释说:“该提案旨在为机器学习中的基本问题开发快速优化技术。在计算机视觉、推荐系统和免疫学等广泛领域,我们关心的优化目标表现出一种自然的递减回报属性,称为子模性。已经开发出现成的工具来利用这些问题的共同结构,并已被用于优化复杂的目标。然而,这些优化技术广泛使用的主要障碍是它们本质上是顺序的,并且对于大数据集上的问题来说太慢。因此,现有的子模优化工具箱不足以解决机器学习中的大规模优化问题。该提案考虑为那些当前最先进算法本质上是顺序的且无法并行化的问题开发新颖的并行优化技术。这些算法使用了新技术,这些技术在诸如电影推荐和最大化社交网络影响力等问题上已显示出有希望的结果。”
5. 用于人在回路决策的置信度感知强化学习
-
负责人:计算机科学助理教授、哥伦比亚人工智能与机器人实验室主任 Shuran Song;机械工程系副教授 Matei Ciocarlie
“我们提出了在强化学习(RL)中利用人类辅助的新方法。稀疏奖励问题一直是强化学习中最大的挑战之一,常常导致低效的探索和学习。虽然来自人类的实时即时反馈可以解决这个问题,但对于需要大量训练步骤的复杂任务来说,这通常是不切实际的。为了解决这个问题,我们旨在开发新的置信度度量,代理在训练和部署期间都会计算这些度量。在这种范式下,深度强化学习策略将自主训练,但当任务最终成功的置信度过低而无法继续时,它会停止并请求帮助。我们的目标是证明,专家辅助可以加快学习和/或提高性能,同时最大限度地减少向专家请求辅助的次数。”
2022年 CAIT 活动
除了为博士生 fellowship 提供支持外,CAIT 还将在三月份启动一个由四部分组成的杰出讲座系列,六月份举办研究展示会,十月份举办年度研讨会。有关 CAIT 活动、活动和重点研究领域的更多信息,请访问 CAIT 网站。FINISHED
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)
更多推荐
所有评论(0)