今日看点

斯坦福下了臭棋?Percy Liang发文辩解:基础模型是人类社会的未来

发表于话题:李云迪的商业版图
发布时间:2021-10-26

  八月,斯坦福大学的研究人员在arxiv上传了一篇报告,宣布人工智能的新时代已经到来,一个建立在巨大的神经网络和数据海洋之上的时代。

  依托于超大规模的预训练模型,例如,BERT、DALL-e、GPT-3,各种下游任务的性能都得到了飞速的发展。这类模型斯坦福也将其称为「基础模型」,即这些模型是不完整的,但它对于落地应用来说是必不可少的。

  在论文中,斯坦福还宣称将建立一个基础模型研究中心CRFM(Center for Research on Foundation Models),主要研究和开发这类基础模型。

  这篇论文一出,顿时引起了社会各界的反对声音,有学者认为这类研究是“骗经费的“,还有人认为“深度学习不值得”。学术界的主要观点似乎是深度学习确实很好用,但是浪费如此大的资源来研究,实在是一件不划算的事。

  针对这种观点,CRFM的主任、华人Percy Liang于10月18日发表了一篇文章,表达了对基础模型的一些反思。

  在建立基础模型研究中心后,社会各界引起了广泛反响,我们不光应该讨论一下基础模型为什么这么重要,也需要反思一下为什么社会上的回应。

  Percy Liang希望最近发布的关于基础模型的报告,以及建立的斯坦福大学基础模型研究中心(CRFM)作为斯坦福人类中心人工智能研究所(Stanford Institute for Human-Centered AI, HAI)的一部分,并举办了一个研讨会以促进全社会对话。

  这项工作在社会上受到了广泛的关注,一些人公开讨论了他们的想法,我们认为开放式话语对于构建正确的规范、最佳实践和围绕基础模型的更广阔的生态系统是必要的。

  首先回答一个问题,什么是基础模型(Foundation models)?

  基础模型的定义为在广泛的数据(通常使用大规模自监督算法)上训练的模型,该模型可以适用于广泛的下游任务。这些模型基于迁移学习的理念以及深度学习和大规模应用的计算机系统的最新进展,能够证明他们具有通用性,并能够大大提高了广泛下游任务的性能。

  鉴于这种潜力,我们可以看到基础模型的范式已经发生变化,其中许多跨领域人工智能系统将直接建立或整合基础模型。

  基础模型鼓励均质化(homogenization),也就是说同样的几个模型能够作为其他实际应用的基础被重复使用。

  但这种整合是一把双刃剑,虽然集中化可以让研究人员集中精力在一小部分模型上来提高稳健性,减少偏差。但集中化还会将这些模型的单一故障点无限放大,并可能会对无数下游应用程序造成诸如安全风险、社会偏见等危害。并且随着越来越多的AI应用被开发出来,基础模型在当前的实践下都表现出明显和重大的社会风险。

  这一背景下,CRFM在尝试改变这些。

  CRFM主要负责基础模型的发展,并且是一种「负责任」的发展,研究中会特别关注不平等、滥用、环境影响、法律框架、规模伦理和经济后果。这些社会考虑能够进一步告知我们对技术基础的讨论,主要涵盖模型(包括数据、架构、目标、系统、评估、理论),及它们对人工智能领域(机器人、视觉、推理)的影响,以及它们在各个学科(法律、医疗、教育、生物医学)中的应用。

  报告中还概述了现有做法应该如何改变:如提出数据管理协议、尊重隐私、标准评估范式、干预和补偿不公正的机制以及管理基础模型的规范。一般来说,在这个过程中,谁控制这一发展趋势,都将会影响基础模型的发展,以至影响更广泛的生态系统和社会。

  报告的出发点在于,基础模型的当前轨迹不是不可避免的。基础模型可以(而且越来越应该)接触到实际应用中,在感知、互动、真实世界中交互、获取常识物理模型、心理理论以及获取植根于这个世界的语言是人工智能的重要组成部分,所有这些都需要基础模型提供技术支持。

  此外,应用落地还可以通过将基础模型与AI中的其他方法结合来实现:PIGLeT 就是一个例子,它使用预训练的语言模型和语言的物理动力学模型来编码语言形式。也就是说基础模型不只是大型语言模型,基础模型还可以使用图像、视频和其他感官和知识库数据进行训练。报告中也强调应用落地对于基础模型如何在计算机视觉和机器人学中发展至关重要。

  并且目前基础模型的发展通常没有集中在人身上,而是集中在资源上。在基础模型的发展过程,CRFM的目标是识别和提升人在整个生态系统的基础模型中的作用。人们创建的数据支持基础模型,开发基础模型,适应基础模型的具体应用,并与所得到的应用程序交互。

  更广泛地应该强调数据主题、创建者、策展人和管理者、基础模型提供者、下游应用开发者、参与共同设计的硬件和软件开发者、恶意行动者、边缘群体,以及领域专家、患者、诉讼当事人和学生等等。

  在研讨会上还特别强调了多样性,例如,代表性多样性、制度多样性和学科多样性是必要的,但这些多样性还远远足以使人们集中于比目前在基础模型发展中更大的程度。在许多意义上的多样性,包括方法和途径,是健康研究社区的精髓。

  CRFM的社区反映了这一点:因为这将会是具有不同学科背景的基础模型的主题,并且所有人也在追求与基础模型正交、互补或矛盾的研究。

  例如,虽然基础模型在数据结构中是典型「自下而上」的研究,但诸如因果网络、概率程序和正式系统等方法却是「自上而下」的。

  虽然这两种研究模式似乎不兼容,但我们认为这些方法可以互相协同。

  自顶向下方法中的推理通常由于难以解决逆问题而难以计算,但是基础模型可以提供有助于推理的快速建议。基础模型可以提供一种的快速、自动、初步的推理,该系统可以与其他方法集成,用于慢速、分析、审议推理。

  总之,CRFM的报告和更广泛的研究议程中的目标是提供一个测量基础模型来识别他们的长处和弱点。通过提请注意这些模式,我们试图强调这些模式的巨大成功和迅速采用,同时也强调其存在的缺陷、持续的局限性以及社会关注的原因。

  最终的目标是帮助人类社会塑造一个更好的未来,让这些模型得以开发、部署,并影响到它们所处的更广泛的生态系统。


标签组:[社会] [斯坦福

本文来源:https://www.kandian5.com/articles/72954.html

相关阅读

曹无伤左司马职务解析:汉朝中央官制中的重要角色

在中国古代历史的长河中,汉朝以其完备的官制和繁荣的文化著称于世。其中,左司马这一职务在汉朝中央官制中占据着重要的地位。而曹无伤,作为秦汉之际刘邦麾下的一位将领,就曾担任过左司马这一职务。 一、汉朝中...

2025-04-03

汉明帝刘庄并未被杀:一位英明君主的传奇一生

在中国历史上,汉明帝刘庄是一位备受赞誉的君主。然而,关于“汉明帝刘庄为什么被杀”的疑问,实际上是一个基于误解的问题。根据真实的历史资料,汉明帝刘庄并未被杀,他是一位在位期间政治清明、经济繁荣、文化昌盛...

2025-04-03

三国第一毒士之争:李儒与贾诩的较量

在三国时期,谋士辈出,他们以其卓越的智谋和深邃的算计,在历史的舞台上留下了浓墨重彩的一笔。其中,李儒与贾诩两位谋士,因其毒辣的手段和深沉的心机,被后人并称为“三国第一毒士”。然而,关于这一称号究竟应归...

2025-04-03

孙恩与孙权:血缘关系的探寻

在中国历史上,孙恩与孙权都是极具影响力的人物。他们分别活跃在不同的历史时期,各自在各自的时代留下了深刻的印记。然而,近年来,关于孙恩是否是孙权后代的问题,引起了人们的广泛关注和讨论。 一、孙恩与孙权...

2025-04-03

澶渊惊雷:寇准力挽狂澜的孤勇与智慧

公元1004年的深秋,北风裹挟着辽军铁蹄的震颤,黄河岸边的澶州城笼罩在战争的阴云之下。北宋朝廷内,主和派大臣们如惊弓之鸟,或主张南迁金陵,或建议西逃蜀地。在这历史抉择的十字路口,一位目光如炬的政治家挺...

2025-04-03

杜甫的代表作:千年传颂的文学瑰宝

在中国古代文学的璀璨星河中,杜甫无疑是最耀眼的星辰之一。作为唐代伟大的现实主义诗人,杜甫以其深沉的情感、卓越的艺术成就和广泛的社会关怀,被后世尊称为“诗圣”。他的代表作不仅在当时广为流传,历经千年仍被...

2025-04-03

寒门诗魂:鲍照诗歌的刚健风骨与形式突围

在南朝绮靡文风中,鲍照如同一把淬火而出的利剑,以寒门之躯劈开时代的脂粉气。他的诗歌既是对门阀制度的血性呐喊,更是中国古典诗歌美学的一次惊险飞跃。这位被杜甫赞为"俊逸鲍参军"的诗人,用充满棱角的文字构建...

2025-04-03

盛彦师之死:李渊的权谋棋局与功臣末路

在唐朝开国功臣的星空中,盛彦师的名字曾如流星般划过,留下短暂而耀眼的光芒。他斩李密、平王世充、拒降徐圆朗,以骁勇善战著称,最终却落得被唐高祖李渊赐死的结局。这场看似悖理的历史悲剧,实则暗含李渊巩固皇权...

2025-04-03

唐朝统一战争:十年烽火铸就大一统伟业

唐朝,作为中国历史上最为辉煌灿烂的王朝之一,其统一之路却并非一帆风顺。在隋末天下大乱、群雄并起的背景下,唐高祖李渊于公元618年建立唐朝,但此时的新王朝仅占据关中、河东一隅,天下仍处于四分五裂之中。为...

2025-04-03

刘唐:梁山泊中的赤发鬼杰

在《水浒传》这部描绘北宋末年农民起义的鸿篇巨制中,刘唐以其独特的形象和鲜明的性格,成为了梁山泊一百零八将中不可忽视的一员。他绰号“赤发鬼”,紫黑阔脸,鬓边一搭朱砂记,上生一片黑黄毛,形象威猛而独特。那...

2025-04-03