肖仰华：大小模型协同，拥抱“千行百业”的应用场景
2023复旦管院科创周·观点精粹
■ To B服务的智能化正在经历从传统小模型、知识图谱驱动向大模型驱动的引擎升级。
在2023复旦管院科创周“复旦科创先锋年度论坛”上，复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华发表了“走向千行百业的大模型”主题演讲，围绕人机协作模式的前景、大模型对全行业的发展影响等视角分享了最新研究和前沿洞察。
以下内容根据演讲速记整理
01
■ 人机协作认知多变的复杂世界
自ChatGPT去年11月底上线以来，这是梦幻般的一年。ChatGPT在不到两个月的时间里突破了1亿“月活”，很多新技术名词层出不穷，我们似乎处于前所未有的技术加速发展时代，而唯一不变的是变化本身。
快速变化的技术正在让这个世界日益复杂。以一辆整车为例，有2万至3万个零部件，每一个零部件需要经历数万个零件组合而成的生产线，这样的加工流程可能有700多道程序。所以，整个人类社会日益变成了人、机、物融合的复杂系统，这个系统的复杂性前所未有。实际上，人类现代文明已经告别早期的婴童阶段，进入当下高度复杂的成熟阶段，而“复杂”往往是“成熟”的另一个同义词。
快速发展、日益复杂的世界导致很多社会系统的不确定性增加。例如“黑天鹅事件”“灰犀牛事件”高频发生，给整个世界的发展带来了巨大的不确定性。上世纪90年代，社会学家和经济学家已经在警告我们，技术发展有可能带来社会发展的失速，进而引发失控风险。可以说，当下全人类的最大问题，就是如何应对日益失控的风险。
人作为一种生物智能，个体的认知能力是有限的。一个人拥有差不多10亿个神经元，1万亿左右的参数，而今天的人类并不比1000年前的人类聪明多少——如果大家真的穿越到1000年前的古代宫廷，也许连生存1个小时都是很困难的。
这些事实说明人类的认知受限于生物智能的本质，我们有限的认知能力难以认知当下快速变化、日益复杂、不确定的世界。所以，我们一定要把认知能力让渡给机器，让机器也在一定程度上具备人的认知能力，进而开展人机协作的认知，才有可能认知日益加速变化的复杂世界。
一旦把认知能力赋予机器，机器的认知能力可以随着世界复杂性的增长而增长。当下的机器智能，只要“喂”给它的数据越来越多，供养的算力越来越多，智能就会持续增长。唯有机器形成认知世界的能力，才有可能与世界复杂性的增长同步。所以，未来的认知模式一定是人机协作的认知模式。
很多技术的出现在某种程度上是时代发展的必然。我们必须发展人机协作的认知，而目前人机协作的认知结果就是大家熟知的ChatGPT这一类大模型，大模型可以认为是机器认知这个世界的一个技术成果。大规模的生成式语言模型已经能够在绝大部分人类所擅长的认知任务中，超过人类，甚至达到专家级水平，例如自然语言的处理、理解。生成式大模型出现具有时代发展的历史必然性，是机器发展认知智能的必然趋势。
02
■ 通用人工智能是一场技术“元革命”
在这样快速发展的趋势中，我们可以看到，机器人不单单在理解千行百业的文本，它们又进一步向多模态快速发展。例如，可以理解图像、理解现场的照片并做出精妙回答；可以操控机械臂，完成一些只有人类才能完成的复杂规划任务。
当生成式语言模型逐步向多模态、具身化快速发展，这一系列的发展趋势形成合力，会带来一场前所未有的技术革命，我们把这场技术革命称为“通用人工智能技术革命”。这绝不是传统意义上的某一次技术革命所能比拟的。
我们所熟知的蒸汽革命、电气革命，本质上都是人类智能本身的产物，唯独这一次的通用人工智能技术革命，“革”的是智能本身的“命”。
人类的生活、学习、工作……但凡用到人类智力的所有活动，都有望被通用人工智能重新塑造。可以说，通用人工智能将会渗透整个社会生产、生活的每一个角落，将会渗透进社会的每一根“毛细血管”，对人类社会产生广泛而深远的影响。所以，我一直把通用技术革命视作是一场“元革命”。
这场技术革命会对各行各业会产生什么样的影响？
所谓的千行百业，本质上都是某一个垂直行业。以前的人工智能做了很多各行各业的智能化解决方案，但一直以来效果并不好。直到ChatGPT出现，我们才发现通用人工智能、通用大模型的到来，恰恰是发展领域智能不可或缺的关键。
通用大模型需要通过通用语料进行“炼制”，它吸收了互联网上的各种学科知识，可以说是“通才”。垂直领域的智能化大模型为什么需要通识能力？打个比方，医生在诊断病人时，10位病人中可能有8位是健康的，只有2位需要医生进行干预。也就是说，要想了解什么是疾病，就要先理解什么是健康。推而广之，想理解某一个领域内的概念，就要先了解领域外的概念。
这一波行业智能化解决方案，恰恰是先发展通用认知能力。因为只有建立起通识能力，才有可能发展专业认知能力，通识是专识的基础。人类的教育也是如此，我们先经历K12基础学习进行通识教育，然后才是大学的专业教育。没有通识能力，就不可能有垂直行业的领域认知能力。
03
■ 大模型拥有哪些新能力？
首先，大模型带来了开放世界的理解能力。比如，药品说明书会介绍各年龄层服用药剂的方法。当普通人去询问如何用药时，通常会这样问：“我今年23岁了，男性，应该怎么使用这个药？”以前的人工智能技术很难理解这类开放性表达，但是今天的通用大模型有能力准确理解23岁属于成年男性，可以匹配文档中相应的剂量来做出准确回答，本质上这就是通用人工智能的开放理解能力给我们带来的效果。
第二，大模型有着强大的组合创新能力。大模型能够将任意两种学科、技能进行组合创新，使“举一反三”成为可能。例如学会解决A任务、B任务，就可以泛化出解决“A+B”任务的能力。这种准确泛化出新的组合任务的能力，是大模型给我们带来的新价值。
第三，大模型的评估评价能力首次达到人类专家水平。以前很多评价任务一定要由人类去做，比如习语（具有特定形式的词组，包括成语、俗语、行话等）翻译，通常需要具备一定专业外语能力。今天使用GPT4这样的超级大模型，只要能够写出任务的评价标准，以及一步一步评价的过程，大模型就能够像人类专家一样进行非常专业的评估和评价。
第四，大模型具有复杂任务的规划能力。这使很多知识工作的自动化成为可能。例如，某位同学要做一项京沪两地的平均气温数据分析，如果纯靠自己去完成，从找数据开始，进而找软件、做分析统计、假设检验分析，最后形成结论，可能要花大量时间。但如果借助大模型强大的规划能力，可能只需要几秒钟，就能把这项分析通过自动化全部完成。这是好消息也是坏消息：好消息意味着只要能够熟练使用大模型，就不用花大量时间去手工作业；坏消息是常规数据分析工作有可能被机器所替代。在AGI（人工通用智能）被大量应用的未来，我们需要深入思考，人类相对于机器的独特价值是什么？
大模型还给我们提供了跨领域、跨专业，尤其是跨系统边界的知识。大模型是巨大的知识容器，尤其擅长跨学科边界处的知识。
最近有则新闻，说一位小朋友得了怪病，求助多位专科医生无果，最后通过ChatGPT得到了准确诊断。为什么GPT能有这样的诊断能力？每一位专科医生往往在自己的专科领域是一座知识的高峰，但你很难在所有的领域都成为高峰。当大模型的全域认知水平显著提升后，就能够认知病种之间的盲区，人类历史上第一次有机会做到这一点。对普通人来说，能够擅长某一个领域已经非常不容易，而大模型可以在很多系统的边界处拥有非常强大的认知能力。
我们常说跨部门、跨层级、跨专业……一个“跨”字往往意味着难题所在。不同部门、不同学科之间的认知是一个巨大的盲区，大模型所能认知的跨学科知识，其很多内容可能是人类从未探索或触及的领域，这将给我们带来前所未有的机会。
正因为大模型具备这些能力，因此我倾向于认为大模型对于行业发展，尤其是对于To B行业的发展，会是一次全新的智能引擎升级。这就像人类发明了车，经过几百年，外形并没有太大变化，依然是四个车轮，而汽车制造的变革在于引擎。从最初的马力，到蒸汽，再到后来的油气，现在的电动，是引擎在驱动车的变革。
To B服务的智能化正在经历从传统小模型、知识图谱驱动向大模型驱动的引擎升级。在这个过程中，有三个问题一定要重视：1、大模型需要与现有企业流程无缝融合，需要与现有工具或接口的有效衔接。2、大模型需要与员工、专家有效协同。3、大模型需要领域知识注入，以解决“幻觉”问题。
To B行业的应用本质是一类复杂、严肃的决策任务。ChatGPT比较好地实现了机器与人类的开放式对话，也就是开放式闲聊，然而实际应用场景多需机器的复杂决策能力，复杂决策才是领域应用的根本特点。例如医疗决策、投资决策都属于复杂决策，需要有专业知识，更要有复杂的决策能力，在这方面，现在的大模型还有漫长的路要走。
大模型要为千行百业创造价值，首要问题是解决“幻觉问题”，大模型容易编造虚假事实去“一本正经胡说八道”。例如问大模型复旦的校训是什么，你得到的“正经回答”也有可能是是编造的，但因为大模型用“一本正经”的文风回答，实际上会使我们在识别错误时异常困难。这就是为什么在很多严肃场合大家不敢用大模型的重要原因，也是大模型作为行业应用时必须要解决的问题。大模型本质上是统计模型，其自身无法从根本上解决这一问题。ChatGPT在很多领域可以“创造答案”，但当用户寻求正确答案时，ChatGPT也有可能给出有误导的回答。GPT4也无法完全解决幻觉问题，增大模型规模和训练量只能一定程度缓解。
此外，因为已经在通用领域学到很多通用知识，大模型往往还缺乏领域的忠实度。行业应用需要大模型根据行业的规范与知识去回答，但它往往对于行业所提供的知识缺乏必要的忠实度，而倾向于使用所学到的一些通识知识来回答，这就是缺乏忠实度会给我们带来的问题。
04
■ 百花齐放的场景应用
如何让大模型在行业应用里创造价值，也就是场景和应用问题。我的基本观点时，大模型赛道是百花齐放的，我们没有必要都专注于通用大模型。从通用大模型，到行业/领域大模型、场景大模型、科学/专业大模型，要开辟大模型竞争新赛道，避免在通用大模型的红海竞争。这条赛道足够宽广，每一家企业都可以发现专属自己独特优势的竞争机会。
其中，尤其想强调场景化大模型的重要性。大模型的重大机遇之一是场景智能化，例如招聘、财务、客服、教师、程序员、图书管理员……这些有可能是大模型优先代替的职业。大模型落地场景特点是规则清晰、意图明确、高流动性。规范化服务为目标的岗位（如“窗口型”岗位）由于其不允许创新、追求规范化流程或标准，将会成为大模型落地试点的重要方向。
还有一类是专业大模型。预训练范式的成功能否迁移到其他复杂形态的数据？比如代码、基因、图、表等，不同类型、结构的数据都可以使用预训练的方式进行处理。所以像化学分子结构大模型、基因大模型、代码大模型……将来都是大有可为的新赛道。
大模型应用赛道有一种非常重要的产品形态是场景化的认知智能体。大模型已经不仅仅是语言、图像数据处理与理解的基础模型，更成为自治智能体的“大脑”，有了“大脑”就可以与环境做复杂交互。大模型驱动的智能体将具备复杂环境的自适应感知与认知能力，具有一定的自治性、自主性。未来的机器绝不简单只是和环境做物理交互，而是可以进行复杂的认知交互，成为认知智能体。
以Travel Agent为例，Agent的核心能力包括环境认知、场景认知、工具使用、运筹规划、协同合作、意图理解、约束规划、个性适配。可以试想现在的所有工作，将来都会变成若干个Agent，比如行政助理、人力资源、文献检索等，未来我们身边会有各种各样的Agent来完成各类自动化服务。To B企业现在可能已经有自己的信息门户，但仅仅是一个信息集散地，交互方式还不够智能，我们在“信息迷宫”中很难找到所要的信息，或者能够解决特定问题的应用或服务。未来的企业信息门户一定是智能化的Agent形式，可以根据用户的意图和企业现有信息系统，甚至跨越不同系统来完成任务。
我国正在大力推动数据要素市场化，当数据成为第五个生产要素，数据将成为数字中国战略实施的重要元素。当前的数据价值变现全链路上的各个环节，仍然需要人类专家的密集参与，暂时还难以实现数据要素的有效、高效流通和数据价值变现。其根本原因在于缺乏智能化手段。但实际上，大模型已经具备了一定的数据理解能力，将可能实现自动化的数据要素价值变现。
05
■ 大小模型协同有效落地
大模型成为数据要素释放价值的重要工具，在推动大模型进入行业应用时，成本和价值将是必须要考虑的问题。
首先，大模型能够将不可控、高风险的研发、数据成本变为可控的硬件推理成本，传统特征的工程样本标注的代价就能被节省。但是大模型本身有炼制和使用成本，例如像GPT4规模的大模型训练一次需要6300万美元。除了炼制成本，大模型的使用成本更加值得关注。当千行百业应用大模型时，应用成本会显得十分突出。比如某家公司每天做100万篇互联网文档内容分析，如果用GPT4的API完成，一天大概需要人民币26万元。
此外，大模型的生成过程需要大量时间成本。例如，花费26万元完成100万篇的文档分析，完整生成过程需要15天，处理文档的速度远远跟不上产生文档的速度，所以在现实应用中，时间成本还很难被接受。
如何降低大模型的使用成本？首先是大小模型协同。并不是任何场景都需要使用大模型，很多大模型应用属于“杀鸡用牛刀”，大小模型协同才是降低应用成本的有效方法。
成本控制的首要原则是：非必要不直接用大模型。现阶段大模型作为高成本工具，应当被用在非它不可的部分。可以说，未来商业价值取决于能不能把擅长通识能力的大模型和擅长专业能力的小模型进行协同，才有可能真正创造商业价值。
两类典型协同模式：通用大模型+领域小模型，行业大模型+任务小模型。
在这里尤其要注重传统知识库的积累。知识图谱的积累十分重要，知识仍然是缓解大模型幻觉、降低大模型应用成本的重要思路。在大模型实际应用的各个阶段，包括提示阶段、生成阶段和评估阶段，都要首先用好先验知识，才能让大模型廉价又高效率地为我们服务。
此外，还要注重大模型的“小型化”和“时效性”。真正在一线为大家服务的往往是经过压缩的小模型，而不是真正意义上的大模型。借助人类大脑功能分区理论对大模型的功能集约性开展研究是根本。时效性是发展大模型的核心竞争力之一，隐性方法包括知识编辑和持续学习，显性方法则包括记忆增强、检索增强和接入互联网增强。
如何促进大模型更好地落地？第一，要把大模型炼制过程变成科学。现在大模型的炼制方式很像传统的炼金术炼丹，所有的数据准备好丢进服务器，然后祈祷好的效果，整个过程并不透明。要想让炼制过程更加透明、科学，仍然需要努力。其中很重要的努力就是对语料进行精准刻画。我们需要掌握大模型炼制工艺的关键参数，及其对大模型效果的评价体系，建立起数据特性与模型能力之间的因果关系。
大模型的能力发展与人类的认知发展理论存在高度可映射关系。人类认知在什么时候发展出注意力，什么时候发展出信念，什么时候发展出欲望……儿童的认知能力存在一个持续发展的过程，这对大模型炼制存在指导意义。基于Theory of Mind (TOM，认知发展理论)，将人类与大模型的认知发展进行对比研究是将大模型从炼金术发展为科学的重要思路之一。
对于行业大模型炼制，尤其要注重数据的选择，不能盲目配比数据。例如，要让大模型具备金融从业人员的专业认知水平，光用金融行业的基础数据来训练并不够，我们需要思考普通人在成长为金融专业人员的过程中具体学到了什么，可以通过回答类似问题对大模型行业训练过程进行指引。
大模型的炼制过程尤其要注重高质量指令数据的收集。高质量指令数据可以释放底座大模型的价值，反之如果指令数据收集质量差，会伤害底座大模型的能力。所以行业大模型的能力很大程度上取决于指令数据的质量。
大模型的行业落地路径与行业专家的演进路径十分相像。大模型在千行百业的应用，本质就是利用大模型实现专家水平的认知智能的过程。
总体而言，在推动大模型进入千行百业应用的过程中，一定要合理定位、正确认识、场景多元、积极开辟新赛道。要注重大模型的成本和价值，促进大模型和千行百业的深度融合，大模型绝不应该只停留在炼金术阶段，我们要推动它变成科学。大模型必须与行业深度融合才有可能实现真正的可持续发展。
2023复旦管院科创周
文字 | 傅文婧
编辑 | 徐玉茹
责编 | 刘科