倪光南：生成式AI尚在初期，抢抓应用兼顾安全

人民网北京3月3日电 （记者申佳平）第二届北京人工智能产业创新发展大会日前在北京举行。中国工程院院士倪光南在大会致辞中表示，中国在人工智能市场和应用场景上潜力巨大，当下一方面要抢抓发展机遇，在垂直领域和应用场景方面发力，，另一方面要有针对性地思考和研究生成式AI存在的诸多问题，统筹发展与安全。

倪光南认为，当前生成式AI正处在发展初期，检索增强生成（RAG）、精准算法增强等大模型增强技术仍有较大的发展空间。

他以近日备受关注的文生视频应用Sora举例指出，尽管Sora系统通过输入提示词可输出对应的视频，但其目前还无法准确模拟复杂场景的物理特性，也无法理解实体之间的因果关系。如，在Sora生成的果汁泼溅视频中，实体有两个稳定状态，一个是水杯直立的状态，另一个是果汁已经泼溅出来的状态。但是最为复杂的物理状态，即果汁从杯中流洒出来的过程并没有生成出来。

“要做到这一步还需要将众多科学定律、工业软件和计算能力等与大模型融合，很有挑战性。”倪光南表示，目前我国很多企业和机构正在许多垂直领域和应用场景的中小模型方面发力，值得鼓励和支持。

据悉，倪光南院士曾于2019年11月至2023年12月，担任人民日报社主管、依托人民网建设的“传播内容认知全国重点实验室”学术委员会主任。该室验室在生成式AI垂直应用领域开展了积极探索，其推出的“写易”智能创作引擎，训练之初就充分运用符合我国主流价值观的数据集和语料库，内容涵盖政治、经济、文化、社会、生态、党建、国防、外交等重点领域，保障生成内容安全，着重为公务人员、事业单位、国有企业提供优质、持续迭代的智能创作服务。“写易”可基于标题生成观点评论、会议材料、方案策划等，目前已在多个党政系统应用。

倪光南坦言，在可解释、透明、公平、合法、安全等方面，生成式AI仍存在很多问题，需要有针对性地进行深入思考和认真研究，并采取一系列迅速有效的举措，以保障安全有效地应用生成AI。

他指出，有多种途径可“人为”影响生成式AI系统的“价值观”倾向，包括：训练时所使用的大数据集合；依靠人类反馈进行增强训练时所采用的奖惩规则；算法中的某些环节或者运行中施加的某种干预；使用交互中对其进行的诱导等。对于此类“价值观”倾向，建议由权威机构按照“主流价值观”的要求，对生成式AI的产品和服务进行相应的价值观测评，以帮助用户选取适合的对象。

据了解，传播内容认知全国重点实验室针对大模型存在的意识形态风险，于2023年3月研究建立了生成式大模型内容安全测评技术体系，对大模型的应答内容，从政治方向、舆论导向、价值取向、伦理安全等10余个维度，采用人机结合的方式进行综合测评。与此同时，人民网在对各人工智能大模型进行内容安全测评的基础上，针对大模型普遍遇到的、自身难以克服的意识形态安全问题，建设了“主流价值语料库”，为人工智能大模型提供安全语料支撑、知识增强服务，助力各类机构研发的人工智能系统提升意识形态安全水平。

“生成式AI是当代的重大科技创新，将催生新产业、新模式、新动能，是发展新质生产力的核心要素。要以全球视野进行谋划和发展，争取在人工智能时代跻身世界前列，为实现科技强国梦和民族伟大复兴作出更大贡献。”倪光南说。

以下为演讲全文：

女士们、先生们：

大家下午好!

很高兴参加第二届北京人工智能产业创新发展大会。由人工智能引领的新一轮科技革命和产业变革在全球范围内蓬勃兴起,当前世界各国都在做出重大部署，将人工智能领域作为提升国家竞争力的科创高地。

不久前以ChatGPT为代表的大模型揭开了了生成式AI发展的新篇章，虽然我们还很难预测其今后的具体发展途径，但是它肯定会对人类社会产生巨大的影响，我们必须直面应对，迎接相应的机遇和挑战。

首先我们应当看到，在生成式AI的基础研究与人才方面，我们与西方国家仍有显著的差距，为此，我们应当思考如何在基础大模型研发上赶上去，同时，要思考未来在教育模式上的改变，要面向新产业、新模式、新业态，发展新的人才培养方式和标准。

现在生成式AI的应用还刚起步，中国在人工智能市场和应用场景上有很大的潜力，当下应当狠抓应用，以此促进基础大模型及AI算力的发展。目前我国很多企业和机构正在许多垂直领域和应用场景的中小模型方面发力，这是值得鼓励和支持的。

生成式AI现正处在发展初期，大模型的增强技术还有很大的发展空间。例如RAG技术，即运用检索获得的精准结果来提升大模型响应的专业性和准确性，这一技术已得到业界的普遍认可。再例如精准算法增强也很有前景。最近发表的文生视频Sora系统引人注目，它通过输入提示词，可输出对应的视频。然而Sora目前还无法准确模拟复杂场景的物理特性，也无法理解实体之间的因果关系。如在Sora生成的果汁泼溅视频中，实体有两个稳定状态，一个是水杯直立的状态，另一个是果汁已经泼溅出来的状态。但是最为复杂的物理状态，即果汁从杯中流洒出来的过程却没有生成出来。显然，要做到这一步需要将众多科学定律、工业软件和计算能力等等与大模型融合起来，这是很有挑战性的工作。显然，围绕大模型发展各种增强技术是很有意义、很有前途的。

应当指出，生成式AI还存在很多问题值得我们深入思考，例如在可解释、透明、公平、合法、安全等等方面，都需要认真研究，而且这些问题在短期内不可能都完全彻底地解决，为此，需要采取一些迅速有效的举措，以保障人们可以尽可能安全有效地应用生成式AI。建议终端厂商在各种终端上加上“AI代理”软件，这个软件类似于终端上已经普遍使用的“管家”、“助手”这类小工具，不过要将这类小工具的功能扩展到监控生成式AI的应用方面。例如：是否调用某个大模型，是否采用大模型给出的特定响应，如何将大模型与终端上的小模型融合起来……鉴于“AI代理”的能力远远超过了常规小工具，它当然可以包含并提升这些小工具的原有功能，从而将终端的运维、升级、安全防护等等功能都担当起来。在技术架构上，它可以处于系统的最底层，取得终端的最高权限，而将原先的OS作为宿主OS。这里，对它冠以“AI代理”的名称，意味着它可以代理终端所有者对终端实施管控，在身份、价值观、爱好、习惯等等方面都可以代理终端所有者。

我看到国内有的终端已经装备了“AI助手”（例如荣耀的魔法OS 8.0），使终端设备更智能、更有效率，更人性化和个性化。如上述工具加以延伸和扩展，就可以演进成“AI代理”，将AI应用融入终端设备当中 。

这里我还要强调一下对生成式AI系统及其所提供结论是否应当引入“价值观”倾向的概念，因为有多种途径可以导致这类系统带有倾向，包括：训练时所使用的大数据集合；依靠人类反馈进行增强训练时所采用的奖惩规则；算法中的某些环节或者运行中施加的某种干预；使用交互中对其进行的诱导等等。既然有倾向，当然也可以实行评估。如同为了保障信息安全，可由权威测评机构进行相应的安全测评那样，对于AI产品和服务，为了保障伦理安全，也可引入相应的测评机制。可由权威机构按照“主流价值观”的要求，对生成式AI的产品和服务进行相应的价值观测评，以帮助用户选取适合的对象。

综上所述，生成式AI是当代的重大科技创新，它将催生新产业、新模式、新动能，是发展新质生产力的核心要素。我们要以全球视野进行谋划和发展，争取在人工智能时代跻身于世界前列，为实现科技强国的梦想和民族伟大复兴作出更大的贡献。