“全能网友”ChatGPT火出圈，国际科技巨头布局AI聊天机器人，国内大小企业能否迎头赶上？差距在哪？
华控投资的第三代人工智能龙头企业、中国ChatGPT模型的开拓者北京智谱华章科技有限公司（下称“智谱AI”）CEO张鹏，近期就这一热点话题接受了采访。
智谱AI构建了高精度通用知识图谱，并把两者有机地融合研发了数据与知识双轮驱动的认知引擎。2022年8月，由清华大学知识工程实验室与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，高精度双语千亿模型GLM-130B在多个公开评测集上性能超过GPT-3。GLM模型还支持英伟达、华为昇腾、海光DCU以及神威超算等多种芯片，支持快速推理，通过量化仅需4张英伟达RTX3090就可以运行千亿模型，实现真正的大模型普惠。
同时智谱AI联合清华、华为发布了代码生成模型CodeGeeX，只需几行注释就能自动生成代码，还能一键实现不同编程语言之间的自动转换。智谱AI基于GLM，推出了聊天机器人XDAI和chatGLM，让机器模拟人类的思考模式，实现知识具象化的对话系统。
但是，在底层技术上，国内跟国外还有一定的代差，ChatGPT背后的GPT-3.5模型领先国内大模型一个代差，仍然值得去尽力追赶。
国内大模型百花齐放，如果要追赶并生产出类ChatGPT产品，首先要有能跟国际比肩的高性能基座模型，例如类GPT-3模型。在基座模型上优化，包括加入代码的训练增强逻辑性，做监督性的训练、强化学习的训练和用户反馈的数据监督训练，或许能得到与ChatGPT背后的模型相媲美的大模型。
通用人工智能是指具有一般人类智慧，可以执行人类能够执行的任何智力任务的机器智能。ChatGPT的出现能否说明人类已经接近通用人工智能？
张鹏认为，它离真正的通用人工智能甚至认知智能仍有距离。通过大规模预训练模型技术，ChatGPT实现了部分认知推理能力和内容生成能力。但它仍然欠缺认知中严谨的知识和逻辑，欠缺生成结果的可解释性。
究其原因，OpenAI在训练ChatGPT的时候历经从最基础的1750万基座模型GPT-3到加入代码的Code-Davinci-002再到加入了指令微调的InstructGPT，最后到最近加入强化学习的Text-Davinci-003和ChatGPT，每一次进步都是算法+数据巧妙设计的结果，但这些训练过程都没有考虑常识知识的加入。因此对于认知大模型，张鹏表示，或许可以通过加入记忆模块和自我反思机制，实现进一步突破。
ChatGPT曾在诱导下写出毁灭全人类的计划书，因此需要考虑监管问题。目前ChatGPT还存在不可避免的缺陷，暂时不太可能完全替代某一个职业，但随着用户量的急剧增加，给ChatGPT的反馈信息越来越多，模型迭代训练后，张鹏表示，未来或可替代简单重复、技术含量不大的工作。“总体上，目前技术已经跑在前头了，安全、法律、道德等层面对它的约束和应对还是要跟上。”
国内大规模百花齐放，底层技术与国外有代差
Q：现在人们会和ChatGPT交流自己的职业会不会被它替代。
张鹏：目前ChatGPT还有一些不可避免的缺陷，暂时还不太可能完全替代某一个职业或某一份工作。但随着用户量的急剧增加，给ChatGPT的反馈信息越来越多，模型迭代训练后，是真的有可能替代一些简单重复、没有太大技术含量的工作。
Q：ChatGPT的出现能否说明我们已经接近了通用人工智能？
张鹏：说通用人工智能还早，顶多算是通向通用人工智能中的认知智能很重要的一步，通过大规模预训练模型技术，实现了部分认知推理能力和内容生成能力。当然它仍然会“一本正经地胡说八道”，犯一些常规性和知识性的错误，这就是它的一个缺陷，它仍然欠缺认知当中严谨的知识和逻辑这个部分，它生成的结果的可解释性还比较欠缺。
Q：你们去年联合清华的几个实验室训练出了GLM-130B模型，后续有哪些发展规划？
张鹏：自2022年8月发布以来，GLM-130B收到了41个国家266个研究机构的使用需求，包括Google、Microsoft、Stanford、MIT、UC Berkely、CMU、Harvard、华为、百度、阿里巴巴、腾讯、头条、智源、北京大学、浙江大学、香港大学等。当前OpenAI的GPT对中国禁用，英伟达的A100等高端芯片对中国禁售，我们在做大模型的过程中挑战巨大，但同时也有这份责任心，要做大模型的中国创新，要做能媲美GPT系列的认知大模型。接下来从GPT-3到GPT-3.5到ChatGPT这条路径中的必要工作我们会持续去做，基于GLM-130B模型提供基础服务能力，比如文本生成、代码辅助编写等。
Q：在大模型中加入记忆模块和自我反思机制吗？
张鹏：这是我们的一个构想，团队正在这方面持续探索。首先要解决犯知识性错误的问题，因为现在ChatGPT是纯用生成的方式来回答问题，没有结合常识知识和背景性质的数据，所以它回答问题的时候虽然语句上是通顺的，但知识性的细节会出错。这是模型本身的缺陷，在训练时可能没有加入更多的知识，或者生成这个结果后没有用事实性的逻辑推理方式去检查。记忆模块就是为了解决知识内容犯错的问题，把这些知识记住就不需要胡说八道，直接从记忆里检索出来就好了。
Q：总的来说，ChatGPT会带来哪些技术和社会挑战？
张鹏：技术挑战就是它离真正的通用人工智能甚至认知智能这个目标还有一些距离，包括加入基于self-instruct的自我反思机制，需要从技术上持续突破。
对于社会问题，根据我们的观察，首先要考虑安全风险，它曾经在诱导下写出毁灭全人类的计划书，因此需要考虑如何避免或受到监管。其次，每个技术的诞生都会存在滥用的问题，现在国外有些学校、科研机构、期刊杂志禁止使用ChatGPT写论文。此外，可能会引起工作岗位、职业的变更，甚至会引起一些不稳定因素。总体上，目前技术已经跑在前头了，安全、法律、道德等层面对它的约束和应对还是要跟上。
Q：大小企业都在做大模型或类ChatGPT产品，怎样的企业会胜出？
张鹏：做这件事需要几方面要素，首先要有深厚的技术积累，持续深入研究，并有成果产出。
第二需要有大量资源，包括数据、算力。这一点上，国内和国际的大企业有天生的优势。
第三需要生态建设，一项新的技术在投入使用过程中不能靠一两个公司或者少量的人就能把整个事情做起来，它需要一个生态。比如大家愿意在产品中嵌入并应用这些技术，技术本身会接收到更多反馈，然后不断迭代，这需要一个良好的应用生态环境去促进不断升级和迭代。
从这几个要素可以判断哪些企业或机构能够在这件事上走得更远。
华控观点
华控基金项目负责人认为，深度神经网络层数越多、参数量越大，能力越强，但是规模越大训练难度越高，边际成本越高，边际效益越低。拥有更强并行能力的Transformer架构带来了深度神经网络模型参数量提高到现在的百亿和千亿级别。2018年OpenAI基于Transformer模型提出GPT模型，参数量1.17亿，2020年推出GPT-3，参数量达到1750亿，预训练数据达到45T，GPT-3在自然语言处理、文章撰写、编写代码等困难任务方面有突出表现。
