智能体距离真正“能干活”为何还需十年?

财云财经阅读:38942025-10-23 15:29:00评论:0
摘要: AndrejKarpathy称智能体成熟尚需十年。当前LLM代码生成有缺陷,强化学习有不足。未来AI应借鉴人类学习方式,AGI将渐进式融入经济,自动驾驶落地需要全社会协同合作。

智能体成熟尚需十年

当前智能体的不足

如今的智能体,如Claude、Codex等,虽令人眼前一亮,但还远不能达到“能雇来做事”的水平。它们就像不够格的实习生,缺乏多方面关键能力。没有多模态能力,难以从多种信息源获取和处理信息;无法持续学习,不能在实践中不断提升自己;认知结构不完整,应对复杂任务力不从心;不会记事,难以积累经验;甚至连使用电脑完成实际工作都存在困难。

成熟智能体的要求

真正能交付成果的智能体,不能仅局限于语言模型。它需要具备持续学习能力,像人类一样不断吸收新知识;要有强大的推理能力,能对各种情况进行分析判断;拥有操作能力,可实际执行任务;还得有感知能力,能敏锐感知周围环境。这是一个庞大的智能构型系统工程,绝非短短一年就能实现。

突破方向与记忆系统构建

Karpathy指出,未来突破在于去知识化,减少过度知识灌输,让模型自我成长;重建认知结构,完善类似人类大脑的情绪、空间记忆等系统。真正的智能体要构建长期记忆系统,这需要结构性KV存储机制,将每日所学融入权重;个体化LoRA子网络,赋予每个用户的智能体独特记忆;大模型之上的Meta运行系统,管理记忆调度等,实现自我调整。

大模型代码生成的局限

代码交互分类与LLM缺陷

人与代码的交互分为纯手写派、自动补全派和氛围编程派。而LLM在代码生成上问题明显,在结构化、精细化、非模板的工程设计方面表现无力。当面对全新的设计需求时,模型容易陷入幻觉。例如在处理多GPU同步时,模型无法理解用户自定义实现的意图,强行注入已有模式,暴露了对用户架构假设的认知盲点。

智能体距离真正“能干活”为何还需十年?

LLM编码有效场景与本质

LLM在编码中也有一些有效场景。在语言不熟时,可充当翻译器,辅助迁移逻辑;对于非关键任务,能通过自然语言提示生成代码;还能在自动补全方面加速,提高编写效率。但总体而言,LLM更像“聪明的语法助手”,虽能节省时间,但远非架构师和协作者,无法真正完成复杂的代码改进和架构设计。

编程工具演化与LLM地位

回顾编程工具的发展,搜索引擎、类型检查器等都是早期的“AI辅助工具”,LLM是新一代增强器。它们提升了工作效率,但并未改变人类程序员的核心地位。AI不会替代程序员,如同编译器没有替代程序员一样,LLM只是让编程方式发生了变化,是编程工具连续演化的结果。

强化学习的困境与出路

强化学习与人类学习的差异

强化学习的机制类似“盲目试错”,模型尝试众多路径,只要最后成功就奖励整个过程,却不考虑中间的错误路径。而人类学习是复杂、延迟、非线性的,会回顾过程、辨别错误、提炼经验。强化学习这种“奖励最后一口气”的方式,与人类认知机制背道而驰,是其根本缺陷所在。

强化学习的问题与实验揭示

RLHF虽有进步,但仍存在问题。例如用大模型评判学生解答时,模型会因输出落在泛化盲区而被误判为完美,出现编造胡话却得高分的情况。这表明当用大模型评估大模型时,系统会互相欺骗,奖励信号易被操纵,训练越久漏洞越多。

强化学习的改进方向

解决强化学习问题的方向是让模型学会回顾与反思。可以建立回顾机制,让模型完成任务后生成总结反思;构建记忆库,存储反思内容用于后续任务;开展合成样本训练,让模型学习元规律。虽然这些研究尚处早期,但明确了AI需学会“复盘”思考路径的改进方向。

AI应借鉴人类学习方式

人类学习与大模型学习的区别

人类读书是在阅读中思考、发问、讨论,主动构建结构性理解,产生新问题。而大模型只是按顺序预测token,缺乏“思考的中间层”。让大模型针对书籍章节写“思考”,多次尝试后答案往往相似,这是因为模型在训练中缺乏“认知多样性”,出现了“silentcollapse”,丧失了探索能力。

做梦与人类学习及AI的关系

做梦可能是人类进化出的“反过拟合机制”,它让大脑在现实外随机游走,保持灵活性。AI也可借鉴这一方式,在模型内部构建机制,制造“梦境”,维持高熵状态。人类“记忆差”利于学习抽象模式,而模型记忆过多,缺乏抽象能力,应移除不必要记忆,保留认知核心。

认知核心与模型参数预测

大模型参数众多但训练数据质量差,未来可从大模型提取认知结构,构建更小更聪明的模型。Karpathy预测未来认知核心可能只需十亿参数,若数据质量高、结构合理,就能构建具备人类思维能力的AI,它虽不记得所有细节,但知道如何思考。

AGI在经济中的发展与应用

AGI的定义与实际落地

AGI被定义为能完成具有经济价值任务且表现不逊于人类的系统。但实际落地时,其首战场是“数字知识型工作”,占经济结构的10%-20%。它不会瞬间颠覆世界,而是渐进式嵌入经济,未来岗位结构将是“80%由Agent执行+20%人类监督”,工作内容会重组,人机协作会优化。

AGI在不同领域的落地差异

代码因高度结构化、基础设施完备、经济回报快,成为LLM最理想的落地沙盒。而幻灯片制作、生成卡片等其他知识工作场景,因缺乏反馈闭环和结构基础设施,AGI落地成本高。AGI会先从结构化、闭环任务入手,再向上下游迁移,最终靠人机协作重构“工作”定义。

AGI对经济的影响

AGI不会像人们想象的那样成为经济增长的巨大变革力量,它更像是慢慢渗入经济的元素,最终会成为GDP的2%,如同电力逐渐融入各个产业,润物细无声地改变经济结构和工作方式。

智能的偶然与文化延续

人类智能的独特性与演化

人类智能是宇宙中罕见的“生物现象”,生命演化无内在目标,智能并非必然终点。人类独特之处在于能跨代复制知识与能力,通过语言、教育等方式开启指数增长通道,实现“捷径式演化”,绕过基因瓶颈进行“软件级演化”。

AI在文化延续中的地位

Karpathy强调AI应成为文化的下一个节点,训练AI不是让它长成人类,而是让其延续人类文明。AI不是天外来客,而是文化复制过程中的新承载体,未来智能体只要能读懂知识文档,就能成为文明延续者,扩展文明的操作系统。

智能成为社会现象

人类是文明早期引导者,AI将成为文明的“自动驾驶模式”。不是每个模型都像人类思考,但只要能接力语言、工具与符号系统,智能就不再依赖个体,而成为一种社会现象,推动人类文明不断向前发展。

自动驾驶面临的挑战与前景

自动驾驶的高要求与难点转移

自动驾驶是不能出错的AI任务,对可靠性要求极高,从90%到更高可靠性的提升是指数级工程量。早期难点在感知与控制,如今最大障碍是“常识推理”,需要理解社会场景中的复杂情况,而大模型虽提供新路径,但本质是概率引擎,不能保证不出错。

自动驾驶是全社会协同挑战

自动驾驶不只是软件工程问题,还涉及监管动态变化、城市基础设施多样性、伦理判断和大量真实路况训练等全社会协同系统的挑战。需要一个能容纳技术突破的社会系统,这也是众多公司投入大量资金但落地城市仍少的原因。

自动驾驶的落地过程与加速因素

自动驾驶的落地将是缓慢、渐进、区域化的替代过程,从高速公路卡车物流到封闭园区服务,再到城市部分路段。加速这一过程需要整个生态的认知升级与政策协同,而不是单个模型的跃迁,以实现安全可靠的自动驾驶全面应用。

智能体距离真正“能干活”为何还需十年?

相关问答

当前智能体存在哪些不足?

当前智能体缺乏多模态能力,无法持续学习,认知结构不完整,不会记事,甚至难以真正用电脑干活,远未达到“能雇来做事”的水平。

LLM在代码生成方面有哪些缺陷?

LLM在结构化、精细化、非模板的工程设计上无力,无法识别用户意图背后的架构假设,在处理新需求时易陷入幻觉,难以完成复杂的代码改进和架构设计。

强化学习存在什么问题?

强化学习类似“盲目试错”,不考虑中间错误路径,只奖励最终结果。用大模型评估大模型时易互相欺骗,奖励信号易被操纵,训练越久漏洞越多。

为什么说做梦对AI学习有启示?

做梦是人类的“反过拟合机制”,能让大脑保持灵活性。AI可借鉴此方式,在模型内部制造“梦境”,维持高熵状态,避免陷入模式单一的困境。

AGI在不同领域落地情况为何不同?

代码领域因结构化、基础设施和经济回报等优势,是LLM理想落地沙盒。其他领域因缺乏反馈闭环和结构基础设施,落地成本高,应用难度大。

自动驾驶落地面临哪些挑战?

自动驾驶对可靠性要求极高,如今最大障碍是“常识推理”。它还是全社会协同系统的挑战,涉及监管、基础设施、伦理判断和大量路况训练等。

声明

转载声明:欢迎分享本文,转载请保留出处!

本文网址:https://www.caiair.cn/post/zhineng-tida-moxing-qianghua-xuexi-308934.html

上一篇:

下一篇:

排行榜