코인정보

AI代理的能耗问题:比聊天机器人高出136倍

金成贤 기자 2026-07-05 15:20
LLM调用增加9.2倍,响应时间提升153.7倍,GPU近半时间处于待机状态 专家称AIDC规模竞争警示,需共同设计模型与基础设施
数据中心 [图片=Getty Images]
数据中心 [图片=Getty Images]


人工智能(AI)代理的电力消耗比传统生成型AI的简单问答高出最多136.5倍。因此,有专家指出,随着AI代理的发展,提升基础设施的效率设计显得尤为重要。
 
根据KAIST(韩国科学技术院)5日的报告,电气与电子工程系的尤敏洙教授研究团队将AI代理定义为数据中心的服务器和图形处理单元(GPU)需要持续处理的新型工作负载,并分析了实际执行过程中产生的计算量和能耗。
 
AI代理不仅仅是回答问题,它能够自主制定计划,并利用计算器、代码执行等多种外部工具解决复杂问题。这是全球首次对AI代理的计算成本和能耗趋势进行定量分析。
 
分析结果显示,AI代理的调用大型语言模型(LLM)的次数比传统的逐步推理方式平均多出9.2倍。随着语言模型的重复调用,响应时间最多增加153.7倍,而在外部工具执行任务期间,GPU在整个执行时间中有多达54.5%的时间处于无计算状态。
 
电力消耗的增加更为显著。使用700亿参数的商业AI服务级别的LLM的AI代理,处理一个问题的平均电力消耗为348.41瓦时(Wh)。假设未来每天产生137亿次AI代理请求,数据中心的电力需求将达到约198.9吉瓦(GW),相当于美国整体平均电力消耗的一半。
 
研究团队表示:“这是首次定量展示AI不仅变得更智能,还需要多少电力和成本来实现和维持这种智能。”他们强调,“将AI代理模型与电力基础设施进行综合设计和优化的方式将变得更加重要。”
 
专家们评价称,这项研究对当前无限扩展AI基础设施的趋势发出了警示。
 
前首尔大学电气信息工程系教授(前科学技术信息通信部部长)崔基勇表示:“这篇论文具有重要意义,因为它警示我们,单纯按照当前AI代理的需求无限扩大AI数据中心的规模和成本可能并不可持续。”
 
不过,他指出对136.5倍这一数据的解读需要谨慎。崔教授表示:“为了更好地回答复杂问题,不得不使用AI代理,这使得与单次对话的比较并不完全合理。”但他也指出,“尽管如此,这清楚地表明,解决复杂问题所需的能量远高于简单聊天。”
 
作为替代方案,他提出了硬件和算法的优化。崔教授表示:“用效率更高的神经网络处理器(NPU)替代GPU,以解决供应链、成本和能耗问题,这也是努力的一部分。”他还指出,“需要从多个角度优化AI代理及其操作方式,而这篇论文的分析结果可以成为这一努力的起点。”
 
从技术哲学的角度也提出了问题。汉东大学全球领导力学部教授孙华哲表示:“AI的能耗问题已经被广泛提出,但在AI的发展过程中,常常被视为不重要的小问题。”他指出:“如果AI导致所有人使用的能源价格上涨,那么我们就需要更仔细地审视AI带来的益处是什么,以及这些益处是为了谁。”



※ 本报道经人工智能(AI)系统翻译与编辑。

《 亚洲日报 》 所有作品受版权保护,未经授权,禁止转载。