好多东谈主工智能(AI)科学家和初创公司觉得,通过加多更多数据和算力来扩大现时模子,以捏续编削AI模子的枢纽正在走到终点。因此,像OpenAI这么的AI公司正在寻求通过诞生新的磨真金不怕火时间来克服现时边临的挑战,这些时间更像东谈主类的想考状貌。
自风靡群众的聊天机器东谈主ChatGPT发布以来,科技公司齐是通过加多更多数据和算力来扩大并改善AI模子。但当今,一些最了得的AI科学家正在指出这种“越大越好”的局限性。
东谈主工智能推行室Safe Superintelligence和OpenAI的辘集首创东谈主Ilya Sutskever近日示意,扩大预磨真金不怕火(磨真金不怕火AI模子的阶段,该模子使用多半未标识的数据来清楚话语格式和结构)所取得的效果一经达到了一个牢固期,对晋升模子性能的匡助有限。
Sutskever早期概念通过在预磨真金不怕火中使用更多数据和算力来扫尾生成式AI的雄壮飞跃,这最终创造了ChatGPT。他本年早些时候离开OpenAI,创立了Safe Superintelligence。
Sutskever示意:“夙昔是范围扩展的期间,当今咱们又回到了遗迹和发现的期间。每个东谈主齐在寻找下一个东西,这比以往任何时候齐更热切。”
此外,Sutskever还承认他的公司正在接头一种扩大预磨真金不怕火范围的替代枢纽,但未闪现更多细节。
新时间竞赛
大模子的所谓“磨真金不怕火”需要同期运转数百个芯片,资本可能高达数千万好意思元。商量到系统的复杂性,它们更有可能出现硬件导致的故障;在测试甘休之前,接头东谈主员可能无法知谈这些模子的最终性能,股市配资这可能需要几个月的期间。
另一个问题是,假话语模子吞吃了多半数据,而AI模子一经蹧跶了寰宇上通盘容易得到的数据。电力短少也恣虐了磨真金不怕火运转,因为这个历程需要多半的动力。
为了克服这些挑战,接头东谈主员正在探索测试时筹办(test-time compute),这是一种在所谓的推理阶段或使用模子时增强现存AI模子的时间。举例,模子不错及时生成和评估多种可能性,最终弃取最好前进旅途,而不是立即弃取一个谜底。
这种枢纽使模子不祥将更多的连续才智插足到具有挑战性的任务中,比如数学或编码问题或需要近似东谈主类的推理和有酌量的复杂操作。
OpenAI接头员Noam Brown此前示意:“事实诠释,让一个机器东谈主在一盘扑克牌中想考20秒,与将模子放大10万倍、磨真金不怕火期间延迟10万倍的效果调换。”
OpenAI 在其新发布的模子“o1”中弃取了这项时间,与此同期,来自Anthropic、xAI和DeepMind等其他顶尖AI推行室的接头东谈主员也在骁敢于诞生我方的时间版块。
OpenAI首席家具Kevin Weil示意:“咱们看到了好多低落的果实,摘下来让这些模子变得更好。比及东谈主们蹈厉奋发的时候,咱们会努力诞生新的时间。”
多位科学家、接头东谈主员和投资者觉得,这种新时间可能会重塑AI武备竞赛,并对AI公司所需求的千般资源产生影响。