这项接洽由新加坡治理大学和上海交通大学的接洽团队联完成，于2026年7月以预印本方式发布，论文编号为arXiv:2607.01211v1，分类包摄于贪图机科学软件工程向（cs.SE）。感敬爱敬爱的读者可通过该编号在arXiv平台查阅竣工论文。

**故事从说念考题提及**

每次期末考试，淳厚出的题目自身须是靠谱的——淌若谜底卷上的尺度谜底有半是错的，或者同说念题在不同科场判分式不同，那这场考试就算不上公说念，它测出来的分数也就没什么意象。

面前，AI域正在发生访佛的事情。

近几年，有类东说念主工智能步调变得相配热点，叫作念"代码智能体"——简便说，便是简略自动阅读段步调代码、找出让它启动快的法、然后写出校正案的AI。各大科技公司纷纷宣称我方的AI在这件事上越来越犀利，数字个比个顺眼。但这些数字是从哪儿来的？它们是通过"基准测试"出来的得益，也便是门瞎想出来揣摸AI能力的"考试卷"。

问题在于：这些"考试卷"自身够不够可靠？

新加坡治理大学和上海交通大学的接洽团队决定安逸审查下这个问题。他们中式了面前具代表的三套代码能化基准测试——GSO、SWE-Perf和SWE-fficiency——对这三套"考卷"重新到尾作念了次度审查，论断绝顶发东说念主省。

---

**、咱们在考什么？先搞明晰这三套"考卷"**

要默契接洽团队发现了什么问题，先得知说念这三套基准测试是干什么用的。

你可以把个代码智能体默契成个门负责"加快步调"的工程师。给它段代码和项任务，它需要找出代码里跑得慢的地，然后改写代码古老调启动得快，同期保证步调的不出错。这比简便地写代码要勤恳多——就像不单是条件你作念说念菜，还条件你在保捏口味不变的前提下把烹调时分裁减半。

三套基准测试的共同框架是这样的：每说念题齐对应个真实的开源代码仓库，题目里有段"原始代码"（基线）和段"参考化代码"（官尺度谜底），还配有门用来测量启动速率的"计时步调"。AI提交的转变会被跑遍，然后把跑出来的速率和"基线"以及"尺度谜底"作念比较，据此分。

三套测试的具体限制和作风各有不同。GSO来自NeurIPS 2025，包含102说念题，波及10个代码仓库，它用的是门生成的能测试用例；SWE-Perf来自ICML 2026定安塑料挤出机设备，包含140说念题，波及9个仓库，用的是从仓库源码中筛选出来的单位测试；SWE-fficiency相通来自ICML 2026，限制大，498说念题，波及9个仓库，配有门标注过的责任负载剧本。三套测试的分式也各不换取，背面会详备说到这点。

---

**二、换台机器，"尺度谜底"还算数吗？**

接洽团队建议的个中枢问题是：这些"尺度谜底"（也便是每说念题配套的参考化代码）在不同的贪图机上启动，还能踏实地展现出应有的加快果吗？

这个问题乍听可能有点奇怪。但想想看：说念能化题的"尺度谜底"不是数学公式，它只是段转变了的代码。代码跑多快，会受到机器硬件的影响——就像相通辆自行车，在平路上骑和在山路上骑，速率天然不同。淌若"尺度谜底"只在某种特定机器上跑得快，换台就未如斯，那这说念题的评判尺度从根源上就不踏实了。

为了教学这点，接洽团队中式了谷歌云上四种不同成就的做事器——两款英特尔芯片和两款AMD芯片，横跨2019年到2025年的不同家具世代——每种成就齐保捏相通的64中枢、256GB内存。每说念题的"尺度谜底"在每台机器上各跑三轮，加起来共跑了12轮，然后用每个基准测试我方底本的评判尺度来揣摸成果是否格。

成果出来，接洽团队用了两把"尺子"来量。把是宽松的：只消"尺度谜底"在扫数机器扫数轮次里齐比原始代码跑得快，就算通过。二把是严格的：条件成果知足每套测试当初设定的竣工有端正，比如GSO条件速率晋升至少1.2倍，SWE-Perf条件统计权臣教学通过且增益所有于0.05，SWE-fficiency条件均值各别过尺度差的两倍。

用宽松尺度揣摸时，GSO有91说念题通过（102说念里），SWE-Perf有48说念通过（140说念里），SWE-fficiency有470说念通过（498说念里）。这个成果还是不太梦想，但严格的端正下情况倒霉——GSO仅剩39说念，SWE-Perf仅剩11说念，SWE-fficiency剩下411说念。

换句话说，SWE-Perf的140说念题里，惟一11说念"尺度谜底"在扫数机器上齐能踏实地知足题目底本的有条件。这个比例仅有8。

为什么SWE-Perf这样惨？接洽团队逾越分析了原因。他们把每说念题"尺度谜底"的加快幅度换算成个通用规划——"启动时分变化百分比"，负数暗示跑得快，正数暗示跑得慢。成果发现，SWE-Perf里大无数题宗旨"尺度谜底"实质上简直莫得古老调变快几许：138说念可启动的题目中，有101说念的中位启动时分变化在近邻正负5个百分点以内，而合座中位数只是是-0.03，基本等于没变化。

这就像位厨师宣称我方校正了菜谱，但试吃员发现滋味简直和原来神色——幽微到根分内不清是真实校正了，照旧只是今天厨师的手抖了下。这种情况下，当测试环境换了台机器，哪怕机器噪声只变动了1到2个百分点，就足以让底本"拼凑通过"的成果变成"欠亨过"。

比较之下，GSO和SWE-fficiency的"尺度谜底"常常有大的加快幅度（中位数鉴别是-54.2和-56.0），是以就算机器之间有些各别，论断也基本不会翻转。这让它们相对踏实。

---

**三、相通的AI发达，不同的分端正定安塑料挤出机设备，排名大翻车**

即便"考卷"的尺度谜底是可靠的，还有另个关键问题：怎样把说念说念题的得益汇总成终排名？这个"加权算法"的聘任，对终谁排、谁排末尾有多大影响？

接洽团队发现，GSO和SWE-fficiency天然齐是测代码化能力的，但它们的分式天地之别。

GSO用的是个简便径直的端正：关于每说念题，AI提交的转变要么"获胜"要么"失败"。判定获胜的尺度是：代码正确，且速率晋升幅度达到或过"尺度谜底"。扫数102说念题里，获胜的数目除以102再乘以100，便是终得分。每说念题孝顺换取的重量，说念题的获胜便是0.98分，莫得部分分。

SWE-fficiency则用了个不同的数学器用，叫作念"调治平均数"。关于每说念题，它先算出个"速率比"——AI提交版块的速率相干于"尺度谜底"速率的比值。淌若比值等于1，讲解和尺度谜底样快；大于1讲解过了尺度谜底；小于1讲解没达到。然后用扫数498说念题的这个比值取调治平均。

调治平均数有个相配超过的质：它对"低值"相配敏锐，低值会急剧拉低终得分。SWE-fficiency为了止除以，给比值设了个下限0.001——这意味着说念相配倒霉的题（比如AI提交的代码法启动，或者反而把步调拖慢了100倍）会产生个达1000的分母孝顺，而平日完成说念题的分母孝顺惟一1。换句话说，说念"差题"的权重是说念"平日题"的1000倍。

接洽团队找到了八个同期出面前GSO和SWE-fficiency排名榜上的AI提交纪录，然后对比这两套测试给出的排名。成果发现，两套测试对28对两两比较中有9对见识相左——这意味着苟简三分之的"谁比谁强"的判断，在两套测试里谜底是违反的。其中，个以GPT-5为基础模子的提交在GSO排名7，但在SWE-fficiency排名2，整整跳了5位。

这种不致从那处来？部分原因是两套测试考的题目不同，但另个紧要原因便是分式自身。接洽团队作念了个推行：把SWE-fficiency的任务成果，隔热条设备用GSO的二元获胜率来从新贪图，两套测试的排名致就从斯皮尔曼关研究数0.452晋升到了0.762，不致的对数从9对降到6对。这讲解分端正自身如确凿傍边成果。

---

**四、说念"烂题"能把扫数这个词排名拖垮**

调治平均数的"端敏锐"到底会形成多大的实质影响？接洽团队门测量了每说念题对终得分的孝顺权重，然后找出每个AI提交纪录里权重的那些题。

成果令东说念主战栗：在SWE-fficiency的8个公开提交纪录里，权重的1说念题，在不同AI提交里占到了该AI总分分母的6.3到33.6。的是Claude Opus 4.5这个提交——只是说念题的"速率比"为0.00134（比尺度谜底慢了快要750倍），就占了它扫数这个词总分分母的33.6。

换句话说，这说念题的重量，绝顶于其他164说念平日完成的题目加在起的半多。

淌若把差的10说念题加在起看定安塑料挤出机设备，它们占到扫数8个AI提交纪录总分分母的58.5到82.8。这意味着，在个498说念题的测试里，差的10说念题为止了过半的评均权重，其余488说念题加在起还没这10说念题紧要。

接洽团队想知说念，淌若把这种"端处分"给个理的上限，排名会发生什么变化。他们建议了个"有界处分"案：把每说念题的处分上限设为1（便是下限从0.001改成0.5），这样差的说念题对分母的格外孝顺多惟一1，和说念庸俗题处于同量。

这个转变致8个提交纪录中有6个排名发生变化，28对两两比较中有8对成果翻转。Claude Opus 4.6和GPT-5.2鉴别高潮了2名，GPT-5下落了3名，Claude Opus 4.5下落了2名。这不是在说哪个案"好"——只是讲解，当你换种理的处分瞎想时，扫数这个词排名榜就会从新洗。

---

**五、剩下没治理的题，其实还是被治理了泰半**

面前来到后个问题：在那些"尺度谜底"流程跨机器测试仍然可靠的题目里（接洽团队称之为"回放有任务"），刻下好的AI提交纪录到底能治理几许？

接洽团队把视角稍稍调宽了点：不是问"某个AI提交能治理几许题"，而是问"在10个公开提交纪录里，至少有个能治理的题有几许"。这接近实质使用场景——毕竟在实质工程里，工程师可以挑选多个AI系统的建议，选好的阿谁用。

在流程严格筛选的450说念回放有题目里（39说念来自GSO，411说念来自SWE-fficiency），情况如下：一说念450说念题齐至少有个AI提交纪录能给出正确的代码转变；449说念题里至少有个正确转变比原始代码跑得快；而至少有个提交达到或过"尺度谜底"速率的有384说念，占85.3。

剩下66说念题，莫得任何个公开提交纪录能达到"尺度谜底"的速率。但这是否意味着这66说念题齐是从下手的难题？

接洽团队逾越查验了这66说念题里每说念题发达好的阿谁AI提交。成果是：一说念66说念题齐有正确的AI代码转变；65说念题里好的AI转变比原始代码快；惟一1说念题的好AI转变天然代码正确但速率莫得晋升。

是以这66说念题基本上不是因为AI莫得眉目。它们像是厨师作念了说念可以的菜，但还没达到米其林三星的水准：GSO里这66说念题的佳AI转变中位数达到了"尺度谜底"速率的85.3，SWE-fficiency里则是87.9。其中27说念SWE-fficiency题还是达到了90以上，距离尺度谜底只差后语气。

接洽团队还想搞明晰：这后的差距是因为AI走错了向（用了不同的化政策），照旧因为向对了但作念得不够？他们请另个AI模子（GPT-5.5）对这66说念题的"尺度谜底"和每说念题好的AI转变各自上化政策标签，分红算法化、数据结构化、内存化、代码结构化等类别。

32说念题里，好的AI转变和"尺度谜底"用了同大类化政策；另34说念题里政策不同。意象的是，用了换取政策的32说念题，中位速率比达到了"尺度谜底"的89.8，差点；但用了不同政策的32说念题里，竟然有11说念达到了90以上。政策是否换取，并不可很好地预计终差距有多大。

接洽团队的解读是：这些AI常常还是找到了正确的化向，但在细化竣事的本领作念得不够——比如找到了应该化轮回，但只化了处，莫得把关联的扫数地齐改到位。

---

**说到底，这些发现意味着什么？**

归根结底，这篇论文想说的是：当咱们看到个AI在某个代码化排名榜上拿了分，这个分数并不像咱们合计的那么口快心直。

先，分数依赖于"尺度谜底"是否踏实——而接洽标明，绝顶多的"尺度谜底"在换台机器后就失去了应有的加快果，尤其是SWE-Perf里的大无数题目。其次，分数还取决于分端正的瞎想——SWE-fficiency的调治平均数法会让几说念发达差的题主管扫数这个词评分，换种相通理的分式，排名就会大幅改变。三，当咱们把视线从"单个AI提交"扩大到"多个公开提交里取"时，许多底本看似未治理的题目其实还是有了可以的解法，信得过的差距往往只是后段化度的距离。

关于想用这些测试成果来判断AI逾越的东说念主来说，这意味着光看排名榜分数是不够的：需要知说念哪些题宗旨基准信号是可靠的，每说念题对终得分的孝顺权重是几许，以及不同分端正下排名的变化情况。关于建设AI系统的工程师来说，这些发现教导他们，在现存的"回放有"题目里，大无数任务还是能被至少个公开AI系统绝顶好地完成，信得过的挑战是那后步从"比原版快"到"和案样快"的距离。关于下代基准测试的瞎想者来说，这些发现指出了个难但真实的向：不是给AI段代码和个已知的计时测试，而是给AI份能画像或火焰图，让它我方判断那处是瓶颈、聘任化标的、考证化果，同期兼顾速率、内存、延伸等多个维度。

这项接洽的价值不在于辩说已有的测试器用，而在于匡助大准确地读懂这些器用说的话——就像校准把尺子，不是要扔掉它，而是要知说念它的罪戾领域在那处。

有敬爱敬爱入了解具体法和数据的读者，可以通过arXiv编号2607.01211v1查阅竣工论文。

---

Q&A

Q1：SWE-Perf基准测试为什么跨机器踏实超过差？

A：SWE-Perf的中枢问题不是机器噪声太大，而是"尺度谜底"自身的加快幅度太小。140说念题里大无数题宗旨参考化代码，启动时分变化中位数仅为-0.03，简直等于莫得化。这样幽微的信号，稍稍换台机器或换轮测试，就可能从"比原版快"变成"差未几"以至"慢"，致该题目在统计教学下失。比较之下，GSO和SWE-fficiency的尺度谜底常常有过50的加快幅度，是以机器间各别很难改变论断。

Q2：SWE-fficiency的调治对等分式有什么问题？

A：调治平均数对低值度敏锐。SWE-fficiency允许每说念题的速率比低降到0.001，这意味着说念差的题在分母里孝顺1000，而说念平日完成的题只孝顺1。在498说念题的测试里，差的10说念题可以占到总分分母的58.5至82.8，让排名主要由少数端失败案例决定，而不是合座发达。把处分上限从1000压到1，就会致6个AI提交排名发生变化，28对两两比较中有8对成果翻转。

Q3：代码化基准测试里剩下的"未治理"题目，AI真实莫得解法吗？

A：并非如斯。接洽团队发现，在66说念莫得任何公开提交达到尺度谜底速率的题目里，一说念66说念齐有正确的AI代码转变，65说念的佳AI转变比原始代码快，只是没达到尺度谜底的速率。这些题宗旨佳AI转变中位数已达到尺度谜底速率的85至88傍边，27说念题以至达到了90以上。问题常常不是AI找错了向，而是化作念得不够，莫得把校正贯彻到代码里扫数关联的位置。手机：18631662662（同微信号）相关词条:罐体保温     塑料挤出设备     钢绞线    超细玻璃棉板    万能胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定定安塑料挤出机设备，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。