北航、人大和九坤投资共同撰写的论文 《Scaling Laws for Code: Every Programming Language Matters》 整理而成。 在代码大模型（Code LLMs）的预训练中，行业内长期存在一种惯性思维，即把所有编程语言的代码都视为同质化的文本数据，主要关注数据总量的堆叠。然而，现代软件开发本质上是多语言混合的，不同语言的语法特性、语料规模和应用场景差异巨大。

在代码大模型（Code LLMs）的预训练中，行业内长期存在一种惯性思维，即把所有编程语言的代码都视为同质化的文本数据，主要关注数据总量的堆叠。然而，现代软件开发本质上是多语言混合的，不同语言的语法特性、语料规模和应用场景差异巨大。如果忽略这些差异，笼统地应用通用的 Scaling Laws，往往会导致性能预测偏差和算力浪费。

scons ( 2.3.0 ) ant ( 1.8.2 ) Python ( 2.7.3 ) PostgreSQL ( 9.3.4 ) Linux x86-64: g++ ( 4.3.4 ) gcc ( 4.3.4 ) make ( 3.81 ) kernel ( 3.0.13-0.27-default ) Linux PPC64: g++ ( 4.3.4 ) gcc ( 4.3.4 ) make ...

On Sept. 3, Chinese President Xi Jinping met in Beijing with Indonesian President Prabowo Subianto, who was attending the 80th anniversary of the victory in the Chinese People's War of Resistance ...

如今，5个月过去，「狂飙」的GenAI领域已然大不相同。不仅GPT-4迎来了下一代模型GPT-4o，新发布的Claude 3.5 Sonnet、Codestral等模型都在编码方面性能优秀。 Cosine发布的报告显示，在SWE-Bench中，Genie的得分为30.08%，轻松超越了分数为13.8%的Devin。