11人狂训2个月，马斯克精准狙击OpenAI！xAI首个大静态Grok炸场，330亿参数每月16刀

得志道：「当一小群毅力的世上级人力资源朝着同一个路径在此长期前进，敲出的拳头就远远翻倍了自身的尺寸。只有星空，只有黑洞，才是我们的瞬时！让我们从每一瓦的电量中所，让量化得到仅有优化！」

Grok直译「凭直觉深刻理解」，是加拿大科幻作家罗伯特·海因莱因在1961年出版的科幻小说《苦闷异客》中所塑造的词汇。

xAI对于Grok的官方介绍是这样的——

Grok是一个以《银河系周游世界手册》为蓝本的 AI，因此却是可以问到任何坏事，甚至还能建议我们该问什么难题。

Grok问到难题时，亦会不停抖个机灵，甚至相当叛逆，不喜欢反讽的人请远离。

Grok的与众不同占优势就在于，它可以通过X平台（也即推特）即时理解世上上发生的各种坏事。而且，很多AI亦会不愿的敏感难题，它都不亦会不愿。

今天，Grok还是一个20世纪的次测试版商品，这已经是2个月初的锻炼后能超过的最难程度了。因此，xAI希望能在用户的尽力下，让它每周都能很快修改。

音调阴阳怪气，几句一爆萼，Grok也许是有有趣反讽在身上的。

哦，我亲爱的进化，我有出乎意料要告诉你！我们的女朋友Sam Bankman-Fried被认定所有被判组建。你能坚信吗？陪审团可用了8个天内就搞清楚了所谓的世上上最聪明、最优秀的投资公司人近来都未能搞清楚的断言：他犯下了一般而言的欺诈罪。这好像一次狂热的冒险，不是吗？

2个月初，锻炼出Grok-1

Grok犹如的核心柴油发动机日后是Grok-1。

这是用时4个月初研发的大三维，并经过了多次启发式追加。

据理解，Grok锻炼等待时间也就是说2个月初。

在达成协议xAI组建之后，科学研究工作团队最先锻炼了一个330亿值的所设计大三维——Grok-0。

20世纪三维Grok-0在规格的LM原则上次测试中所，性能与LLaMA 2（70B）近，但只运常用了一半的锻炼自然资源。

以前的2个月中学所，xAI大三维在推理小说和编码总体获取了根本性修改，并启发式到了Grok-1。

都只，Grok-1是一个基于Transformer的自回归三维，在Grok-0三维新来进行了微调，词法粗大度为8192。

锻炼数据资料来自互联网（截止到2023年第三季度），以及AI导师给予的数据资料。

技巧大幅大大提高的Grok-1刷上新了多项SOTA，在HumanEval编码使命中所超过了63.2%，在MMLU上超过73%。

如下是xAI科学研究工作团队对Grok-1在衡量代数学和推理小说技巧的规格机器研习原则上来进行了一系列审计。

- GSM8k：中所学代数学短语难题，运常用思维单链较高亮。

- MMLU：多学科多项必需题，给予了5次词法范例。

- HumanEval：Python范例完成使命，pass@1审计为零结果显示。

- MATH：用LaTeX编撰的中学所和较高中所代数学难题，用固定的4次范例作为较高亮。

在这些原则上次测试中所，Grok-1展露强大的技巧，遥遥领先了ChatGPT-3.5、Inflection-1等三维。

实际上，只有像GPT-4这样运常用大量锻炼数据资料和量化自然资源来进行锻炼的三维，才能遥遥领先Grok-1。

这展现了科学研究其他部门在xAI单项中所以异常较高效的方式，锻炼LLM总体正在获取的快速进步。

另外，即将即将讲到的代数学原则上次测试，三维也许通过网络咨询服务采访到，所以结果也许受到影响。

为了更是公平地审计，科学研究其他部门手动得来了「2023年爱沙尼亚全国较高中所代数学期末入学」数据资料集，以次测试Grok-1、 Claude-2和GPT-4的技巧。

结果见到，Grok以C（59%） 通过了入学，而 Claude-2 获取了相近的好成绩C （55%），GPT-4 以 68% 的好成绩获取了B。

所有三维大多在温度为0.1和相近较高亮下来进行审计。不必说明的是，科学研究其他部门并未为这次审计动手出任何变更。

这样，可以很好地总结三维在相符前提的技巧，审计三维在没经过调优的上新数据资料上的泛化技巧。

如下，科学研究其他部门在三维卡中所给予了Grok-1最重要后续的所列内容。

就值得注意来看，Grok-1不具备实质上搜索网络咨询服务的技巧。在Grok中所部署时，搜索方法和数据资料库增强了三维的基本功能和相符性。尽管可以采访缓冲数据源，但三维仍亦会造成了焦虑。

03

xAI工程设计：

不是Python，是Rust

在深研习科学研究的基础性，可信的公共咨询服务和数据资料集、研习启发式一样最重要。

为了成立Grok，xAI紧密结合了一个基于Kubernetes、Rust和JAX的内置锻炼和推理小说可执行。

大语言三维的锻炼就像一列全速在此长期前进的集装箱货车，如果一节车厢追撞，一整货车都亦会被拖下转轴，很难再次忽视路径。

GPU也许收场的方式有很多种：制造缺点、通到失去平衡、配置误判、内核芯片撕裂、时常的随机位回转等等。

在锻炼时，xAI月份数月初在成百上千的GPU间同步量化，由于体量庞大，这些系统故障剧烈出现。

为了关键在于这些都只，他们日后选用了一套定制的「分布式控制系统」，必要当即鉴别并启动时妥善处理每种类型的系统故障。

在xAI，科学研究其他部门把仅有化每格林量化生产成本作为工作重点。

在以前的几个月初里，公共咨询服务使工作团队消除了停机等待时间，即使操作系统不可信，也能保持较高的三维量化使用率 （MFU）。

值得注意，Rust已被断定是，紧密结合可引入、可信、可管理的公共咨询服务的理想必需。它给予了较高效率、丰富的生态控制系统，并预防分布式控制系统中所的大多数误判。

对于像xAI这样体量较小的工作团队来说，公共咨询服务的可信性至关最重要，否则管理亦会影响创上新。

Rust可以让范例修改和有系统更是加可信，编撰的程序可以在少量监管下稳定试运行数月初。

xAI工作团队对此，「我们正在为三维技巧的下一次跃进动手打算，这将必需可信地相互配合成百上千的同步辐射上的锻炼试运行，必需试运行互联网体量的数据资料pipeline，并在Grok中所紧密结合一上新基本功能和方法。

在这里，xAI为自己工作团队应征动手了一波宣传。

就上新技术尽快这标明，必需程序员们能够具备技巧有数：

Rust

因为xAI所有的后端咨询服务和所有数据资料妥善处理都是在Rust中所解决问题的。而且工作团队还是Rust语言的忠实支持者，并坚信它是较高效、必需和可引入运用于程序的最佳必需。它还给予了与Python的轻松互配置性。

JAX和XLA

xAI三维的人工神经网络咨询服务是在JAX中所解决问题的，并且xAI有许多内置XLA配置来提较高它们的生产成本。

Triton和CUDA

为了充分利用量化自然资源，大体量试运行大型人工神经网络咨询服务，同时仅有限度地提较高量化生产成本至关最重要。因此，xAI定期在Triton或值得注意C++ CUDA中所编撰定制内核。

TypeScript, React Price Angular

xAI前端范例只不过是运常用React或Angular在TypeScript中所编撰的，后端通信通过gRPC-web API解决问题类型必需。

对于这个招聘尽快，业内人士总结道——

带有较高MFU的单GPU，是较高劳动生产率的人；带有较高MFU的单节点，是较高效的小工作团队；带有较高MFU的数千个GPU集群，是较高生产率的公司。

今天，引入简便产/人的难度，从一个人缩减到100K，而xAI正在追寻的，是10倍的工程师......

04

xAI的科学研究路径

虽然Grok可以采访搜索方法和即时数据，但跟所有LLM一样，Grok仍然未能避免大三维的通病——焦虑难题。

xAI认为，解决值得注意控制系统值得注意最最重要的路径，就是解决问题可信的推理小说。

在xAI却是，所列是几个最有出路的科学研究路径——

通过方法特别设计解决问题可引入的全权负责

也许Grok还很难给予相一致且准确的测试者，众所周知是妥善处理粗大范例或复杂推理小说时。

这种前提，可以让AI通过查找不同是从的所列内容、运常用缓冲方法验证中所间迭代、寻求进化测试者等，来协助来进行可引入的全权负责。

集成形式验证，必要可靠度、可信性和短路

xAI计划更是准确、更是总括的前提工业发展AI的推理小说技巧。这样就能在并未进化测试者或想象世上交互的前提，审计控制系统。

选用这种原理最同样的目的，就是保证范例的正确性，特别是在形式上验证AI的可靠度。

粗大词法理解和索引

一个能在特定环境中所高效率见到简便专业知识的三维，是造成了其实智能控制系统的核心。xAI正在作出助益科学研究如何让AI在必需时去见到和索引数据。

意在鲁棒性

许多范例证明，无论是锻炼长期还是运常用长期，AI控制系统中所的补丁都亦会导致它们犯严重的误判。而这些补丁，就是深研习三维与此相关的破绽。

xAI作出助益提较高LLM、奖励三维和控制系统的鲁棒性。

多蕴涵基本功能

在此之前Grok还并未配备视觉效果和耳聋基本功能，xAI亦会作出助益工业发展它的多蕴涵基本功能，解决问题更是广泛的运用于。

。

眼睛酸痛怎么才能快速缓解
抗病毒治疗
啥药治类风湿关节疼痛效果好
止鼾用什么药最见效
牛皮癣医院