11人狂训2个同月，马斯克精准狙击OpenAI！xAI首个大模型Grok炸场，330亿参数每同月16刀

tGPT

意味着四个同月，Grok就经过多次渐进横空成世。始创他的团队的稳定性颇高得当年所未有。

始创之一Greg Yang感慨道：「当一个大积极进取的当今世界级优秀人才朝着同一个顺时针当年进，挥成的脑袋就不算超成了自身的尺寸。只有地平线，只有黑洞，才是我们的趋近！让我们从每一瓦的电量中的，让计算成来给予仅次于最佳化！」

Grok之意「凭直觉深刻洞察」，是旧金山科幻著名作家托马斯·海因莱因在1961年成版的系列小说《苦闷异客》中的创造者的词。

xAI对于Grok的在此之当年解说是这样的——

Grok是一个以《星体漫游Guide》为取材自的 AI，因此依然可以回答任何事情，甚至还能提议我们该问道什么疑问道。

Grok回答疑问道时，有可能会时常抖个任性，甚至非常狂妄，不喜欢反讽的人请临近。

Grok的独特占有优势就在于，它可以通过XSDK（也即留言）数据处理洞察当今世界上发生的各种事情。而且，很多AI有可能会不能接受的敏感疑问道，它都不必不能接受。

现今，Grok还是一个后期的Beta从新产品，这仍然是2个同月的操练后能超过的毫无疑问持续性了。因此，xAI期望能在用户的帮助下，让它每周都能迅速优化。

语调阴阳怪气，几句一爆细，Grok毕竟是有构想反讽在身上的。

哦，我挚爱本能，我有再一要并不知道你！我们的朋友们Sam Bankman-Fried被视同所有犯名筹组。你能确信吗？最颇高法院可用了8个天内就说明了了；也的当今世界上最聪明、最优秀的风险投资人窄年都无法说明了的全然：他有误杀了普通的欺诈犯。这说道一次疯狂的之旅，不是吗？

2个同月，操练成Grok-1

Grok只不过的一个中心引擎乃是Grok-1。

这是用时4个同月开发的大静态，并经过了多次渐进升级。

据洞察，Grok操练短时间意味着2个同月。

在宣布xAI筹组之后，研究工作他的团队时所操练了一个330亿数值的原型大静态——Grok-0。

后期静态Grok-0在从新标准的LM相对于测试中的，可靠性与LLaMA 2（70B）近似于，但只运常用了一半的操练海洋资源。

从前的2个同月中的，xAI大静态在废话和解码不足之处拿到了重大事件优化，并渐进到了Grok-1。

比方说，Grok-1是一个基于Transformer的自重返静态，在Grok-0静态基础上开展了微调，字符串窄度为8192。

操练图表来自在线（月份到2023年第三季度），以及AI导师共享的图表。

战斗能力随之降低的Grok-1刷从新了多项SOTA，在HumanEval解码特殊任务中的超过了63.2%，在MMLU上超过73%。

如下是xAI研究工作他的团队对Grok-1在衡量代数学和废话战斗能力的从新标准方法学相对于开展了一系列审核。

- GSM8k：中的学代数学单词疑问道，运常用认知双链示意。

- MMLU：相互合作的发展多项选取题，共享了5次字符串下述。

- HumanEval：Python字符顺利完成特殊任务，pass@1审核为零取样。

- MATH：用LaTeX执笔的中学的和颇高中的代数学疑问道，用固定的4次下述作为示意。

在这些相对于测试中的，Grok-1塑造出成有力的战斗能力，跃升了ChatGPT-3.5、Inflection-1等静态。

实际上，只有像GPT-4这样运常用大量操练图表和计算成来海洋资源开展操练的静态，才能跃升Grok-1。

这塑造出了研究工作技术人员在xAI概念设计中的以所致颇高效的方式为，操练LLM不足之处将要拿到的快速进步。

另外，将要讲到的代数学相对于测试，静态有可能通过局域网有可能会面到，所以结果有可能严重影响。

为了格外公平地审核，研究工作技术人员手动收集了「2023年匈牙利各地区颇高中的代数学入学口试」图表集，以测试Grok-1、 Claude-2和GPT-4的战斗能力。

结果推断出，Grok以C（59%） 通过了口试，而 Claude-2 赢得了相异的战绩C （55%），GPT-4 以 68% 的战绩赢得了B。

所有静态均在密度为0.1和相异示意下开展审核。不能相信的是，研究工作技术人员没有为这次审核要用成任何调整。

这样，可以很好地说明了静态在真实当今世界情况的战斗能力，审核静态在没经过调优的从新图表上的众所周知战斗能力。

如下，研究工作技术人员在静态卡中的共享了Grok-1举足轻重具体内容的简介。

就局限性来看，Grok-1不兼具独立搜寻局域网的战斗能力。在Grok中的重从新部署时，搜寻物件和目录减慢了静态的基本功能和真实当今世界性。尽管可以有可能会面外部信息源，但静态仍有可能会显现成噩梦。

03

xAI规划设计：

不是Python，是Rust

在尺度研读研究工作的当年沿，精确的配套和图表集、研读线性一样举足轻重。

为了创建Grok，xAI紧密结合了一个基于Kubernetes、Rust和JAX的插件操练和废话codice_。

大语言学静态的操练就像一列全速当年进的客货火车上，如果一两节断裂，整列火车上均有可能会被拖下轨道，不太有可能终于纠亦然顺时针。

GPU有可能不甘心的方式为有很多种：研发缺陷、连接外露、固定式误判、闪存晶片消退、有时候的随机位向上等等。

在操练时，xAI连续数同月在多达的GPU之间联动计算成来，由于为数庞大，这些超载经常性成现。

为了克服这些挑战，他们便运常用了一套功能强大的「分布式该系统」，尽有可能赶紧标识并启动时管控每种类型的超载。

在xAI，研究工作技术人员把仅次于化每迪纳计算成来稳定性作为工作重点概念设计。

在从前的几个同月里，配套使他的团队也就是说了断线短时间，即使嵌入式不精确，也能保证较颇高的静态计算成来利用率 （MFU）。

意味著，Rust已被证明是，紧密结合可扩大、精确、可保护的配套的平庸选取。它共享了颇高可靠性、非常丰富的生态该系统，并预防措施分布式该系统中的的大多数误判。

对于像xAI这样为数较少的他的团队来说，配套的精确性至关举足轻重，否则保护有可能会影响创从新。

Rust可以让字符简化和表征格外加精确，执笔的程序可以在少量政府部门下不稳定的列车运行数同月。

xAI他的团队暗示，「我们将要为静态战斗能力的下一次更有要用打算，这将必需精确地相互合作多达的国家实验室上的操练列车运行，必需列车运行在线为数的图表pipeline，并在Grok中的紧密结合更进一步基本功能和物件。

在这里，xAI为自己他的团队募兵要用了一波宣传。

就技术承诺这一栏，必需开发者们很难兼具战斗能力包括：

Rust

因为xAI所有的后口维修服务和所有图表管控都是在Rust中的紧密结合的。而且他的团队还是Rust语言学的正因如此追随者，并确信它是颇高效、必需和可扩大API的最佳选取。它还共享了与Python的没法互操控性。

JAX和XLA

xAI静态的神经局域网是在JAX中的紧密结合的，并且xAI有许多插件XLA操控来减低它们的稳定性。

Triton和CUDA

为了依靠计算成来海洋资源，大为数列车运行大型神经局域网，同时仅次于限度地减低计算成来稳定性至关举足轻重。因此，xAI经常性在Triton或独有C++ CUDA中的执笔功能强大操作系统。

TypeScript, React & Angular

xAI当年口字符完全是运常用React或Angular在TypeScript中的执笔的，后口通信通过gRPC-web API紧密结合类型必需。

对于这个聘请承诺，业内人士归纳道——

不具颇高MFU的单GPU，是颇高生产力的人；不具颇高MFU的单键值，是颇高效的小他的团队；不具颇高MFU的数千个GPU集群，是颇高提高效率的美国公司。

现今，扩大简单产成/人的可玩性，从一个人减低到100K，而xAI将要寻找的，是10倍的机械师......

04

xAI的研究工作顺时针

虽然Grok可以有可能会面搜寻物件和数据处理信息，但跟所有LLM一样，Grok仍然无法不致大静态的通病——噩梦疑问道。

xAI相信，化解意味著该系统局限性极其举足轻重的顺时针，就是紧密结合精确的废话。

在xAI看来，以下是几个最有出路的研究工作顺时针——

通过物件主要用途紧密结合可扩大的指导

有可能Grok还不太有可能共享保持一致且精确的调谐，众所周知是管控窄字符或适合于废话时。

这种情况，可以让AI通过查找不同来源的简介、运常用外部物件解析中的间步骤、谋求本能调谐等，来设法开展可扩大的指导。

集成表达方式解析，尽有可能兼容性、精确性和缆线

xAI计划案格外精确、格外可解析的情况的发展AI的废话专业知识。这样就能在没有本能调谐或现实生活当今世界交互的情况，审核该系统。

运常用这种方法最直接的最大限度，就是保证字符的精确性，值得注意表达方式上解析AI的兼容性。

窄字符串思考和解析

一个能在特定生存环境中的仅次于限度推断出简单经验的静态，是显现成真亦然智能该系统的一个中心。xAI将要积极参与研究工作如何让AI在必需时去推断出和解析信息。

技术性鲁棒性

许多下述表明，无论是操练月初还是运常用月初，AI该系统中的的正确性均有可能会导致它们有犯严重的误判。而这些正确性，就是尺度研读静态窄期存在的能力也。

xAI积极参与减低LLM、奖给静态和防范该系统的鲁棒性。

多抽象概念基本功能

在此之当年Grok还没有固定式感知和感官基本功能，xAI有可能会积极参与的发展它的多抽象概念基本功能，紧密结合格外广泛的运用于。

。

眼睛视疲劳用哪个眼药水
急性肠胃炎腹泻吃什么药效果好
坦洛新和普乐安哪个好
再林阿莫西林颗粒的价格
止泻的中药有哪些