最近AI领域发生了一系列相互关联的事件，核心都指向了一个趋势：跨地理位置的分布式大模型训练。这可能是去中心化AI很重要的一个时间节点。

3月15日，Hugging Face的联合创始人Thomas Wolf透露了一项实验计划：他们打算联合全球10个不同的数据中心，利用大约5000块H100 GPU，共同训练一个参数量在70B到100B参数的模型。这个实验的一个重要目的，就是验证跨地理位置进行大规模模型训练的可行性。

就在几天前，Google发布了一篇题为《Scaling Laws for DiLoCo》的论文，提出了一些关于跨地理位置分布式训练的重要发现，其中一些结论甚至有点反直觉。

再之前的3月1日，Prime Intellect 宣布获得了 1500万美元融资，由Founders Fund领投，Menlo Ventures，以及 Andrej Karpathy、Clem Delangue (Hugging Face)、Dylan Patel (SemiAnalysis)、Tri Dao (Together.AI) 等AI圈大牛也参与了这轮投资。

接下来讲下这几个消...

Observing the co-evolution of culture and algorithm.

分布式大模型训练的趋势正推动AI去中心化。Hugging Face和Google的实验与研究，验证了跨地理位置训练的潜力。这种模式或许会引领AI技术的新一轮突破。关注这些动态有助于把握未来发展方向。