散户组团挑战算力霸权：40B模型+20万亿token刷新世界纪录，掀起科技革命浪潮
随着互联网技术的飞速发展，人工智能（AI）的训练也日益受到关注。近日，Nous Research 宣布正式推出 Psyche 网络，通过去中心化方式革新人工智能（AI）训练，这一举措引发了广泛关注。Psyche 网络利用区块链技术，汇聚全球计算资源，成功启动了 40B 参数大语言模型 Consilience 的预训练任务，创下了迄今为止互联网上最大规模的预训练纪录。这一突破性的进展，无疑将掀起科技革命浪潮。
首先，我们需要理解 Psyche 网络的技术原理。Psyche 网络的核心在于 DisTrO 优化器与 Solana 区块链。通过利用全球闲置的计算资源（如 4090、A100 和 H100 等消费级 GPU），大幅降低训练成本。并行实验鼓励开源社区提出新的模型架构和训练方法，这可能催生更多创新。值得注意的是，区块链技术的引入，为 Psyche 网络提供了无需许可、弹性与高可用性、激励机制的开放平台，协调并奖励为网络作出贡献的参与者。
在这个去中心化的训练过程中，网络带宽一直是最令人担忧的问题。传统的数据中心具有极高带宽的连接，而互联网上的志愿者节点往往只有几十甚至几百兆每秒的带宽。传统的训练方式需要 GPU 之间持续地交换更新信息，而普通家用网络来完成这些通信，很可能会陷入“灾难级”的训练体验。然而，Nous 推出的 DisTrO 技术能够让所有训练节点保持高度同步，并将所需带宽降低 1000 到 10000 倍。这一技术的成功验证标志着分布式、去中心化训练迈出了从理论走向现实的关键一步。
此次 Psyche 网络的成功实现去中心化的 AI 训练，开创了一个全新的模式。不仅降低了 AI 开发的门槛，还推动了全球协作和创新。Consilience 模型的预训练只是起点，未来 Psyche 网络有望成为 AI 民主化的重要基石，为开源社区和小型团队提供与科技巨头抗衡的机会。这一转变不仅在 AI 领域具有重要意义，也在科技界引发了广泛讨论。
在去中心化训练中，我们面临的挑战是如何协调不同硬件之间的计算资源，以及如何确保训练过程中的安全性与可靠性。区块链技术的出现，为我们提供了解决这些问题的可能。区块链的去中心化特性，使得每个参与者都有平等的权利和义务，避免了中心化系统的弊端。同时，区块链的不可篡改性也保证了训练数据的真实性和安全性。
强化学习框架下的分布式训练在硬件能力和网络延迟差异大的情况下表现出色。每个节点可以独立行动，收集经验，并定期与其他节点分享进展。这极大缓解了传统训练中常见的同步难题。每个节点在训练过程中的表现都将影响它的奖励：计算能力更强或使用了更先进训练方法的节点可能会获得更多代币激励。这种激励机制将进一步激发参与者的积极性，推动训练任务的成功完成。
此外，我们也应该看到区块链技术在推动科技发展中的重要作用。在常常被斥为“过度炒作又频频令人失望”的区块链生态中，能看到真正的创新成果，确实令人欣慰——这简直让人“冷漠的灵魂也重新燃起了热情”。Nous 并不是一开始就拥抱区块链技术的，但经过深思熟虑和实际需求后，他们选择了将技术栈迁移到 Solana 区块链。他们需要一种方式，不论对方来自哪里，都能吸引计算资源与人才并进行公平支付；区块链在这一点上表现得无比出色。他们需要一种手段，能够协调并扩展大规模训练任务；而协调与扩展正是区块链技术的第二天性。
总的来说，Psyche 网络的成功预训练是科技创新的重大突破，也是对集中化计算模式的强有力挑战。这一创新性的项目将为开源社区和小型团队提供与科技巨头抗衡的机会，推动 AI 发展的民主化。我们期待着 Psyche 网络在未来能够带来更多的惊喜和突破，引领科技革命浪潮。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
