时间:2024-04-24 来源：原创/投稿/转载作者：管理员点击:
在最新的播客访谈中，小扎又做了一把「开源英雄」，大方表示：花费100亿美元研发的模型，如果对人类安全且有益的话，他会选择开源。此外，他还表示是个悲观主义者，因为能源瓶颈，我们离AGI还有几十年的距离。
如果你手头有一个价值100亿美元的AI模型，通过了安全测试且让所有人受益，你愿意将它开源吗？
此外，这期干货满满的谈话中，他还曝出了不少内幕消息，比如Meta为何会未卜先知，在2022年就大量买进H100；为何自己会笃信元宇宙等等。
而且，跟Sam Altman、马斯克等高歌猛进的乐观主义者不同，小扎对于AGI的短期实现是持悲观态度的。
在他看来，人类根本不可能在2025年之前实现AGI，因为最大的瓶颈就是能源限制。要解决能源问题，我们还需要几十年时间。
当主持人Patel问道：如果Meta砸了100亿美元开发出一个模型，它完全安全，甚至评估值还可以对模型微调，你会开源吗？
小扎表示，Meta会对此进行评估的，毕竟公司一向以开源英雄着称，在开源方面有悠久的历史，拥有PyTorch、React和开放计算等项目。
在开放计算项目中，Meta将所有服务器、网络交换机和数据中心的设计都开源了。这样，整个行业都以他们的设计为标准，直接让供应链围绕这种设计建立起来。
而且，开源就能集思广益，如果有人能找到更便宜的运行方法，提升10%的效率，那就能直接节省数十亿甚至数百亿美元，这本身就是很值钱的，因此开源好处多多。
不过，他也承认：如果模型成为产品时，情况就变得复杂了。此时，就需要仔细权衡开源在经济上的利弊，不过，目前Meta并不处于这种情况。
- AI朋友将更多、更友好、更易于获取，超越你的现实朋友（目前被FB、Ins和WhatsApp等「控制」）
- 但Meta目前还不能直接下场，因为这会让人感到不安，尤其是在技术还未完善时，会产生一种怪异的不自然感
- Meta曾尝试过Tom Brady和Snoop Dogg风格的AI朋友，但为了安全，有趣的互动受到了很高的限制
- 他希望其他人能够开发出有趣的社交创意，并进行复制（此前就曾将Snap的创新融入Instagram）
我之前以为，面向社交、商业或媒体领域的这些工具，只需解决AI挑战的一个子集就能交付。但现在看来，为了提供我们设想的最佳服务，模型必须具备推理、规划、编码、记忆等多种认知能力。
虽然坐拥至少数万块英伟达GPU，但小扎却觉得，单纯把计算集群造大，早晚会遇到边际效应的那一点，感觉有点在内涵Sam Altman。
在采访中，他表示如今世界上最棘手的事情就是：虽然Llama-3的8B比Llama-2 的70B更好，但指数曲线还能持续多久？
尽管如此，他也认为投资100亿美元，甚至1000亿美元，来建设基础设施是值得的，或许会让我们得到一些惊人的东西。
但300兆瓦、500兆瓦甚至1吉瓦的数据中心，需要花费数年时间才建成，如果是1吉瓦，就需要一个核电厂的能源。
小扎认为，如果持续给Llama-3 70B提供更多数据，或者通过token进行优化，它会持续改进。
也就是说，小扎基本陷入了渐进主义的陷阱，他不相信GPT-4的性能可以提升100倍，或AGI在短期内能实现。
如果GPT-5的性能是GPT-4的10到100倍，那当前的MMLU之类的基准测试，根本就不起作用。
总之，放出这种言论的小扎，现在并没有在筹集资金。而Sam Altman、马斯克、Dario Amodei等疯狂筹资的大佬，都预计AI模型能力将大幅提高。
在采访中，小扎解释道，「当时Meta正大力发展短视频工具Reels，因此需要更多的GPU来训模型」。
「这也是我们提供服务的一次重大转变，我们不再针对你所关注的人或页面的内容进行排名，而是开始大力推荐『非关联内容』的内容」。
「因此，我们要订购足够多的GPU，以满足我们在Reels、内容排序和信息流等方面的需求。还要额外多购买一倍」。
他透露了更多的细节，这将是一个非常大的舰队。Meta内部将为训练LLM打造两个单集群，一个配备22,000块H100，另一个集群配备24,000块。
因为模型推理对Meta来说，是至关重要的一件大事，需要为Facebook、Ins等自家应用的用户提供服务。
我们所需的推理计算与训练的比率，可能远高于其他从事这一领域的公司，这是因为我们所服务的社区用户量非常庞大。
小扎还提到，对于Llama 3，主要专注于使用大量代码进行训练。在代码中训练模型，有助于其在不同的领域中进行推理。
其实，整个AI圈更加期待的是，媲美GPT-4级别的开源模型Llama 3-405B能够发布。
小扎称，4050亿参数的Llama 3将具备更强的多模态能力，支持多种语言，以及更大的上下文窗口，并计划在今年晚些时候推出。
就目前训练结果而言，405B已经在大规模多任务语言理解的基准测试（MMLU）中，取得了大约85分的成绩。
HF的创始人Clement Delangue非常期待，下周结束前，或许会有1万个开源Llama3变体上线。
目前，最小版本的额Llama-3 8B已经在改变世界，不仅能在消费级设备上运行，还开辟了大量领域的应用。
那么，未来的Llama模型，或许是能够解决用户所有用例的Llama 10发布那天，是否足以取代现实中的程序员？
小扎表示，「我不确定我们是否正在取代人类程序猿，因为Meta正在给人们提供工具来做更多的事情」。
而且衡量人类智力不仅只有单一的阈值，因为每个人都有不同的技能。我认为，在某种程度上，人工智能可能会在大多数方面超过人类，这取决于模型的强大程度。但这个过程，是循序渐进的。
主持人提出了一个尖锐的问题：就是市场对你大加指责，你也要坚定去做元宇宙。这种笃定，究竟来源于什么？是什么样的价值观或直觉，让你如此笃信元宇宙？
他喜欢围绕人们的交流、表达和工作来构建产品，这跟他大学时的专业有关。他学的是计算机科学和心理学，而建造元宇宙，就是两门专业的交叉点。
而且，在为AI投资1000亿美元，或者为元宇宙投入巨额资金时，商业计划就能表明：如果产品奏效，这是很好的投资。