破解 ChatGPT 惊人耗电，DeepMind 新算法训练提效 13 倍，能耗暴降 10 倍

最近，GoogleDeepMind 研究团队提出了一种加快 AI 训练的新方法——多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。

JEST 以 13 倍更少的迭代次数，以及 10 倍更少的计算量，超越了最先进的模型。

总体来说，JEST 方法展现出了「数据质量引导」（data quality bootstrapping）方法的巨大潜力，即使用小规模精选数据集来指导对更大的、未经管理的数据集的学习。

无论是使用 JEST 参考模型对数据集进行预评分，还是通过可学习性评分来根据模型需求进行动态调整，都可以成为通用基础数据集的更有效率的替代方案。当然，该方法仍存在一定局限性，虽然 JEST 同时实现了性能增益和训练成本降低，但依旧依赖于小型、精心管理的参考数据集，它指定了未经管理的更大数据集中优先考虑的分布。