苹果又来放大招了！
这次他们搞出了个叫"超位提示"的新技术，简直就是给RAG装上了光速引擎。
不知道大家还记不记得前阵子OpenAI那个GPT-4o mini？能力“据说”接近GPT-4，但价格却大幅下降。
这不，苹果看不下去了，直接祭出大杀器：超位提示（Superposition prompting）。
这玩意儿有多牛？用在MPT-7B模型上，在NaturalQuestions-Open数据集上的计算时间直接缩短了93倍！
看到这个数字，我都怀疑是不是写错了，结果仔细一查还真没错。
这简直是AI界的光速引擎啊！再这么搞下去，以后问AI问题是不是连眨眼的时间都不用了？
让我们来看看这个"超位提示"到底是个啥东西。
简单来说，它是一种新的RAG（检索增强生成）方法，专门为那些基于transformer的预训练大语言模型设计的。
跟传统的"链表式"DAG（有向无环图）不同，超位提示采用了一种叫"ForkJoin拓扑"的结构，可以并行处理输入文档。
并行处理：多个文档可以同时被处理，大大提高了效率。 路径剪枝：用贝叶斯显著性评分来剔除无关路径，既提高了准确性又提升了效率。 平衡位置分配：优化了token的位置分配，让模型表现更佳。 路径缓存和并行化：进一步加速了推理过程。
有细心网友发现：
"等等，这不就是把GPU的并行计算思路搬到了NLP领域吗？苹果这波操作可以啊！"
确实如此。而且更厉害的是，它还能进行迭代超位，这让模型在多跳推理任务上的表现也有了显著提升。
那效果如何呢？
据研究团队透露，在相同的数据集上，准确率提高了43%。不仅如此，它还超越了像Naive LLM-RAG、BM-25、TF-IDF和Contriever这样的基线方法。
更令人惊讶的是，这个方法在各种规模和架构的模型上都表现出色，包括OpenELM、BLOOMZ和MPT。
此外，研究团队表示，在MuSiQue数据集上的测试显示，超位提示在多跳推理任务上的表现反而有所提升。
苹果这次的"超位提示"技术不仅大幅提升了处理速度，还在一定程度上提高了准确性，可以说是一石二鸟。
