想搞大模型算法,到底做什么方向比较好?我自己更看重这两点:技术能力能不能迁移,以及这个方向还有没有创新窗口。
如果按这两个标准来看,目前比较值得关注的方向,可以分为三档(下分11个切入点):
这里也说下我最近梳理了很多大模型相关工作,按实战价值做了6大归类,筛掉水文,整理成了一份LLM前沿论文合集(264篇)。下文我提到的方向,在合集里都有对应的代表性工作,这样先看方向逻辑,再看论文参考,更有助于你找到最佳创新点。
全部资料需要的同学看文末
第一:推理训练、Agentic Search、Agent训练
这几个方向我觉得可以优先考虑。
尤其是推理训练,本身就是很多大模型算法能力的交汇点,RL、Reward设计、训练稳定性、数据构造等经验都能迁移到其他方向。
Agent方向则更看重模型能力+任务闭环,如果还能结合搜索、工具调用和RL,竞争力会更强。
这档对应合集“LLM后训练与智能体决策”和“LLM知识增强与检索增强”两类。
第二:RM/Judge、对齐与安全、多模态后训练、数据工程
这几个方向性价比很高。
尤其是数据工程,容易被低估。模型训练越来越成熟以后,单纯换个算法带来的提升可能越来越有限,数据质量、数据筛选和Reward数据构造反而会直接影响最终效果。
这块合集里专门归在“LLM可信增强与因果推理”和“多模态融合与行业大模型”下。
第三:Memory、Deep Research、Code Agent、生成式搜推
这几个方向共同特点是:很多问题还没有标准答案,正处于窗口期。
Memory、Deep Research还在快速演进;Code Agent增长很快,但对软件工程能力要求也更高,不是单纯懂ML就够了。
所以如果是为了找论文创新点,我会重点关注第三档:问题新、方案还没完全收敛,更容易找到自己的切口。
当然,这档在合集里也是最值得翻的部分,我归类在“时间序列基础模型与预测大模型”和“大模型驱动科学计算与优化”。
最后还有一个变化值得注意:
现在大模型算法不只是拼八股了,而是看能不能把一个问题从训练、实验做到上线,再根据结果继续迭代。
所以与其堆很多零散知识,不如真正做几个有结果的项目、Benchmark、开源工作。方向可以变,但训练、数据、评测和工程这些底层能力,才是不会过时的东西。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“222”获取全部资料
码字不易,欢迎大家点赞评论收藏