文章主要内容总结
- 研究背景:大型语言模型(LLMs)在生成新颖且相关的创意时存在局限,常重复训练数据中的模式,现有方法依赖领域特定启发式或结构化提示,通用性差。
- 核心框架:提出模型无关的潜在空间构思框架,通过探索连续的“想法嵌入空间”实现可控、可扩展的创造力。该框架包含语义编码器、潜在探索器、跨模态投影器、解码器LLM、评估器LLM等组件,可从文本 brief 或种子想法出发,通过迭代探索潜在空间生成新想法。
- 工作流程:包括问题理解与种子生成(可选)、潜在编码、嵌入空间探索(插值、外推、噪声扰动等)、跨模态投影、潜在到文本解码、评估、反馈循环七个阶段,模拟人类头脑风暴的“发散-评估-收敛”过程。
- 实验结果:在Lu等人(2024)的基准测试上评估,使用Mistral 7B作为生成模型、SRFEmbeddings-Mistral作为编码器等,结果显示该方法在原创性和流畅性上优于LLM Discussion基线方法,且迭代过程中性能持续提升。
- 未来方向:计划开发更复杂的潜在空间探索策略(如群体优化算法)、集成人类反馈机制、改进评估函数等。
创新点
- 模型与任务无关性:不依赖手工规则或领域特定表示,可适应不同领域、输入格式和创意任务,无需重新设计规则。
- 潜在空间探索机制:利用生成模型隐含的高