【基座模型】讨论next token模型出现output cycle的原因

张开发
2026/5/5 6:22:02 15 分钟阅读

分享文章

【基座模型】讨论next token模型出现output cycle的原因
本文提出三个概念两个knowledge进行关联有三种模式1、Co-base relationship共基关系共享同一个学科base的关系2、Co-pattern relationship共范关系共享同一个范式的关系3、Lines-connection relationship线连关系可通过直接联系逐步相连的关系这里Co-base relationship某种意义上是特殊的Lines-connection relationship只不过由于关系连线太长导致这个base被【遗忘】了。出现output cycle的原因就是本来是Co-pattern relationship或彻底被遗忘的Co-base relationship却被模型误认为Lines-connection relationship。End.

更多文章