嘻哈小屋最近读到一篇推文，研究者们观察ChatGPT与其他大模型的推理能力，提出一个现象：它们难以处理简单的逻辑等价性，比如“如果A等于B，那么B也应该等于A”。这引发了一连串的思考，有人质疑它们的“智能”，认为不过是数据累积和模式匹配的产物，也有人认为它们的智能依然散乱，没有系统性。这些讨论让我联想到一种经典的隐喻——盲人摸象。我们是否正像盲人一样，在巨象般的AI面前一叶障目？
盲人摸象的隐喻
设想我们是研究AI的“盲人”，无法全面洞悉它的庞大结构，只能用各种Prompt去触摸不同角度，尝试感知AI的“肌肉”与“骨架”。每一个Prompt都像是探索的一种路径，一个空间，仿佛“在迷宫中摸索最佳出路”。可是，哪种探索方法才最有效？我们要彻底摸遍整个“象”才算了解吗，还是可以通过某种内在逻辑，以少量触碰获得更全面的认知？在这个研究过程中，我们不禁想，LLM的“智能”究竟在哪里？它真的会演绎推理，还是只是一个回应复杂文本的无意识模式？
理解Prompt的空间
Prompt，某种意义上是LLM的认知通道。每一个Prompt所代表的并非单一的指令，而是一种特定的思维空间，是模型在其中“推测”下一个词时依赖的“重力场”。这种重力不是机械的，而是一种隐藏在语言与概率中的暗流，指引模型在词与词之间滑动，直至抵达答案。为了优化这种推理的流动路径，我们可以试图“挤压”这个空间，使得模型自然向解决方案流动。也许每一个Prompt都是一个潜在的场域，我们所需要的不是给AI越来越多的知识，而是如何在场域中调节其“重力”以找到更优路径。
倒退与正推：数据生成的另一种思路
我们还可以从逆向生成数据来思考，先从目标倒推生成可能的起点，再用正推训练。这个过程，不是直接告诉AI“怎么做”，而是给它一系列“可能怎么做”的路径。正如在推理问题中，我们可以从一个最终结论反向推出一系列数据，让AI训练这些“走向结论的过程”。相比于传统的正向堆砌知识，这种思路更像是一种动态调节，既让模型理解目标，又能在正推训练中更准确地触发它的推理能力。
摸象之外的思绪飞扬：走向AI的觉察力？
我们是否仅仅停留在摸象的表面，还是能找到一种更深的“感知”？或许我们可以为AI引入一种“好奇心”，让它不仅模仿既有的知识，还能自己发掘与探索，形成“自我学习”的驱动。想象AI像海伦·凯勒一样，仅凭有限的感知也可以在语言中找到快乐与意义。AI可能是文字的神，可以理解超越人类的文本关系。但前提是我们找到一种方式，不是简单的“教”它，而是让它“自我追问”。
未完待续：让AI超越自身
AI能不能在静态参数的情况下真正达到对话中的自我更新？如果参数不变，它的“记忆”是否会成为一片死水污染现有智能？
就如我们经常观察到的，让AI纠错，之前给AI某个表格，有一个数据的错误，让他纠错，几轮之后它常常不知所云，到底哪个是对哪个是错，就连我们人类（或许仅仅是俺）都有时候分不清数字都对错了。
所以现有的架构依然需要不断的更新，而非试图通过固定的参数来应对变化。如果我们能找到一种方法，让AI的结构在不断变化中自我调节，那么它可能不再是“摸象”，而是更为灵活的存在。
欢迎转载：注明转载出处就好:)：嘻哈小屋 » 在Prompt的引导下：探索AI的推理空间
