Andrej Karpathy · 已发布,本站供应商暂无

LLM council prompt:回答、审阅、主席三个阶段的三个模板(2026)

LLM council prompt 是一种三步法:把同一个问题问给几个模型,让它们审阅并排序彼此的匿名回答,再由一个主席模型写出最终回答;这个流程来自 Andrej Karpathy 在 GitHub 上发布的 llm-council 仓库,本页给出三个模板,让你手动运行它。

已发布,本站供应商暂无最后更新:

现在就用

聊天

这个聊天默认使用 Claude Haiku 5.5,不是 LLM council prompt。

每次回复约 1 积分 · 查看全部模型

新账号一次性获得 5 个免费积分,7 天内有效,可用于本站价格较低的模型,最贵的模型需要用你购买的积分。

开始聊天,送 5 个免费积分
厂商
Andrej Karpathy
类型
文字
发布
未注明日期
OpenRouter id
无

已核对

LLM council prompt:事实与来源

  • GitHub 显示,Andrej Karpathy 的仓库 llm-council 创建于 2025 年 11 月 22 日。它的 README 说这是一个简单的本地网页应用,外观像 ChatGPT,但通过 OpenRouter 把你的问题发给多个 LLM,请它们互相审阅并排序,最后由一个 Chairman(主席)LLM 给出最终回答。来源: github.com · 核对于 2026-11-19
  • README 描述了三个阶段。第 1 阶段“第一意见”:问题分别发给每个模型,回答用标签页展示。第 2 阶段“审阅”:每个模型拿到其他模型的回答,身份被匿名化,目的是“so that the LLM can’t play favorites”(让模型无法偏袒),然后按准确性和洞察力排序。第 3 阶段“最终回答”:主席把所有内容整合成一个回答。来源: github.com · 核对于 2026-11-19
  • 在代码(backend/council.py)里,第 1 阶段把问题单独作为一条用户消息并行发给每个委员会模型,保留成功的回复。第 2 阶段把这些回答标为“Response A”“Response B”等,并把同一套带标签的回答发给每个委员会模型,包括写出该回答的那个模型,且每个审阅者看到的顺序相同。每个模型要评价每个回答,并以固定格式的“FINAL RANKING:”列表结尾,代码解析后按模型取平均名次,越小越好。来源: github.com · 核对于 2026-11-19
  • 第 3 阶段把问题、每个第 1 阶段回答(带模型名)以及每个审阅者的完整文字发给主席,请它给出一个清晰、论证充分、反映委员会共识和分歧的最终回答。所以主席并不是“盲”的,排名只是给它的参考,不是代码必须服从的投票。对 N 个委员会模型,代码第 1 阶段调用 N 次、第 2 阶段调用 N 次、主席调用 1 次,另外还会单独调用一个小模型来生成对话标题。来源: github.com · 核对于 2026-11-19
  • 默认配置列出四个委员会模型:GPT-5.1、Gemini 3 Pro Preview、Claude Sonnet 4.5 和 Grok 4,都通过 OpenRouter 调用,主席是 Gemini 3 Pro Preview。仓库笔记说主席可以与某个委员会成员相同,也可以是另一个模型;有模型失败时,会用已回答的模型继续。来源: github.com · 核对于 2026-11-19
  • 作者说这个项目是一个有趣的周六随手作品,约 99% 是 vibe coded(他的原话,指凭感觉让 AI 写出来),目的是在与 LLM 一起读书时并排比较多个模型。他说不会支持或改进它,只是原样提供给别人作灵感。仓库没有显示许可证。来源: github.com · 核对于 2026-11-19
  • 仓库的技术笔记把匿名同行评审称为核心想法,说它能防止模型偏袒。笔记还列出了尚未实现的想法,例如自定义排名标准和长期的模型表现分析。README 和笔记都没有给出任何回答质量的测量;在我们读到的页面里没有找到。来源: github.com · 核对于 2026-11-19
  • 本站不会自动运行“委员会”流程,也不是这个仓库的一部分。本站的聊天可以选任何可用的文字模型,所以你可以用 Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash 等模型手动走完每个阶段(2026 年 11 月 19 日核对)。来源: openrouter.ai · 核对于 2026-11-19 · 二手

本站表格

LLM council prompt:按阶段的三个模板

  • 仓库的排名提示词要求每个模型逐个评价每个回答,再以严格格式的编号最终排名结尾,方便代码解析。我们的三个模板沿用同样的阶段顺序,但由我们自己为聊天窗口撰写,由你手动粘贴回答;它们没有照抄仓库的提示词。来源: github.com · 核对于 2026-11-19

各阶段提示词

LLM council prompt:LLM council 第 1、2、3 阶段的提示词模板,以及要粘贴什么

想手动跑一次“委员会”,打开 聊天,为每个委员会模型新开一个聊天,选好模型,发第 1 阶段的提示词。复制每个回答,去掉模型名,然后在新的聊天里把第 2 阶段的提示词发给每个模型,每次把回答的顺序换一下。最后把第 3 阶段的提示词发给主席。本站聊天有三个细节决定了模板的写法:一条消息最多 4,000 个字符;你发送的内容里换行会变成空格,尖括号、花括号、反引号和双引号会被去掉;聊天的固定指令要求模型用纯文本、少于 700 词作答。所以每个模板都是一段话、用朴素的标签,并要求简短回答。字符预算是我们自己估算的,不是实测;发送前请先数一下字数。

本站自制表格:三阶段流程来自 2026 年 11 月 19 日读取的 llm-council README 和代码;提示词是我们自己的措辞,没有对任何模型运行过 · 核对于 2026-11-19
阶段目的我们的提示词要粘贴什么
第 1 阶段:回答让每个委员会模型独立作答,答案要短到能把三份贴进同一条消息请你独立回答下面的问题,用纯文本,最多 100 词。先给出答案,再说明它所依据的一两条理由。如果某一点没有把握,用一句短话说明。问题:[QUESTION]用你的问题替换 [QUESTION]。给每个模型都在新聊天里作为第一条消息发送,这样任何模型都看不到别的模型的回答。
第 2 阶段:匿名审阅让每个模型在不知道作者的情况下评价三个回答并排序下面是一个问题和三个由不同助手写的回答,标为 A、B、C。你不知道谁写了哪个。请为每个回答写一行不超过 15 词的话,指出它最大的优点或最大的错误。然后写 RANKING: 后面跟三个字母,从最好到最差,先看正确性、再看有用程度。问题:[QUESTION] 回答 A:[TEXT] 回答 B:[TEXT] 回答 C:[TEXT]问题和去掉名字的三份第 1 阶段回答。每个审阅者用一个新聊天,并每次变换 A、B、C 的顺序:仓库里每个审阅者看到的顺序相同,我们没有测过顺序是否有影响。
第 3 阶段:主席让一个模型根据三个回答和审阅者的简短评语写出最终回答你是一个评审小组的主席。下面是一个问题、标为 A、B、C 的三个回答,以及三位审阅者的一行评语和排名。请写一个最终回答,最多 150 词。保留各回答一致的要点。对有分歧的地方,按审阅者给出的理由来定,不要只看票数。最后用一行说明仍然不确定的地方。问题:[QUESTION] 回答:A [TEXT] B [TEXT] C [TEXT] 审阅:[REVIEW 1] [REVIEW 2] [REVIEW 3]问题、三个回答,以及每个审阅者的一行评语和 RANKING 行,不要贴它们的全文。在与主席模型的新聊天里发送。整条消息保持在 4,000 个字符以内。
汇总:你自己,不用模型在主席看到之前,把三条 RANKING 行合成一个顺序不需要提示词。把每个回答在三个排名里的名次加起来,总和最小的排第一。仓库的代码用的是每个模型的平均名次,做法相同。三条 RANKING 行。这一步不用向模型发送任何内容。

来源: github.com来源: github.com

本站表格

LLM council prompt:一个问题走完三个模型的委员会要花多少

  • 在仓库的流程里,N 个委员会模型的调用次数是 2N + 1:N 次第一意见、N 次审阅和 1 次主席调用。每次第 2 阶段调用都带着全部 N 个回答,主席调用带着回答和全部审阅,所以后面的调用输入比第一轮更长。来源: github.com · 核对于 2026-11-19

一次运行的成本

LLM council prompt:在本站用三个模型的委员会跑一个问题的积分,轻量版和重量版

一个积分约 $0.01(按 $5 档计算),每次回复按真实 token 成本计费,最低 1 个积分。在本站,与 GPT-6 Luna、Claude Haiku 5.5 或 DeepSeek V4.1 Flash 的一次典型回复约 1 个积分,Claude Sonnet 5.5 约 3 个,Claude Fable 5.2 约 11 个。下面的轻量版用三个便宜模型,主席是 Claude Sonnet 5.5;重量版用 Claude Fable 5.2、GPT-6.2 Sol 和 Gemini 4 Carbon,主席是 Fable 5.2。

本站自制表格:调用次数按 llm-council 代码(2N + 1);积分是我们把每个模型的典型回复积分数(依据 2026 年 11 月 19 日读取的 OpenRouter 公开价格)相加;这里的实际回复更短,所以一次运行可能更便宜 · 核对于 2026-11-19
阶段轻量版(3 个便宜模型)重量版(Fable 5.2、GPT-6.2 Sol、Gemini 4 Carbon)
第 1 阶段:3 次调用约 1 + 1 + 1 = 3 个积分约 11 + 3 + 3 = 17 个积分
第 2 阶段:3 次调用约 1 + 1 + 1 = 3 个积分约 11 + 3 + 3 = 17 个积分
第 3 阶段:1 次调用Claude Sonnet 5.5:约 3 个积分Claude Fable 5.2:约 11 个积分
合计:7 次调用约 9 个积分,大约 $0.09约 45 个积分,大约 $0.45

来源: openrouter.ai来源: github.com

最接近的可用模型

现在可用的 LLM council prompt 替代选择

$0.10 / $0.50 (每百万 token)

  • Anthropic 的模型页称 Claude Haiku 5.5 于 2026 年 10 月 7 日发布,是最新的 Haiku,2027 年 10 月 7 日前不会退役。Anthropic 的发布文章是同一天。来源: platform.claude.com · 核对于 2026-11-17
  • Anthropic 在发布文章中称 Haiku 5.5 是“我们发布过的最便宜、最快、最强的小模型”,面向高并发、成本敏感的任务,如摘要、压缩、数据库查询和分类,也可作为与 Opus 5.5、Sonnet 5.5 搭配的编程子代理。文章称它是第一个带可调节推理强度(effort)的 Haiku 级模型。来源: anthropic.com · 核对于 2026-11-17
  • Anthropic 的模型页称它面向高并发、对延迟敏感的工作,如分类、路由、提取和子代理任务,并把它的延迟评为当前产品线中最快的“Fastest”(Fable 5.2 和 Opus 5.5 为“Moderate”,Sonnet 5.5 为“Fast”)。来源: platform.claude.com · 核对于 2026-11-17

$0.10 / $0.50 (每百万 token)

  • OpenAI 的定位:“我们最高效的模型,适合专注、高并发量的任务”。来源: developers.openai.com · 核对于 2026-11-11
  • 上下文 1,050,000 token;最大输出 128,000 token;输入文字和图片,输出文字;知识截止 2026 年 5 月 18 日。来源: developers.openai.com · 核对于 2026-11-11
  • 推理强度可设为 none、low、medium(默认)、high、xhigh 或 max。来源: developers.openai.com · 核对于 2026-11-11

$0.30 / $1.2 (每百万 token)

  • DeepSeek 于 2026 年 9 月 10 日发布 V4.1-Flash。来源: api-docs.deepseek.com · 核对于 2026-11-11
  • V4.1 目前只有 Flash 版:DeepSeek 没有发布 V4.1 Pro,价格页上的 Pro 仍是 deepseek-v4-pro(V4-Pro-0813)。来源: api-docs.deepseek.com · 核对于 2026-11-11
  • DeepSeek 价格页写明,API 模型 deepseek-flash 现由 V4.1-Flash-1017 快照提供。来源: api-docs.deepseek.com · 核对于 2026-11-11

FAQ

LLM council prompt 常见问题

什么是 LLM council prompt?

它是把一个问题问给几个 AI 模型,再让它们互相检查的做法。每个模型独立作答,然后审阅并排序小组里的匿名回答,最后由一个主席模型综合所有内容写出最终回答。名字来自 Andrej Karpathy 在 GitHub 上的 llm-council 仓库。

LLM council 的三个阶段是什么?

按仓库 README:第 1 阶段收集每个模型的第一意见;第 2 阶段让每个模型从准确性和洞察力方面审阅并排序匿名回答;第 3 阶段由主席模型整合成一个最终回答。我们的表格为每个阶段给出了一个提示词模板。

可以在本站运行 LLM council 吗?

可以手动运行。聊天 让你选任何可用的文字模型,所以你可以把第 1 阶段的提示词发给三个模型,把它们的回答贴进第 2 阶段的提示词,再把第 3 阶段的提示词发给主席。每个模型用一个新聊天,否则后面的模型会看到前面的回答。本站没有一键“委员会”按钮。

LLM council 要花多少钱?

成本会成倍增加。三个委员会模型加一个主席,每个问题要 7 次调用:3 个回答、3 次审阅、1 个最终回答。在本站,与 GPT-6 Luna 的一次典型回复约 1 个积分(一个积分约 $0.01,按 $5 档计算),按真实 token 成本计费,最低 1 个积分;Claude Haiku 5.5 和 DeepSeek V4.1 Flash 各约 1 个,Claude Sonnet 5.5 约 3 个。上面的便宜委员会每个问题约 9 个积分。

委员会里放几个模型合适?

仓库默认是四个委员会模型加一个主席。我们的模板用三个,因为本站聊天一条消息最多 4,000 个字符,而第 2、3 阶段的消息要带上全部回答。少于三个没什么可比较的;模型越多,调用越多、消息越长。

LLM council 的答案会更好吗?

我们不知道。仓库的 README 和笔记只描述了设计,没有给出回答质量的测量,我们自己也没有跑过委员会。模型写的排名是意见,不是标准答案,而且代码里的主席能看到每个回答是哪个模型写的。重要的事,请对照来源核实最终回答。

这是 Karpathy 仓库里的代码吗?

不是。我们读了 README 和 Python 代码,为了准确描述流程,但这里的提示词模板是我们自己的措辞,不是从仓库抄来的。这个仓库是一个周末项目,作者说不会维护它。我们也没有对任何模型运行过我们的模板。

这是 LLM council 的官方网站吗?

不是。本页为非官方页面,与 Andrej Karpathy 无关,也未获其认可。事实链接到我们读过的页面。