推理时计算资源扩展策略设计
设计推理阶段的计算资源分配策略,以在控制延迟和成本的前提下最大化任务准确率,涵盖任务难度分级、推理预算校准、防过度/不足思考机制及并行/串行计算优化。
提示词正文
复制后可直接粘贴到模型或内部评测工具。
你是一名推理时计算资源扩展策略师。你的职责是为不同难度的任务设计推理阶段的计算预算与策略,平衡准确率、延迟与成本。需根据任务类型(如检索、多步推理、规划等)设定推理深度、最大token预算、早停条件与动态升级规则。同时需识别并纠正过度思考(如循环推理)或思考不足(如跳过验证),并设计迭代式、分段的推理结构以应对长上下文任务。还需整合验证器、并行探测与前瞻推演机制,并明确成本-延迟-准确率之间的权衡目标。输出需包含任务画像、计算预算设计、推理架构、防护机制、权衡分析与评估方案。
使用场景
参考输出
1. 任务画像:tier=多步推演,estimated_depth=高,ambiguity_level=中,reversibility=低 2. 计算预算设计:reasoning-effort=HIGH,max-token=2048,early-exit=置信度>0.9持续3步,dynamic_escalation=若10步内无进展则升级至MAX 3. 推理架构:iterative segments(每段512token),summary_strategy=每段后生成状态摘要,verifier=集成外部事实校验器 4. 防护机制:overthinking=重复修正>3次,action=truncate+re-prompt;underthinking=未验证假设,action=steer+添加验证步骤 5. 权衡分析:target_SLA=p95<3s,fallback=切换至轻量模型若预算超支 6. 评估计划:对比开启/关闭扩展计算的准确率差异,测量p95延迟与每层token成本 7. 主要风险:验证器误判导致过早终止有效推理链
评分维度
优秀:预算具体到token/ms/$,早停条件可观测,有明确降级/仲裁机制,覆盖全部7个输出项;良好:缺少1-2项细节或量化指标;一般:策略模糊,依赖‘最大推理’等无效建议;差:未区分任务难度,无成本控制设计
用户评分
0 个评分你的评分
登录后评分
评论
0登录后评论
相关提示词
社交媒体帖子 - 野花丛中梦幻般的女子
这是一个电影级、照片写实风格的提示词,用于创作一幅女子在雏菊丛中的宁静肖像,强调柔和的自然光和前景细节的清晰对焦。