Harness 面试题
本页用于把 Harness 工程能力转化为可核验的面试表达;完整求职顺序见程序员转 AI 主路线。
原理
Harness 和 Agent 有什么区别?
Agent 围绕目标进行模型决策和工具调用;Harness 提供上下文、权限、执行、反馈、恢复、审计和评测运行时。
Tool Calling、MCP、Agent、Harness 如何放在一张图里?
Tool Calling 是模型提出结构化调用意图的接口;MCP 是 Host 连接外部能力的协议;Agent 维护目标、状态、循环和停止条件;Harness 把 Agent 放进受控工作区,提供上下文构建、工具执行、权限审批、验证和恢复。它们可以组合但互不替代,详细分层见 Tool Calling、MCP 与 Agent 的关系。
为什么不能只靠 Prompt 保证测试通过?
Prompt 是模型建议,不能提供确定性保证。必须用 Hook、CI 或 Runner 执行机器门禁。
MCP
MCP 的 Tool、Resource、Prompt 分别是什么?
Tool 执行动作,Resource 提供可读取数据,Prompt 提供可复用模板。它们由 Server 暴露,由 Client 连接并交给 Host 管理。
stdio 和远程 HTTP 怎么选?
本机单用户工具适合 stdio;团队共享和多租户场景需要远程传输、TLS、授权、审计、限流和租户隔离。
工程
如何控制长任务成本?
渐进加载上下文、限制工具数量、拆分阶段、设置 token/时间/轮数预算、缓存稳定上下文,并用任务集比较质量和成本。
Subagent 什么时候适合并行?
独立只读探索或互不共享文件的工作适合并行;同一文件修改、依赖前置产物或共享迁移状态的工作不应并行。
Tool 返回错误后怎么办?
先分类参数、权限、业务、临时和内部错误;只有明确临时错误才在预算内重试,其他错误应产生可读反馈或进入人工流程。
安全
如何防止提示词注入?
把仓库、网页和工具结果视为不可信数据;权限、路径、命令和副作用在工具层重新校验,不因为内容中的指令改变系统权限。
为什么 Skill/MCP 也需要供应链审查?
它们可能读取数据、执行命令或向外部网络发送内容。必须检查来源、版本、依赖、权限、更新和审计。
DeepSeek
JSON Output 是否等于结构化输出可靠?
不是。仍需解析、schema 校验、枚举和长度检查,并处理截断、额外字段和模型返回错误。
如何评估模型或 Harness 升级?
固定任务集和环境,比较成功率、测试通过率、工具成功率、成本、延迟、人工介入率和安全违规率,保留轨迹并准备回滚。
项目与职业表达
如何证明 Coding Agent 接入过真实仓库,而不只是聊天 Demo?
回答应给出可核验闭环:如何识别仓库根目录和已有改动,如何按规则、入口、相关代码和测试分层构建上下文,哪些目录与命令进入 allowlist,哪些写操作需要审批,变更后运行了哪些局部检查与回归,以及失败如何从检查点恢复。证据可以是脱敏 diff、测试报告、调用轨迹、审批记录和升级前后指标,而不是一句“Agent 自动完成了开发”。
“会用 Coding Agent”和“做过 Harness 工程”有什么区别?
“会用工具”描述个人操作,例如用 Agent 搜索代码、生成补丁和运行测试;“做过工程”必须说明你设计或实现的系统边界,例如上下文选择、工作区隔离、Tool allowlist、参数校验、审批、审计、回归任务集和恢复策略。前者是效率能力,后者才是可迁移的系统设计与交付能力。
项目经历怎样写得可追问?
使用“问题—约束—动作—结果—证据”结构:
面对跨模块修改容易越界、升级后效果不稳定的问题,我为 Coding Agent 增加任务级文件/命令 allowlist,将删除、外部写入和提交设为审批动作,并建立 30 个固定仓库任务做回归;在相同仓库快照上,任务测试通过率从 A 提升到 B,越权写入从 C 降到 D,结果由 CI 报告和审计轨迹验证。
其中 A/B/C/D 必须替换为真实测量值;没有数据时就陈述已经交付的机制和证据,不编造提升比例。面试官继续追问时,应能解释一次权限拒绝、一次测试失败、一次中断恢复,以及为什么没有开放万能 Shell。
如何区分“项目成果”和“工具使用”?
| 类型 | 合格表达 | 不充分表达 |
|---|---|---|
| 工具使用 | 使用某 Coding Agent 完成代码检索、补丁与局部测试 | 熟练使用多个 AI 工具 |
| 工程动作 | 设计上下文分层、最小权限、审批和回归门禁 | 写了很强的 Prompt |
| 项目成果 | 给出质量、效率、成本或风险指标及证据 | 效率大幅提升 |
| 个人贡献 | 明确自己负责的模块、决策和故障处理 | 参与 Agent 平台建设 |
准备项目时可从 Agent 专题 Hub复习运行与协议边界,再用 AI 面试官 Agent 项目练习把工具接入、权限控制和失败恢复讲成一条完整证据链。