职位描述
1.效果打分
针对用户查询(如“推荐一本描写老北京的散文书”“找一篇关于唐代科举的历史文章”),评估 AI 生成的 URL 回复是否准确满足需求,并依据标准规则给出精准评分。
2.Query 维度标注
对每条用户查询进行结构化判断:明确用户查询内容所属相关类别;核实推荐 URL 与 query 的匹配精度。
3.内容质量评估
从丰富度、效率/成本等维度综合判断推荐结果的质量,是否多角度覆盖需求 ;链接是否可正常访问,内容是否简洁有用,避免无效跳转或信息冗余。
4.规则敏捷响应
项目评估标准将根据用户反馈与 AI 优化方向动态调整(如细化某类 query 的相关性定义),需快速理解新规则,并立即应用于后续打分与分类,确保评估结果始终符合最新要求。
岗位要求
1.学历背景
本科及以上学历,专业不限,或应届毕业生。
2.逻辑清晰
能结构化拆解评估维度,针对“AI回复是否达标”给出具体依据(如:“该URL推荐的是现代散文,但用户明确要‘老北京’主题,相关性不足”),杜绝模糊打分。
3.洞察意图
善于从用户简短提问中捕捉真实需求。例如,当用户问“想了解民国时期的校园生活”,能判断其更可能需要回忆录、散文或图文史料,而非纯学术论文。
4.敏捷执行
项目规则会动态优化(如“丰富度”标准从2个角度调整为3个),需快速理解并当日落地新规则,确保评估准确、高效、不延误。