评测与安全工具
AI Job Insight Evaluator：面向招聘岗位描述的大模型结构化信息抽取评测与岗位洞察平台
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
ELI5：它是什么，解决什么问题
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
核心能力与快速开始
★ 1 · Python
- 能做什么
- 提供岗位描述（JD）数据集与人工标注规范；实现基于关键词的规则基线提取；实现通过 OpenAI 兼容 /chat/completions 协议调用大模型的提取器，可切换兼容服务；评测器 v2 支持严格匹配、同义词归一化匹配和原文依据检查，输出准确率、Precision、Recall、F1 与潜在无依据率，并进行模型间对比和多轮 Prompt 迭代实验。
- 适用场景
- 用于比较规则方法与大模型在招聘岗位结构化抽取上的效果；评估 Prompt 版本（v1/v2/v3）与元数据输入对单值字段和技能字段准确率的影响；在冻结验证集上检验抽取方案的泛化能力；积累面向大模型评测、产品经理、数据分析岗位的技能需求分析数据。
- 项目形态
- 研究实现
- 部署方式
- 本地运行 Python 命令（如 python -m src.run_baseline、src.run_llm、src.run_evaluation_v2），需在 .env 中配置 LLM_API_KEY、LLM_BASE_URL、LLM_MODEL；未说明其他部署方式。
- 主要依赖
- 运行规则基线与测试仅需 Python 标准库，建议 Python 3.10 或更高版本；大模型提取需可用的 OpenAI 兼容接口及 API 密钥，具体成本与限额未说明。
- 使用限制
- 数据集规模很小（开发集 9 条、验证集 9 条），README 明确不能将当前结果视为最终效果；技能字段 F1 在冻结验证集上较低，技能输出粒度控制与别名表泛化仍需改进；可视化页面尚未开发；项目暂未选择开源许可证，使用与商用条件未说明。
- 许可证
- 未说明
- 最近推送
- 2026-10-18 20:32
资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
提供关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器实现，以及准确率、Precision、Recall、F1 等评测代码，可供开发人员参考或复用进行信息抽取评测。
查看内容依据
实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测
由 AI 根据来源材料整理，未进行安装或运行验证
HR
用于对公开招聘岗位描述（JD）进行结构化信息抽取与评测，辅助招聘信息整理和岗位技能需求分析；项目首期覆盖大模型评测、产品经理、数据分析三类实习岗位。
查看内容依据
本项目计划收集并标注公开招聘岗位描述（JD），评测不同方法对岗位信息的结构化提取能力，并进一步分析目标岗位的技能需求与差异。
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
项目将产品经理实习岗位纳入岗位描述结构化提取与技能需求分析范围，可用于产品经理岗位的招聘信息洞察。
查看内容依据
首期覆盖三类实习岗位： - 大模型评测 - 产品经理 - 数据分析
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。