训练与微调工作流
ACTF Core:企业级分布式持续训练与模型治理平台
AdolphoIgor/actf-core · Enterprise Distributed Continuous Training (CT) and Model Governance Platform
ELI5:它是什么,解决什么问题
ACTF Core 是一个面向受监管行业(RegTech、FinTech、医疗等)的企业级参考架构,用于基础模型的自动化持续预训练、领域适配与监督微调(SFT)。平台将关系型数据湖仓、分布式计算集群、内存自动微分引擎与自动化统计评估防火墙串联为一个不可变、确定性的训练闭环,并提供五级质量防火墙,在存储契约、数据泄漏边界、张量图稳定性与统计非劣性等环节进行把关,最后通过 MLflow 模型注册表别名(@champion)完成候选模型晋升。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供端到端的分布式持续训练与模型治理流程:使用 Apache Spark 3.5 进行关系型数据抽取与 Bronze 分区写入;使用 Ray Data 2.40 进行文本规范化、MinHash LSH 去重与序列打包;使用 PyTorch 2.2+ / FlashAttention 进行混合精度训练(BF16/FP16)、AdamW 参数优化与梯度裁剪;支持 Tokenization 与 ChatML 序列打包;通过五级质量防火墙(Bronze 存储契约、Silver 清洁度、切分污染检查、训练前张量健康、生产模型门禁)进行质量把关;使用 MLflow 进行实验追踪与模型注册表别名生命周期管理;集成 vLLM / Hugging Face 推理运行时;提供 SciPy 统计检验、LLM-as-a-Judge 评审与 Gold 基准套件评估。
- 适用场景
- 适用于在受监管环境中对基础模型进行自动化持续预训练、领域适配和监督微调(SFT);构建从数据摄取、数据准备、模型训练到评估与治理的确定性训练闭环;通过统计非劣性检验、McNemar 检验与 bootstrap 置信区间进行候选模型晋升决策;在训练前对张量图健康(Step-0 交叉熵校准、梯度流覆盖、绑定嵌入指针)进行预检;对训练与评估分区进行 n-gram 与嵌入级别的数据泄漏检查。
- 项目形态
- 开发框架
- 部署方式
- 材料提及通过 compose.yaml 进行多容器编排(CPU 与 GPU profiles),并提供 Dockerfile.ray-cpu 与 Dockerfile.ray-gpu 镜像(Python 3.11,分别对应 CPU 与 CUDA 执行)。具体部署条件、硬件与规模要求未说明。
- 主要依赖
- 材料列出的技术栈包括 Apache Airflow 2.9+、PostgreSQL 16、MinIO(S3 API)、DVC / Parquet、Apache Spark 3.5、Ray Cluster 2.40、PyTorch 2.2+ / FlashAttention、vLLM / Hugging Face、MLflow 2.12+、SciPy,以及 Astral uv 包管理。具体硬件规格、GPU 数量与 API 成本未说明。
- 使用限制
- 材料为 README 摘录,未说明具体部署限制、硬件门槛、运行成本与许可范围(仅标注 Apache-2.0 许可证);未提供实际安装或验证信息;部分 README 内容在 Step 17 与 gate_05 处截断。
- 许可证
- Apache-2.0
- 最近推送
- 2026-09-24 08:28
资料检查:2026-09-25 07:00 · 卡片整理:2026-09-25 07:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证 · 本次更新未完成,保留上次成功内容
职业应用
程序员
作为企业级分布式持续训练与模型治理的参考架构,供程序员在受监管行业(RegTech、FinTech、医疗等)中搭建基础模型的自动化持续预训练、领域适配与监督微调(SFT)流水线,并实现五级质量防火墙与 MLflow 模型注册表别名晋升。
查看内容依据
ACTF Core 是一个面向受监管行业(RegTech、FinTech、医疗等)的企业级参考架构,用于基础模型的自动化持续预训练、领域适配与监督微调(SFT)。
由 AI 根据来源材料整理,未进行安装或运行验证
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。