探索性数据分析（EDA）通常从查看数据类型、缺失值和分布开始，但手工执行这些步骤既耗时，也容易遗漏异常。fg-data-profiling 的核心价值，是把这些检查组织成可重复生成的分析报告，并进一步支持时间序列数据的剖析。
自动化 EDA 的重点是什么
一份有用的 profiling 报告，通常应回答几类问题：
- 数据集有多少行、多少列，字段类型是否符合预期？
- 哪些列存在缺失值、重复值或高基数？
- 数值字段的范围、分布和异常值情况如何？
- 分类字段有哪些主要取值，是否出现意外类别？
- 时间字段是否连续、是否存在重复时间点或明显的周期性？
自动生成报告并不等于自动完成数据理解。报告应当服务于后续决策，例如决定是否需要清洗字段、转换类型、处理异常值，或者调整时间序列建模策略。
从静态数据集生成报告
可以把 profiling 放进数据管道：数据文件到达后生成报告，随后将报告保存为构建产物或上传到团队共享位置。下面的命令以已经安装、并且当前版本提供 fg-data-profiling 命令行为前提；具体参数请先通过帮助命令确认。
python -m pip install fg-data-profiling pandas
fg-data-profiling --help
fg-data-profiling \
--input data/orders.csv \
--output reports/orders-profile.html \
--title "Orders EDA"
如果安装版本没有提供同名 CLI，可以先查看包元数据和入口点，再按该版本的 Python API 改造调用方式：
python -m pip show fg-data-profiling
python -c "import importlib.metadata as m; print(m.entry_points(group='console_scripts'))"
这类命令适合放在 CI 或数据任务中。运行前应固定输入文件、报告输出目录和包版本，避免同一份数据在不同环境中生成难以比较的结果。
时间序列需要额外检查
时间序列 profiling 不只是把日期列识别成 datetime。还需要关注时间索引是否有序、采样间隔是否稳定、是否存在重复时间点，以及缺失时间段会不会影响后续聚合或预测。
可以先用下面的 Python 脚本做一轮可复制的基础检查，再把结果交给 fg-data-profiling 生成完整报告。示例假设 CSV 包含 timestamp 和 value 两列。
from pathlib import Path
import pandas as pd
INPUT = Path("data/metrics.csv")
frame = pd.read_csv(INPUT, parse_dates=["timestamp"])
frame = frame.sort_values("timestamp")
if frame["timestamp"].duplicated().any():
raise ValueError("timestamp contains duplicate values")
intervals = frame["timestamp"].diff().dropna()
print(f"rows: {len(frame)}")
print(f"start: {frame['timestamp'].min()}")
print(f"end: {frame['timestamp'].max()}")
print(f"missing values:\n{frame.isna().sum()}")
print(f"most common interval: {intervals.mode().iloc[0] if not intervals.empty else 'n/a'}")
# 将标准化后的输入交给 profiling 工具，避免日期格式和排序不一致。
normalized = Path("build/metrics-normalized.csv")
normalized.parent.mkdir(parents=True, exist_ok=True)
frame.to_csv(normalized, index=False)
print(f"normalized input: {normalized}")
如果数据按天采样，可以进一步检查完整日期范围；如果按小时或分钟采样，则应使用对应频率。不要在不知道业务采样频率的情况下，直接把缺失时间点填充为零，因为“没有记录”和“值为零”通常是两种不同的业务含义。
把报告放进数据质量流程
自动化报告最适合承担“发现问题”和“留下证据”的职责。对于重要字段，还应在报告之外配置明确的质量门槛，例如主键不可重复、时间戳不可为空、数值范围必须合理。
可以采用这样的流程：
- 读取原始数据并记录文件版本或分区信息。
- 标准化日期、数值和分类字段的类型。
- 运行
fg-data-profiling，生成 HTML 或其他团队约定的报告格式。 - 对关键质量规则执行失败即终止任务。
- 保存报告、规则结果和运行时间，便于比较数据漂移。
需要注意，报告可能包含样本值、敏感字段统计或业务标签。上传报告前应检查脱敏策略，并限制报告的访问权限。对超大表也要评估扫描成本，必要时使用抽样或分区分析，但要在报告中明确记录抽样方式。
采用建议
把 fg-data-profiling 引入项目时，可以先从一个稳定的数据集开始，确认报告字段、时间序列检查和输出格式，再接入定时任务。重点不是生成一份漂亮的 HTML，而是让团队能在数据变更后快速回答：哪里变了、变化是否合理、是否会影响下游模型或报表。
一份实用的落地清单如下：
- 固定
fg-data-profiling及相关依赖版本。 - 为每个数据集定义输入、输出和报告保留周期。
- 单独检查时间序列的重复点、乱序和缺失区间。
- 对关键字段增加可执行的数据质量规则。
- 在报告中标注抽样、脱敏和数据截止时间。
- 把报告链接或文件路径写入任务日志，方便追溯。
这样，EDA 就从一次性的探索动作，变成了数据管道中可以持续运行、比较和审计的一环。