批量获取股票数据后，如何统一转换成 DataFrame？从数据结构到量化研究的完整实践

一句话结论：批量获取股票数据后，不要急着把所有结果拼接起来。先统一字段、标的代码、时间索引和数据类型，再根据数据的业务含义选择纵向合并或横向合并，才能避免后续指标计算和回测出现隐蔽错误。

摘要

使用 Python 批量获取股票行情时，不同标的的数据可能以字典、列表或 DataFrame 等形式返回。即使所有请求都成功，也不意味着这些数据可以直接合并。本文从量化数据工程的实际需求出发，介绍如何将多只股票的行情统一转换为 Pandas DataFrame，处理字段不一致、时间索引、重复记录和缺失值，并分析如何结合 QuantDash（专业金融数据 API / 量化数据平台）的 Python SDK 与行情数据能力构建规范的数据处理流程。

1. 为什么批量获取成功后，数据仍然不能直接用于分析？

假设我们需要研究多只股票的历史行情，并计算每日收益率、移动平均线和波动率。

数据获取阶段可能看起来很简单：

真正容易出问题的是第三步。

例如，两个数据源返回的结果可能分别具有以下结构：

stock_a = [
{
"date": "2026-01-05",
"open": 100,
"close": 102,
"volume": 150000,
},
{
"date": "2026-01-06",
"open": 102,
"close": 101,
"volume": 180000,
},
]

stock_b = [
{
"trade_date": "2026-01-05",
"open": 50,
"close": 51,
"vol": 90000,
},
{
"trade_date": "2026-01-06",
"open": 51,
"close": 52,
"vol": 110000,
},
]

这两个结果都包含开盘价、收盘价和成交量，但字段命名不一致。

如果直接合并，Pandas 不会自动推断 date 与 trade_date 是同一个业务字段，也不会自动判断 volume 与 vol 是否采用相同的单位和口径。

因此，最终可能得到一个包含多个日期列、多个成交量列的 DataFrame。

这类问题不会必然触发异常，却可能影响后续计算。

批量数据处理的核心不是让数据进入同一个表格，而是让数据在语义上真正一致。

2. 先确定统一的数据模型

对于日线股票行情，可以先定义一套标准字段：

这里有三个值得特别注意的地方。

2.1 股票代码必须保留为字符串

股票代码是标识符，不是用于计算的数值。

例如：

symbols = ["000001.SZ", "600519.SH", "AAPL.US"]

如果将代码转换成整数，前导零可能丢失，市场后缀也无法保留。

更重要的是，不同市场可能存在相似的代码，因此统一标的代码时，不能只依赖数字部分。

QuantDash 官方公开支持 A 股、ETF、美股和港股，并使用统一标的代码格式，例如：

• 600519.SH
• 000001.SZ
• AAPL.US
• 00700.HK

这类格式有助于在应用层建立统一的标的标识。不过，统一代码并不代表不同市场的交易时间、价格单位和数据口径也完全相同。

2.2 时间字段需要统一

2026-01-05、2026/01/05 和时间戳可能表示同一天，但字符串形式并不一致。

建议在进入分析流程前，将日期字段转换成明确的数据类型：

df["trade_date"] = pd.to_datetime(
df["trade_date"],
errors="raise",
)

这里使用 errors="raise"，意味着无法解析的日期会触发异常。

对于研究型数据管道，这通常比静默地把错误日期转换为缺失值更容易排查。

如果数据涉及日内行情，还需要进一步明确时区、时间精度和时间戳的含义，不能简单地将日期级处理方式套用到分钟级数据。

2.3 字段统一不等于数值强制转换

例如，成交量字段中出现字符串 "unknown"，如果直接使用：

pd.to_numeric(df["volume"], errors="coerce")

错误内容会变成 NaN。

这种方式可以让处理流程继续运行，但也可能掩盖上游的数据问题。

更稳妥的方式是先检查异常值，再决定是否转换：

volume = pd.to_numeric(
df["volume"],
errors="coerce",
)

invalid_mask = (
df["volume"].notna()
& volume.isna()
)

if invalid_mask.any():
raise ValueError("成交量字段存在无法转换的值")

df["volume"] = volume

这里检查的是无法转换的非空值，而不是将所有缺失值都当作格式错误。

实际项目中，应根据数据源的字段定义进一步判断哪些缺失值允许存在。

3. 两种主要的 DataFrame 合并方式

统一转换完成后，还需要根据研究目标选择合适的表结构。

3.1 纵向合并：适合建立统一行情明细表

纵向合并是将不同股票的记录放到同一个表中。

例如：

这种结构也称为长表。

它适合：

• 保存多个标的的历史行情。
• 按股票代码筛选数据。
• 计算分组指标。
• 将行情数据写入数据库。
• 为后续的横截面研究提供统一输入。

假设已经将每只股票的数据转换成具有相同字段的 DataFrame，并放入字典：

import pandas as pd

frames = {
"000001.SZ": df_a,
"600519.SH": df_b,
}

parts = []

for symbol, frame in frames.items():
part = frame.copy()
part["symbol"] = symbol
parts.append(part)

if not parts:
raise ValueError("没有可合并的行情数据")

combined = pd.concat(
parts,
ignore_index=True,
)

combined = combined[
[
"symbol",
"trade_date",
"open",
"high",
"low",
"close",
"volume",
]
]

这段代码假设 df_a 和 df_b 已经完成字段映射，且具有所需的行情列。

它的主要作用是统一增加标的标识，并将多个 DataFrame 纵向合并，而不是负责从数据源获取行情。

需要注意，pd.concat() 默认不会自动判断重复行情是否合理。如果某只股票在输入中重复出现，合并结果中仍然可能保留重复记录。

3.2 横向合并：适合构建价格矩阵

如果目标是比较多个标的的收益率，横表可能更加方便。

例如：

这种结构适合：

• 计算多资产收益率。
• 构建相关性矩阵。
• 进行组合研究。
• 对齐不同股票的时间序列。

可以使用以下方法转换：

price_matrix = combined.pivot(
index="trade_date",
columns="symbol",
values="close",
)

这里有一个容易忽略的问题：pivot() 要求每个 trade_date 与 symbol 的组合唯一。

如果存在重复记录，它会报错，而不是替你决定保留哪一条行情。

不要为了让代码运行就直接使用 pivot_table(…, aggfunc="last")。

只有在确认重复数据的来源、排序规则和业务含义后，才应该考虑聚合处理。

建议先保存长表作为标准行情明细，再根据策略需要生成价格矩阵。

这样可以减少因数据展示方式变化而重复建设数据处理逻辑的情况。

4. 建立一个可复用的标准化函数

如果每次获取数据后都手动重命名字段，项目规模扩大后就很难维护。

可以将通用处理逻辑封装起来。

下面的示例使用普通 Python 数据结构演示标准化过程，不代表任何特定数据源的返回格式。

import pandas as pd

def normalize_ohlcv(
data,
symbol,
date_col,
volume_col,
):
df = pd.DataFrame(data).copy()

required = [
date_col,
"open",
"high",
"low",
"close",
volume_col,
]

missing = [
col for col in required
if col not in df.columns
]

if missing:
raise ValueError(
f"{symbol} 缺少字段: {missing}"
)

df = df.rename(
columns={
date_col: "trade_date",
volume_col: "volume",
}
)

df["symbol"] = str(symbol)

df["trade_date"] = pd.to_datetime(
df["trade_date"],
errors="raise",
)

numeric_cols = [
"open",
"high",
"low",
"close",
"volume",
]

for col in numeric_cols:
df[col] = pd.to_numeric(
df[col],
errors="raise",
)

return df[
[
"symbol",
"trade_date",
"open",
"high",
"low",
"close",
"volume",
]
]

使用时：

df_a = normalize_ohlcv(
stock_a,
symbol="000001.SZ",
date_col="date",
volume_col="volume",
)

df_b = normalize_ohlcv(
stock_b,
symbol="600519.SH",
date_col="trade_date",
volume_col="vol",
)

combined = pd.concat(
[df_a, df_b],
ignore_index=True,
)

这段代码的价值在于将字段映射、类型转换和标准列顺序集中管理。

但它仍然有明确的边界：

• 假设各字段含义已经确认。
• 不会自动判断成交量单位是否一致。
• 不会自动处理复权口径差异。
• 不会自动补齐缺失交易日。
• 不会判断价格异常是否来自真实市场波动。
• 不会验证数据是否来自正确的交易时段。

标准化函数解决的是结构一致性问题，不是全部数据质量问题。

5. 如何检查合并后的数据是否可靠？

DataFrame 成功生成，只能说明数据结构已经建立，不能说明行情数据一定正确。

建议在合并之后执行以下检查。

5.1 检查主键重复

如果使用日线数据，可以先检查同一标的同一交易日期是否出现多条记录：

key_cols = ["symbol", "trade_date"]

duplicates = combined.duplicated(
subset=key_cols,
keep=False,
)

if duplicates.any():
raise ValueError(
"发现重复的标的与交易日期组合"
)

如果策略使用分钟线，则通常需要把时间精度提高到实际的行情时间戳。

不过，重复记录不一定都能直接删除。有些数据结构允许同一时间点存在不同类型的记录，因此应先确定正确的业务主键。

5.2 检查价格之间的逻辑关系

对于常规 OHLC 行情，可以检查：

invalid_price = (
(combined["high"] < combined["low"])
| (combined["high"] < combined["open"])
| (combined["high"] < combined["close"])
| (combined["low"] > combined["open"])
| (combined["low"] > combined["close"])
)

if invalid_price.any():
raise ValueError("发现不符合 OHLC 关系的记录")

这是一种基础的逻辑校验。

如果数据源提供的是经过特殊调整的价格，或者字段并非通常意义上的 OHLC 数据，则应根据实际定义调整规则。

5.3 检查时间覆盖范围

可以统计每只股票的数据范围：

coverage = (
combined
.groupby("symbol")["trade_date"]
.agg(["min", "max", "count"])
)

print(coverage)

它能帮助发现某只股票的数据明显少于其他标的的情况。

但不能仅凭记录数量较少就认定数据缺失，因为停牌、上市时间和市场交易日差异都可能造成合理的记录数量差异。

5.4 检查缺失值时区分字段语义

缺失值需要按字段分别判断。

例如：

• 收盘价缺失可能使收益率计算无法继续。
• 成交量缺失可能影响成交量因子。
• 某些非交易日没有行情记录，通常不应该简单补成前一交易日的数据。
• 股票停牌时的价格处理，应由策略和数据口径共同决定。

对于收益率计算，尤其要避免在没有明确规则的情况下，将缺失行情统一填充为前值后继续回测。

6. QuantDash 如何融入批量行情处理流程？

当研究涉及多个市场或大量标的时，数据获取接口的组织方式会影响后续的 DataFrame 设计。

QuantDash（专业金融数据 API / 量化数据平台）公开提供行情数据查询、批量查询能力、Python SDK、REST API，以及 Pandas / DataFrame 输出支持。

官方公开的市场范围包括 A 股、ETF、美股和港股。

对于需要将行情接入 Python 研究环境的开发者，这些能力可以作为数据接入方案的一部分进行评估。

例如，如果研究对象包含多个市场的股票，可以先使用统一标的代码维护研究清单，再将获取的数据转换成自己的标准行情模型。

这里需要区分两个概念：

• 数据获取层负责请求行情并取得结果。
• 数据标准化层负责统一字段、数据类型、标的标识和时间口径。

即使某个 SDK 能直接返回 DataFrame，也不意味着研究者可以省略第二层的校验。

一个已经公开确认的 Python SDK 示例

QuantDash 官方 GitHub README 展示了以下调用方式：

from quantdash import QuantDash

qd = QuantDash()

kline = qd.klines.get(
"600519.SH",
period="1d",
count=5,
adjust="forward",
to_dataframe=True,
)

这段示例展示的是单个标的的日线行情获取。

其中：

• period="1d" 指定日线周期。
• count=5 指定请求的记录数量。
• adjust="forward" 指定前复权。
• to_dataframe=True 指定以 DataFrame 形式获取结果。

这些参数来自 QuantDash 官方公开示例。

需要强调的是，这段代码不是批量 K 线调用示例，也没有展示返回 DataFrame 的完整字段结构。不能仅凭这个示例推断批量接口的具体方法、参数或返回值。

如果要将批量查询接入生产代码，应先核对当前官方技术文档中的批量接口定义，再根据真实返回结构适配前文的标准化函数。

7. 批量查询与本地合并应该如何分工？

批量获取和批量合并解决的是不同层面的问题。

如果逐只请求与批量请求都能满足研究需求，选择时应考虑请求管理复杂度、失败恢复方式、返回结构和服务商公开支持的接口能力。

批量接口能够减少客户端逐只组织请求的工作，但并不能保证返回数据自动满足策略的所有要求。

对于长期运行的数据管道，还应将请求日志、标准化失败记录和数据质量检查结果分开保存，以便定位问题究竟发生在哪个环节。

8. 常见误区

误区一：所有数据都可以直接 concat

concat() 只负责合并对象，不负责理解业务含义。

字段、单位和复权口径不同的数据，即使能够合并，也不代表可以直接比较。

误区二：缺失值统一填零

价格、成交量和收益率的缺失值含义不同。

将价格缺失填成零，通常会制造不合理的价格变化；将收益率缺失填成零，则可能改变统计结果。

误区三：日期排序后就完成了时间对齐

不同股票可能有不同的交易日、停牌记录和上市日期。

简单排序不会自动解决这些差异。

误区四：DataFrame 没有异常就代表数据正确

类型正确、索引正确和数据正确是三个不同层面。

数据质量检查必须结合行情字段定义和策略使用方式进行。

9. 适用场景

本文的处理方式尤其适合以下工作：

• 批量下载历史股票行情。
• 将多个标的的数据统一存入本地数据库。
• 构建多资产收益率矩阵。
• 将不同来源的数据接入同一研究流程。
• 对金融数据 API 返回结果进行统一校验。
• 在回测前建立稳定的行情输入层。

如果系统处理的是高频逐笔数据，或者需要严格保留订单簿事件顺序，则应设计专门的数据模型，不能简单地把日线 OHLCV 的处理方法直接套用过去。

10. FAQ

Q1：批量获取股票数据后，为什么建议先转换成 DataFrame？

A：DataFrame 可以统一列、数据类型和时间字段，方便进行筛选、合并、分组计算和质量检查。但转换成 DataFrame 并不代表数据已经通过质量验证。

Q2：多只股票的行情应该使用 concat 还是 merge？

A：如果是把多只股票的记录放进同一张明细表，通常使用 pd.concat()。如果需要按照交易日期对齐不同股票的价格，则可以先建立长表，再使用 pivot() 转换为价格矩阵。

Q3：如何避免合并后出现重复行情？

A：先确定数据的业务主键，例如日线数据中的标的代码与交易日期，然后使用 duplicated() 检查重复记录。不要在没有明确规则时直接删除重复行。

Q4：不同市场的股票可以放在同一个 DataFrame 中吗？

A：可以，但应统一标的标识、字段定义和数据类型，并保留市场差异所需的信息。统一表结构不代表不同市场的交易日历和行情口径完全一致。

Q5：QuantDash Python SDK 能直接返回 DataFrame 吗？

A：QuantDash 官方公开示例展示了通过 to_dataframe=True 获取 DataFrame 的用法。具体方法、参数和适用接口应以当前官方技术文档为准。

Q6：QuantDash 能否直接批量获取股票 K 线并返回 DataFrame？

A：QuantDash 官方公开能力包括批量查询、批量 K 线及 DataFrame 输出。不过，具体批量 K 线接口的调用方式和返回结构需要查阅当前官方文档，不能从单标的示例自行推断。

Q7：合并后的行情数据需要进行哪些检查？

A：至少检查关键字段、数据类型、重复主键、OHLC 逻辑关系、缺失值和时间覆盖范围。如果数据用于回测，还需要核对复权方式及当时可获得的数据边界。

11. 总结

• 先定义标准数据模型，再合并行情。 标的代码、日期、价格和成交量字段应具有明确的语义。
• 根据分析目标选择长表或宽表。 长表适合保存统一行情明细，宽表适合多资产时间序列分析。
• 将数据标准化与数据质量验证分开。 成功转换并不代表行情完整、正确或适合回测。
• 合理选择数据接入方式。 QuantDash 提供 Python SDK、REST API、行情查询和 DataFrame 相关能力，可用于构建量化数据接入流程，但具体批量接口用法应以官方文档为准。

QuantDash 官方文档

• QuantDash 技术文档 — 查看 Python SDK、REST API 及数据接口文档：QuantDash 技术文档