itertools.groupby:同一查询为何分成两组

黎 浩然/ 24 10 月, 2026/ 计算机/COMPUTER/ 0 comments

itertools.groupby不会把整个输入中相同的键自动合并。它只把相邻且键相同的记录放进一组;输入Q1、Q2、Q1,输出仍是三个组。若再用字典接收每组统计,第二个Q1可能覆盖第一个,让评估程序正常结束,却悄悄漏掉一次结果。

文章目录
  1. 先确认你需要的是连续段,还是全局分组
  2. 三条记录,怎样把3/4算成1/2
  3. 子组不是一份可以以后再读的快照
  4. 两种修复,取决于输入契约
  5. 运行反例、修复和消费顺序检查
  6. 把排序与记录数写进评估接口

先确认你需要的是连续段,还是全局分组

CPython v3.10.0官方文档源码明确描述了连续分组,以及子组与外层对象共享输入迭代器的行为。这里使用早于原计划文章日期的固定版本作语义依据;本地例子在Python 3.15.0运行,不把这个长期存在的接口当成新功能。

如果输入本来就是按查询排列的日志,每个查询只出现一个连续段,groupby很适合逐段消费。若记录按异步任务完成顺序到达,同一查询的多次尝试可能被别的查询隔开。应把“完成顺序”和“按查询聚集”当成不同输入契约。函数不会往回搜索,也不知道哪条未来记录还属于当前查询。它看到键变化,就开始下一组。

排序是一种让相同键聚在一起的办法,却不是groupby运行的必要条件。需要的是相同键的记录连续;Q2、Q2、Q1、Q1同样各有一个组,不必按字母升序。把“必须先排序”当成唯一规则,容易忽略输入原本已经按键聚集,也容易把排序成本藏到所谓流式处理之前。

三条记录,怎样把3/4算成1/2

构造三条虚拟评估记录:(Q1,1)、(Q2,1)、(Q1,0)。第二列表示一次尝试是否成功,完全是人为指定,不是真实模型成绩。我们要先算每个查询的尝试成功率,再让两个查询等权平均:Q1为1/2,Q2为1,最终为3/4。

直接groupby得到Q1成功一次、Q2成功一次、Q1失败一次这三个段。字典推导式按query保存每段的(total,count),会把Q1的(1,1)替换成(0,1)。最后只剩两个查询键,数量看上去没少,但Q1的一次成功已经丢失,最终均值变成1/2。

输入完成顺序
Q1成功 → Q2成功 → Q1失败
连续分组
Q1:[1] │ Q2:[1] │ Q1:[0]
写入同键字典
Q1:(1,1) → 被(0,1)覆盖
错误查询均值:1/2
全局聚合
Q1:(1,2),Q2:(1,1)
正确查询均值:3/4
图1:原创三记录反例。分组函数保留了三个段;信息是在后续同键赋值时被覆盖,不能把两步混为一个故障。

因此,检查最终字典有两个查询还不够。至少同时核对总尝试数:本例正确count之和为3,错误写法只有2。总成功数也从2变成1。程序额外断言错误均值确实为1/2,使正文中的分数可以直接复算。键数量、记录数量与成功数量是三个不同的检查,某一个正常不能替另外两个作答。

子组不是一份可以以后再读的快照

另一个独立问题是子组的寿命。对字符流A、A、B,取得第一组后只读一个A,再让外层迭代器前进到B组;剩下的A已经被外层消费以找到新组,旧子组再读就为空。保存子组迭代器对象,不等于保存了它的内容。

时刻1:取到A组
底层输入 A A B
只消费第一个A
时刻2:外层取下一组
越过剩余A,发现B
新组为B
时刻3:再读旧A组
得到空序列
需要保留时应及时物化
图2:原创共享游标示意。外层与子组沿同一输入前进,不能把旧子组当成独立可重放的集合。

如果后续确实需要完整组内容,在当前组仍有效时调用list(group),随后保存列表。若只需要总和与数量,立即累加就足够,没有必要为了求均值保留每条记录。二者都解决共享输入的消费时机问题,但不会自动把不同位置的同键段合并。

两种修复,取决于输入契约

有限输入可以先用相同的key函数排序,再groupby。这会让Q1的两条记录相邻,适合已有批量数据、需要保留每组记录或继续逐组执行操作的情况。但sorted需要读完输入并保存排序结果;不能把“排序后再迭代”描述为任意长度数据上的常量内存方案。

若只要总和、计数这类可以合并的统计,字典按键累加更直接,不依赖记录到达顺序。设记录数为N、不同键数为U,通常哈希累加平均O(N)时间、O(U)统计状态;先排序通常O(N log N)时间,并要保存O(N)记录。字典这里仅保留total与count;若改成保存全部行,空间就不再只是O(U)。这里忽略整数位宽和键比较成本,不是对实际系统延迟的测量。

如果上游承诺每个键只有一个连续段,可以加一个seen集合,在结束过的键重新出现时拒绝输入。它验证的是聚集契约,不要求键按大小递增;代价是O(U)已见键状态。这个检查也不回滚此前消费或写出的结果,不能因为最后抛了异常,就假设外部报告没有部分更新。

运行反例、修复和消费顺序检查

保存为groupby_example.py,执行python3 groupby_example.py,不加会关闭断言的-O。下面程序已在Python 3.15.0运行。它检查交错段、覆盖后的错误统计、排序与哈希两种正确聚合、总数、空输入、重复段拒绝,以及外层前进后旧子组耗尽。

from collections import defaultdict
from fractions import Fraction as F
from itertools import groupby
from operator import itemgetter


def stats(group):
    total = count = 0
    for _, success in group:
        total += success
        count += 1
    return total, count


def hash_totals(rows):
    result = defaultdict(lambda: [0, 0])
    for query, success in rows:
        result[query][0] += success
        result[query][1] += 1
    return {key: tuple(value) for key, value in result.items()}


def checked_runs(rows):
    seen = set()
    for query, group in groupby(rows, key=itemgetter(0)):
        if query in seen:
            raise ValueError('query reappeared after its run ended')
        seen.add(query)
        yield query, stats(group)


# Assigned outcomes of fictional query attempts, not model measurements.
rows = [('Q1', 1), ('Q2', 1), ('Q1', 0)]
runs = [(key, list(group)) for key, group in groupby(rows, key=itemgetter(0))]
assert [key for key, _ in runs] == ['Q1', 'Q2', 'Q1']
bad = {key: stats(group) for key, group in groupby(rows, key=itemgetter(0))}
assert bad == {'Q1': (0, 1), 'Q2': (1, 1)}
bad_macro = sum((F(t, n) for t, n in bad.values()), F(0)) / len(bad)
assert bad_macro == F(1, 2)
ordered = sorted(rows, key=itemgetter(0))
fixed = dict(checked_runs(ordered))
assert fixed == hash_totals(rows) == {'Q1': (1, 2), 'Q2': (1, 1)}
macro = sum((F(total, count) for total, count in fixed.values()), F(0)) / len(fixed)
assert macro == F(3, 4)
assert sum(x[0] for x in fixed.values()) == 2
assert sum(x[1] for x in fixed.values()) == len(rows)
assert F(2, 3) != macro  # Attempt-weighted and query-weighted means differ.
assert hash_totals([]) == {} and list(checked_runs([])) == []
try:
    list(checked_runs(rows))
except ValueError:
    pass
else:
    raise AssertionError('noncontiguous query accepted')

outer = groupby('AAB')
_, first = next(outer)
assert next(first) == 'A'
_, second = next(outer)
assert list(first) == []  # Advancing outer discarded the rest of its first run.
assert list(second) == ['B']
print('runs:', [key for key, _ in runs])
print('bad:', bad, 'fixed:', fixed, 'macro:', macro)
print('counts, noncontiguous-key guard, and shared-iterator checks passed')

程序的正确统计为Q1:(1,2)、Q2:(1,1),按查询等权均值为3/4。若改为每次尝试等权,结果是2/3;这不是另一个修复,而是改变了指标定义。因此,修复分组之后仍要说明分母,不能只挑更大的数作为“改进”。本例没有调用检索器或语言模型,也不表示模型准确率提升。

把排序与记录数写进评估接口

评估接口应说明输入是按键聚集还是任意顺序、每条记录代表一次尝试还是一个查询,以及同键重复出现如何处理。并发完成顺序、分片拼接或文件排序变化,都会改变连续段;不能让一个只依赖相邻性的实现默默承担全局聚合职责。

大规模输入若无法把所有键状态留在内存,可以考虑按键分区或外部排序,再处理每个分区的聚合;这些方案需要自己的数据完整性与资源验证,本文程序没有实现它们。选择groupby、排序或哈希之前,先问清楚什么时候可以确认一个查询的记录已经全部到齐。

补发时新增相关阅读:Python zip为何静默丢样本讨论另一种输入对齐问题;这里关注的是记录都到达后,连续分组与覆盖如何改变统计。English version。若这些反例和检查方法帮你发现了汇总中的漏计,欢迎自愿支持。

原计划文章日期为2026年10月24日14:00(北京时间),实际于2026年10月31日补发。依据为此前已公开的CPython固定版本文档,例子与两幅图均为原创教学内容。

支持

如果文中的解释或示例帮你解决了问题、节省了时间,欢迎自愿打赏支持本站。

微信支持二维码,点击查看大图
微信
支付宝支持二维码,点击查看大图
支付宝
Buy Me a Coffee,点击支持本站
Buy Me a Coffee

二维码可点击放大。更多支持方式见支持页面。

Share this Post

Leave a Comment

您的邮箱地址不会被公开。 必填项已用 * 标注

*
*