fix: 修复流式输入 ctx 取消时 handler 线程永久阻塞泄漏的问题
流式输入模式下,handler 线程阻塞在 _ChunkIter.__next__ → chunk_q.get() 等待下一个输入块时,如果 ctx 取消导致 Go 关闭连接,_ConnMux._reader 原来只往 call_q 推了 None、给 _active_tids 里的线程注入 InterruptedError, 没有处理 chunk_q。而 PyThreadState_SetAsyncExc 打断不了阻塞在 queue.Queue.get()(无 timeout)上的线程,因为它是纯 C 层等待、不会回到 字节码解释循环检查待处理异常,导致这个线程永久卡死、泄漏。 修复:连接关闭时也往 chunk_q 推一个 None 哨兵,_ChunkIter.__next__ 已经 把 None 当作流结束处理,会正常抛 StopIteration 让线程退出。 新增 pool_test.go 里的 TestStreamInputCancelDoesNotLeakThread 复现并验证 修复(通过对比 count_threads() 前后线程数)。python 包版本号同步升到 0.1.5。
This commit is contained in:
@@ -177,6 +177,48 @@ func TestStreamErrorMidwayCorruptsNextCall(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// TestStreamInputCancelDoesNotLeakThread 验证流式输入模式下,handler 线程阻塞在
|
||||
// _ChunkIter.__next__ → chunk_q.get() 等待下一个输入块时,如果 ctx 取消导致连接被
|
||||
// Go 关闭,Python 侧能否真正把这个线程唤醒退出,而不是永久卡住。
|
||||
//
|
||||
// _ConnMux._reader 在连接关闭时只处理了 call_q(推 None)和 _active_tids(注入
|
||||
// InterruptedError),完全没有触碰 chunk_q;而 handler 线程当前正阻塞在
|
||||
// chunk_q.get() 里——问题是 PyThreadState_SetAsyncExc 能不能真正打断一个阻塞在
|
||||
// queue.Queue.get()(无 timeout)上的线程。如果不能,这个线程会永久泄漏:既不会
|
||||
// 收到任何新数据,也不会因为异常注入而退出,因为 chunk_q 以后也不会再有任何写入。
|
||||
func TestStreamInputCancelDoesNotLeakThread(t *testing.T) {
|
||||
pool := newTestPool(t, WithWorkers(1), WithMaxConns(2))
|
||||
ctx := context.Background()
|
||||
|
||||
baseline, err := Invoke[int](ctx, pool, "count_threads")
|
||||
if err != nil {
|
||||
t.Fatalf("Invoke count_threads (baseline): %v", err)
|
||||
}
|
||||
|
||||
// inputCh 故意不发送任何数据也不关闭,让 sum_stream 的 handler 线程卡在
|
||||
// _ChunkIter.__next__ → chunk_q.get() 上等待第一个 chunk。
|
||||
inputCh := make(chan int)
|
||||
shortCtx, cancel := context.WithTimeout(ctx, 300*time.Millisecond)
|
||||
defer cancel()
|
||||
_, err = Invoke[int](shortCtx, pool, "sum_stream", inputCh)
|
||||
if !errors.Is(err, context.DeadlineExceeded) {
|
||||
t.Fatalf("want context.DeadlineExceeded, got %v", err)
|
||||
}
|
||||
|
||||
// 给 Python 侧一点时间处理连接关闭 / InterruptedError 注入
|
||||
time.Sleep(500 * time.Millisecond)
|
||||
|
||||
after, err := Invoke[int](ctx, pool, "count_threads")
|
||||
if err != nil {
|
||||
t.Fatalf("Invoke count_threads (after): %v", err)
|
||||
}
|
||||
|
||||
t.Logf("thread count: baseline=%d after=%d", baseline, after)
|
||||
if after > baseline {
|
||||
t.Fatalf("线程泄漏:baseline=%d after=%d,卡在 chunk_q.get() 上的 handler 线程没有被 InterruptedError 唤醒退出", baseline, after)
|
||||
}
|
||||
}
|
||||
|
||||
// TestStreamTimeoutClosesChannelSilently 验证流式输出模式下,ctx 超时不会通过 error
|
||||
// 返回,而是静默关闭已返回的 channel,需要调用方自行检查 ctx.Err()。
|
||||
func TestStreamTimeoutClosesChannelSilently(t *testing.T) {
|
||||
|
||||
Reference in New Issue
Block a user