47M 参数打赢 7B：语音判停模型 TurnSense，让你的 Voice Agent 不再抢话

# 克隆仓库并安装依赖
git clone https://github.com/TurnSense/TurnSense.git
cd TurnSense
pip install -r requirements.txt

# 下载预训练模型权重（约 180MB）
python download_model.py --model turnsense-base

import numpy as np
from turnsense import TurnSenseModel, AudioStreamer

# 加载模型 —— 47M 参数，CPU 即可实时推理
model = TurnSenseModel.from_pretrained("turnsense-base")
model.eval()

# 模拟流式音频输入：每次收到 200ms 的音频 chunk
CHUNK_MS = 200
SAMPLE_RATE = 16000
CHUNK_SAMPLES = int(SAMPLE_RATE * CHUNK_MS / 1000)

# 状态管理：累积音频，在判停后清空
audio_buffer = np.zeros(0, dtype=np.float32)
silence_chunks = 0  # 连续静音 chunk 计数（VAD 判定）
MAX_SILENCE_BEFORE_QUERY = 5  # 1s 静音后才考虑判停，避免过早触发

def on_audio_chunk(chunk: np.ndarray, is_speech: bool):
    """每个 200ms 音频 chunk 的回调，is_speech 由 VAD 提供"""
    global audio_buffer, silence_chunks

    if is_speech:
        audio_buffer = np.concatenate([audio_buffer, chunk])
        silence_chunks = 0  # 有声音就重置静音计数
    else:
        silence_chunks += 1
        # 静音不够长，不触发判停
        if silence_chunks < MAX_SILENCE_BEFORE_QUERY:
            return

        # 静音已够长，但之前累积的音频可能含句中停顿
        # 关键一步：让 TurnSense 判断"是否真的说完了"
        if len(audio_buffer) > 0:
            is_end_of_turn = model.predict_end_of_turn(
                audio=audio_buffer,
                trailing_silence_ms=silence_chunks * CHUNK_MS,
            )

            if is_end_of_turn:
                # 确认句末 → 把完整音频交给 ASR + LLM
                print(f"[TurnSense] 检测到句末，音频长度 {len(audio_buffer)/SAMPLE_RATE:.1f}s")
                send_to_asr_and_llm(audio_buffer)
                audio_buffer = np.zeros(0, dtype=np.float32)
                silence_chunks = 0
            else:
                # 不是句末 → 继续等待，用户可能还在想
                print("[TurnSense] 停顿但非句末，继续等待……")

def send_to_asr_and_llm(audio: np.ndarray):
    """判停确认后，才做 ASR 转写 + LLM 生成"""
    # 这里接入你的 ASR 和 LLM 服务
    text = asr_transcribe(audio)
    response = llm_generate(text)
    tts_play(response)

# ---- 模拟测试：含犹豫停顿的语音 ----
# 生成 3s 语音 + 1.2s 停顿 + 2s 语音，模拟"我想订那个……北京到上海的"
streamer = AudioStreamer(chunk_ms=CHUNK_MS, sample_rate=SAMPLE_RATE)
streamer.simulate_turn_with_pause(
    speech_before_pause_ms=3000,
    pause_ms=1200,       # 1.2s 停顿——简单阈值会误判为句末
    speech_after_pause_ms=2000,
    cough_at_ms=800,     # 800ms 处插入一声咳嗽
)
streamer.run(on_audio_chunk)

[TurnSense] 停顿但非句末，继续等待……   ← 1.2s 停顿未被误判
[TurnSense] 检测到句末，音频长度 5.0s    ← 等用户真正说完才触发

# TurnSense 还支持更精细的控制
result = model.predict_end_of_turn(
    audio=audio_buffer,
    trailing_silence_ms=1200,
    # 可选参数：对话上下文信息（提升判断准确率）
    turn_count=3,              # 当前是第几轮对话
    avg_turn_duration_ms=4000, # 该用户平均句长（模型会参考）
    # 置信度阈值：低于此值则返回"不确定"，可选择再等一个 chunk
    confidence_threshold=0.85,
)

print(f"判停结果: is_end={result.is_end}, 置信度={result.confidence:.2f}")
# 输出: 判停结果: is_end=False, 置信度=0.92