Tutoriales de VPS
Whisper en un VPS: Speaches, transcripción por lotes y subtítulos
Compara openai-whisper, faster-whisper y whisper.cpp, elige recursos CPU/GPU y despliega una API de audio privada con Speaches. Incluye lotes, subtítulos, preparación con ffmpeg, conexión a Open WebUI y casos de audio chino, con límites y ajustes actuales explicados.

Whisper convierte grabaciones, entrevistas y vídeos en texto en infraestructura que controlas. Un servicio privado permite lotes e integraciones, pero cómputo, almacenamiento, tráfico y mantenimiento siguen costando. Comprueba dónde se procesa y guarda audio; alquilar infraestructura no elimina confianza en proveedor y administradores.
Comparamos implementaciones/modelos, desplegamos Speaches, generamos subtítulos y conectamos aplicaciones. Los ejemplos de audio chino mantienen su condición lingüística, sin asumir que todos los lectores transcriben chino.
| Implementación | Base | Consideraciones |
|---|---|---|
| openai-whisper | Python de referencia | Compatibilidad de referencia; CPU/GPU y timestamps según ajustes |
| faster-whisper | Python y CTranslate2 | Inferencia eficiente, cuantización CPU/GPU y tiempos por palabra opcionales |
| whisper.cpp | C/C++ | CPU/ARM/Apple y otros backends; aceleración/cuantización variables |
El original citaba alrededor de 4×, RTF 0.136 y WER 3.12% frente a 26.92%. Son cifras de pruebas sin configuración común verificada aquí, no clasificación universal. whisper.cpp no es siempre más rápido ni necesariamente impreciso, y la implementación de referencia no está obsoleta por ello.
- NVIDIA: prueba faster-whisper con CUDA/cuDNN compatibles.
- CPU/ARM/local: compara whisper.cpp y faster-whisper CPU.
- Compatibilidad de referencia: openai-whisper sigue siendo opción.
WhisperX añade alineación/diarización con modelos y permisos separados; faster-whisper solo no identifica hablantes. Timestamps también dependen de opciones/backend.
| Modelo | Descarga aproximada original | VRAM orientativa | Uso inicial |
|---|---|---|---|
| tiny | ~75 MB | <1 GB | Pruebas rápidas; precisión limitada |
| base | ~150 MB | ~1 GB | Audio cuya calidad medida sea suficiente |
| small | ~500 MB | ~2 GB | Primera comparación útil |
| medium | ~1.5 GB | ~5 GB | Audio difícil y mayor capacidad |
| large-v3 | ~3 GB | ~6 GB | Candidato de calidad con más recursos |
Artefactos convertidos, cuantización, lotes y contexto cambian uso real. Para otros idiomas usa modelo multilingüe apropiado, sin modelo solo inglés.
- Chino: medium es inicio útil para comparar terminología/puntuación.
- Inglés claro: small/base pueden bastar tras prueba.
- Subtítulos publicados: compara large-v3 y corrige; ningún modelo garantiza exactitud.
- Muchos archivos: small primero y segmentos débiles con modelo mayor.
Persiste caché. Cambiar modelo puede reutilizar descarga, pero archivos nuevos/revisados se descargan. Los ~6 GB totales del original son ejemplo.
El original estimaba small con CPU moderna de 4 núcleos a 1–3× tiempo real (20–60 minutos por hora), GPU GTX 1660 a 10–20× (3–6 minutos) y ventaja GPU 5–10×. Dependen de carga y ajustes, sin mediciones de un proveedor ni garantía.
| Uso | Presupuesto inicial |
|---|---|
| Archivos cortos ocasionales | Unos 2 núcleos/4 GB y small CPU |
| Lotes largos frecuentes | GPU compatible, unos 6 GB+ VRAM; verifica modelo grande |
| Tiempo real | Unos 8 GB+ VRAM y cadena streaming probada |
Decodificación también usa RAM: considera 4 GB para prueba small CPU y 8 GB o más para concurrencia. Consulta GPU. Ejemplos de caché: 5 GB small/medium y 15 GB colección mayor; añade SO, audio, resultados y capas Docker.
Speaches ofrece API compatible con OpenAI, en un subconjunto soportado, sin garantizar todas las funciones audio/realtime ni todas las aplicaciones. Comprueba schema, modelos y formatos de tu versión.
CPU docker-compose.yml (adapta la línea TTL antigua antes de iniciar, como se explica abajo):
services:
speaches:
image: ghcr.io/speaches-ai/speaches:latest-cpu
container_name: speaches
restart: unless-stopped
ports:
- "127.0.0.1:8969:8000"
environment:
- API_KEY=换成一串长随机字符
- PRELOAD_MODELS=["Systran/faster-whisper-small"]
- WHISPER__TTL=-1
volumes:
- ./hf-cache:/home/ubuntu/.cache/huggingface/hub
Variante GPU, integrada en el mismo servicio:
image: ghcr.io/speaches-ai/speaches:latest-cuda
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
Crea carpeta/proyecto, fija imágenes mantenidas compatibles y comprueba UID/ruta de caché. Sigue toolkit GPU y verifica runtime real, no solo otra imagen CUDA.
Define una clave privada en API_KEY y comprueba la autenticación de /v1 mediante Authorization: Bearer 你的密钥. La configuración actual deja accesibles /health, /docs, /openapi.json y la interfaz Gradio sin esa autenticación. Si solo necesitas la API, configura ENABLE_UI=false y mantén todo el servicio dentro de una red privada o un túnel. La clave de la API por sí sola no protege la interfaz web predeterminada.
PRELOAD_MODELS descarga los archivos de los modelos durante el arranque; no asegura que la inferencia ya esté cargada en memoria. La primera transcripción todavía puede necesitar cargar el modelo. WHISPER__TTL=-1 es un nombre antiguo: la configuración oficial actual usa STT_MODEL_TTL=-1 para mantener modelos STT residentes. Sustituye esa línea antes de iniciar; usa TTL finito compatible si falta memoria. Persiste caché y mantén 8969 privado. Acceso remoto necesita túnel/red privada o HTTPS autenticado.
docker compose up -d
docker compose logs -f
Application startup complete confirma aplicación iniciada, no inferencia correcta. Prueba grabación autorizada y resultado antes del lote.
Ejecuta loopback en VPS o túnel configurado:
curl -s http://127.0.0.1:8969/v1/audio/transcriptions \
-H "Authorization: Bearer 你的API_KEY" \
-F "[email protected]" \
-F "model=Systran/faster-whisper-small" \
-F "language=zh"
language=zh selecciona chino aquí; usa idioma real o detección admitida para otro audio. Puede ayudar sin garantizar calidad.
El lote necesita Python/requests, carpeta audios y clave privada:
import os, requests
API = "http://127.0.0.1:8969/v1/audio/transcriptions"
KEY = "你的API_KEY"
HEADERS = {"Authorization": f"Bearer {KEY}"}
for name in os.listdir("audios"):
if not name.endswith((".mp3", ".wav", ".m4a", ".flac")):
continue
with open(f"audios/{name}", "rb") as f:
r = requests.post(
API,
headers=HEADERS,
files={"file": f},
data={
"model": "Systran/faster-whisper-small",
"language": "zh",
"response_format": "srt",
},
timeout=3600,
)
out = os.path.splitext(name)[0] + ".srt"
with open(out, "w", encoding="utf-8") as f:
f.write(r.text)
print("完成:", out)
Añade r.raise_for_status() justo después de la petición y antes de abrir el archivo de salida, para evitar guardar un error JSON como si fuera un SRT. Protege clave, evita colisiones de nombres y registra trabajos completados. Timeout de 3600 segundos es inicio; trabajos largos/proxies pueden necesitar otro límite y reintentos acotados.
response_format selecciona json, text, srt, vtt o verbose_json cuando sean compatibles. Usa srt para subtítulos y revisa tiempos; opciones varían por versión/modelo.
ffmpeg -i video.mp4 -vn -ac 1 -ar 16000 -c:a libmp3lame -b:a 64k audio.mp3
-vn quita vídeo, -ac 1 mezcla mono y -ar 16000 remuestrea 16 kHz. Whisper procesa 16 kHz, pero MP3 con pérdida puede cambiar reconocimiento y mono elimina separación de canales. Para PCM mono sin pérdida, usa ffmpeg -i video.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le audio.wav. Conserva los canales separados cuando los necesites para distinguir hablantes. Vídeo 1 GB convertido a audio 20 MB es ejemplo según duración/códec.
Revisa SRT en reproductor o incrústalo con ffmpeg:
ffmpeg -i video.mp4 -vf subtitles=audio.srt -c:a copy output.mp4
Esto recodifica vídeo: conserva original y verifica tiempos, fuentes y tamaño.
En Open WebUI existente, configura STT compatible:
AUDIO_STT_ENGINE=openai
AUDIO_STT_OPENAI_API_BASE_URL=http://speaches:8000/v1
AUDIO_STT_OPENAI_API_KEY=你的API_KEY
AUDIO_STT_MODEL=Systran/faster-whisper-small
API_BASE_URL debe alcanzarse desde quien envía audio. Con red Docker compartida, hostname Speaches/8000; 127.0.0.1:8969 es otro contexto loopback dentro de otro contenedor. Verifica nombres de configuración y que audio vaya a tu endpoint. Otras aplicaciones requieren prueba específica.
OpenCC normaliza mezcla tradicional/simplificado:
pip install opencc-python-reimplemented
# 代码里用 OpenCC('t2s').convert(text) 转简体
Elige conversión apropiada y conserva transcripción original. No corrige reconocimiento ni garantiza terminología regional.
prompt aporta contexto cuando se admite:
-F "prompt=本次会议讨论:Kubernetes、PostgreSQL、张伟、李娜"
El glosario trata nombres chinos/técnicos: proporciona vocabulario real. Puede ayudar o sesgar salida, sin asegurar nombres. Revisa puntuación manualmente o con posprocesado controlado, sin asumir inferencia perfecta de signos.
Habla superpuesta/música sigue siendo difícil. Diarización requiere flujo/modelo compatible separado, posiblemente cuenta/licencia; no aparece automáticamente por usar faster-whisper.
Para uso ocasional compara cotización cloud actual y tiempo/alojamiento. La estimación original de céntimos a más de un dólar por hora no es precio universal. Para escritorio local, MacWhisper o Buzz pueden evitar administración, sujetos a hardware/licencia.
Servidor tiene sentido para dispositivos múltiples, lotes, automatización y red controlada. Subtítulos en vivo necesitan cadena streaming probada y GPU continua; endpoint de transcripción compatible no garantiza realtime.
VAD puede omitir silencio y reducir texto alucinado, pero también perder habla baja. El 20–30% de silencio del original es ejemplo: valida y conserva audio.
Para compute_type admitido:
| Ajuste | Destino | Compromiso |
|---|---|---|
float16 | GPU compatible | Menos memoria/cómputo que precisión completa; depende del hardware |
int8_float16 | GPU admitida con poca VRAM | Ahorra memoria; calidad/soporte variables |
int8 | CPU compatible | Menos memoria; mide velocidad real |
int8_float16 puede ayudar a modelo grande en unos 4 GB con ciertos ajustes, sin garantía general. Comprueba la compatibilidad de CTranslate2 antes de forzarlo. En la configuración actual de Speaches se usa WHISPER__COMPUTE_TYPE; por ejemplo, WHISPER__COMPUTE_TYPE=int8 en una configuración CPU compatible.
ffmpeg puede dividir audio largo: 3 horas en segmentos de unos 10 minutos es estrategia. Conserva contexto en límites y ajusta/reúne tiempos de subtítulos. Paralelismo puede agotar RAM/VRAM o serializarse internamente: mide concurrencia, sin copiar número de núcleos. Small primero/modelo mayor después puede ahorrar trabajo, sin multiplicador garantizado.
Primera llamada lenta: revisa descarga/carga y PRELOAD_MODELS; inicio no implica inferencia lista.
404 model not found: comprueba nombres con curl http://127.0.0.1:8969/v1/models -H "Authorization: Bearer 密钥". POST /v1/models/{模型名} descarga un modelo admitido en la API actual. El identificador completo puede contener una barra: sigue la ruta que admite el esquema instalado. /v1/models enumera modelos descargados y /v1/registry los modelos remotos admitidos; descargar no demuestra que la inferencia GPU esté lista.
GPU sin uso: revisa nvidia-smi, toolkit, runtime y compute; visibilidad no prueba inferencia GPU.
Palabras repetidas: revisa silencio/música/idioma, VAD y ffmpeg, compara modelos. Modelo mayor no soluciona todo.
RAM llena: compara el antiguo WHISPER__TTL=-1 con STT_MODEL_TTL actual y revisa modelos simultáneos, batch y límites.
Demasiados trabajos: usa cola y límites medidos, con timeouts probados, sin inferencia ilimitada.
Elige implementación/modelo con audio propio, despliega privado, verifica texto y añade automatización. Guarda originales y transcripciones revisadas: control de proceso y lotes repetibles son los beneficios.