sgl-project/sglang-omni
La nueva capa de la familia sgl-project (LMSYS), construida sobre SGLang. Sirve modelos «omni» (entrada de texto, audio y visión, con salida multimodal) y TTS mediante un runtime multiestadio: preprocesamiento, codificadores, motores autorregresivos, talkers, decodificadores, vocoders y agregadores; cada etapa tiene su propio planificador (basado en SGLang para las etapas autorregresivas y ligero para los vocoders). Tiene en cuenta el transporte (memoria compartida, NCCL, NIXL y Mooncake) y ofrece una API compatible con OpenAI.
Cómo funciona
Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.
Posición en el ecosistema
Relaciones que aportó este boletín