Hugging Face запускает FastRTC для упрощения голосовых и видеоприложений в режиме реального времени на базе искусственного интеллекта

Майкл Нуньес @MichaelFNunez

26 февраля 2025 г. 14:27

Кредит: Обнимающее лицо

Подпишитесь на наши ежедневные и еженедельные рассылки, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли материалах об ИИ. Узнать больше

Hugging Face , стартап в сфере искусственного интеллекта, стоимость которого оценивается более чем в 4 миллиарда долларов, представил FastRTC — библиотеку Python с открытым исходным кодом, которая устраняет основное препятствие для разработчиков, создающих приложения с искусственным интеллектом для обработки аудио и видео в реальном времени.

«Создание приложений WebRTC и Websocket в реальном времени на Python было очень сложным. До сих пор», — написал Фредди Болтон, один из создателей FastRTC, в своем объявлении на X.com.

Технология WebRTC обеспечивает прямую связь браузера с браузером для аудио, видео и обмена данными без плагинов или загрузок. Несмотря на то, что она необходима для современных голосовых помощников и видеоинструментов, реализация WebRTC остается специализированным набором навыков, которым большинство инженеров машинного обучения просто не обладают.

Создание приложений WebRTC и Websocket в реальном времени на Python — очень сложная задача.

До сих пор – Представляем FastRTC, библиотеку для общения в реальном времени для Python ⚡️ pic.twitter.com/PR67kiZ9KE

— Фредди А. Бултон (@freddy_alfonso_) 25 февраля 2025 г.

Время не могло быть более стратегическим. Голосовой ИИ привлек огромное внимание и капитал — ElevenLabs недавно получила финансирование в размере 180 миллионов долларов , в то время как такие компании, как Kyutai , Alibaba и Fixie.ai , выпустили специализированные аудиомодели.

Однако разрыв между этими сложными моделями ИИ и технической инфраструктурой, необходимой для их развертывания в отзывчивых приложениях реального времени, сохраняется. Как отметила Hugging Face в своем сообщении в блоге , «инженеры ML могут не иметь опыта работы с технологиями, необходимыми для создания приложений реального времени, таких как WebRTC».

FastRTC решает эту проблему с помощью автоматизированных функций, обрабатывающих сложные части общения в реальном времени. Библиотека обеспечивает распознавание голоса, возможности очередности, тестирование интерфейсов и даже генерацию временного номера телефона для доступа к приложениям.

Хотите создавать приложения реального времени с помощью @GoogleDeepMind Gemini 2.0 Flash? FastRTC позволяет создавать приложения реального времени на основе Python с помощью Gradio-UI. ?? Преобразует функции Python в двунаправленные аудио/видеопотоки с минимальным кодом

?️ Встроенное распознавание голоса и автоматическое… pic.twitter.com/o835htr0hl

— Филипп Шмид (@_philschmid) 26 февраля 2025 г.

Главное преимущество библиотеки — ее простота. Сообщается, что разработчики могут создавать базовые аудиоприложения в реальном времени всего за несколько строк кода — разительный контраст с неделями разработки, которые требовались ранее.

Этот сдвиг имеет существенные последствия для бизнеса. Компании, которым ранее требовались специализированные инженеры по коммуникациям, теперь могут использовать своих существующих разработчиков Python для создания функций искусственного интеллекта для голосовых и видеотехнологий.

«Вы можете использовать любой API LLM/текст-в-речь/речь-в-текст или даже модель речи-в-речь. Используйте те инструменты, которые вам нравятся — FastRTC просто обрабатывает уровень общения в реальном времени», — поясняется в объявлении.

горячий комментарий: WebRTC должен состоять из ОДНОЙ строки кода Python, представляем FastRTC⚡️ от Gradio! начните сейчас: pip install fastrtcчто вы получаете:– вызовите свой ИИ с настоящего телефона– автоматическое определение голоса– работает с ЛЮБОЙ моделью– мгновенный пользовательский интерфейс Gradio для тестирования

это меняет все pic.twitter.com/kvx436xbgN

– Градио (@Gradio) 25 февраля 2025 г.

Внедрение FastRTC знаменует собой поворотный момент в разработке приложений ИИ. Устраняя существенный технический барьер, инструмент открывает возможности, которые для многих разработчиков оставались теоретическими.

Влияние может быть особенно значимым для небольших компаний и независимых разработчиков. В то время как технологические гиганты, такие как Google и OpenAI, имеют инженерные ресурсы для создания собственной инфраструктуры связи в реальном времени, большинство организаций их не имеют. FastRTC по сути предоставляет доступ к возможностям, которые ранее были зарезервированы для тех, у кого есть специализированные команды.

В « кулинарной книге » библиотеки уже представлены разнообразные приложения: голосовые чаты на основе различных языковых моделей, обнаружение видеообъектов в реальном времени и интерактивная генерация кода с помощью голосовых команд.

Что особенно примечательно, так это время. FastRTC появляется как раз тогда, когда интерфейсы ИИ переходят от текстового взаимодействия к более естественному, мультимодальному опыту. Самые сложные системы ИИ сегодня могут обрабатывать и генерировать текст, изображения, аудио и видео — но развертывание этих возможностей в отзывчивых приложениях реального времени остается сложной задачей.

Устраняя разрыв между моделями ИИ и коммуникацией в реальном времени, FastRTC не просто упрощает разработку — он потенциально ускоряет более широкий переход к голосовому и видеоусовершенствованному опыту ИИ, который ощущается более человечным и менее компьютерным.

Для пользователей это может означать более естественные интерфейсы в приложениях. Для предприятий это означает более быструю реализацию функций, которые их клиенты все чаще ожидают.

В конце концов, FastRTC решает классическую проблему в технологиях: мощные возможности часто остаются неиспользованными, пока они не станут доступны основным разработчикам. Упрощая то, что когда-то было сложным, Hugging Face устранил одно из последних серьезных препятствий, стоящих между сегодняшними сложными моделями ИИ и голосовыми приложениями завтрашнего дня.