С помощью нейросетей Krisp определяет раздражающие шумы (вроде плача ребёнка или шуршания бумаги) и в реальном времени вырезает их из аудиопотока. Материал о разработке и авторах идее опубликован по ссылке.
Krisp – это приложение для Mac, которое в режиме реального времени устраняет посторонние звуки во время звонков через Skype, Slack и другие VoIP-сервисы.
Пользователь может выбрать, какие шумы блокировать: входящие или исходящие. Первый способ подходит для ситуаций, когда собеседник (или собеседники) находится на оживлённой улице.
Второй – когда пользователь хочет скрыть своё окружение. Например, если звонок застал его в кофейне по пути на работу.
Приложение способно различать и подавлять такие звуки, как шум улицы, кафе или аэропорта, детский плач, шуршание бумаги, стук клавиш и многие другие.
Технология
Krisp — продукт американской компании с армянскими корнями 2Hz, которую в 2017 году основали два друга: Давид Багдасарян и Артавазд Минасян.
Шумоподавление сервиса работает благодаря технологии машинного обучения.
Команда проекта собрала два датасета: в первом было несколько десятков тысяч аудиозаписей с различными звуками-шумами (например, автомобильной сигнализации). Во втором — примеры чистой речи, записанной в студии.
Затем разработчики стали генерировать сэмплы — накладывать шумы на чистую речь и создавать множество вариантов комбинаций с разными звуками и уровнями громкости.
Например:
• Тихая речь с громким звуком пожарной сирены.
• Громкая речь с громким звуком пожарной сирены.
• Громкая речь с тихим звуком пожарной сирены.
• Тихая речь с тихим звуком пожарной сирены и так далее.
Далее они создали нейросеть и использовали получившиеся сэмплы для её обучения. Если грубо: давали образец речи с шумами, образец чистой речи без шумов и предлагали убрать лишнее.
И повторяли процедуру множество раз, пока нейросеть не научилась эффективно распознавать и убирать шумы.
Идея
Давид Багдасарян родился и вырос в Армении, а также получил степень магистра в области компьютерных наук в Ереванском государственном университете.
Со студенческих лет он работал в местных аутсорс-компаниях, которые создавали ИТ-продукты для зарубежных клиентов — в том числе из США.
Одним из таких заказчиков была компания Validity Sensors, которая выпускала сканеры отпечатков пальцев для ноутбуков и смартфонов. В 2008 году руководство предложило Багдасаряну переехать в США и возглавить департамент информационной безопасности.
Он проработал в Validity Sensors четыре года, а затем ушёл в стартап Nok Nok Labs, который открыл один из его бывших руководителей. Компания занималась решениями в сфере безопасности, и Багдасарян отвечал за разработку протокола FIDO (Fast IDentity Online), который потом стали использовать Google, Facebook, GitHub, Microsoft и другие компании.
Со временем он заскучал и решил сменить сферу. В 2016 году устроился в компанию Twilio, которая разрабатывает API для корпоративных коммуникаций.
С помощью ПО Twilio компании могут принимать и совершать звонки, а также отправлять и принимать SMS. Например, Uber использует Twilio для звонков между пассажирами и водителями.
«Мы постоянно ломали голову — как улучшить качество аудио. Чаще всего звук ухудшался именно из-за шума на заднем плане», — вспоминает Багдасарян.
Мне тогда казалось: «Окей, это классическая проблема, которую может решить машинное обучение».
Нужно научить нейросеть, что есть шум, а что — человеческий голос, и разделить их. Мне было любопытно — почему никто ещё не решил её.
У предпринимателя была и личная причина взяться за проблему. Какое-то время он работал удалённо, находясь в Армении. Из-за разницы во времени ему приходилось коммуницировать с командой по вечерам, и он не знал, где его застанет очередной звонок: в гостях с шумными детьми, в кафе или где-то ещё.
«И я подумал, что было бы круто иметь под рукой сервис, который скрывал бы окружение, чтобы другие участники беседы не могли понять, где ты находишься», — вспоминает Багдасарян.
В конце 2016 года Багдасарян рассказал об этой идее своему приятелю, доктору математических наук Артавазду Минасяну. К тому времени у него уже было несколько компаний в ИТ-сфере. Кроме того, он как раз искал интересные проекты в сфере машинного обучения.
Минасян начал изучать, как можно реализовать идею, и привлёк знакомого математика Степана Саргсяна (сейчас он главный научный сотрудник 2Hz).
Осенью 2017 года Багдасарян окончательно решил уволиться из Twilio и переехать всей семьёй в Армению. Через несколько недель после возвращения они вместе с Минасяном открыли 2Hz.
Продвижение и популярность
Компания представила Krisp в октябре 2018 года. В конце месяца Багдасарян опубликовал статью о продукте и технологии в блоге для разработчиков компании Nvidia.
По словам предпринимателя, материалом поделились более тысячи пользователей в социальных сетях, что стоило ему бессонной ночи: он до утра отвечал на сообщения с вопросами.
Ночью 16 ноября один из пользователей опубликовал ссылку на Krisp в сообществе Hacker News, а утром неизвестный анонсировал продукт на платформе Product Hunt.
Это не входило в планы 2Hz — у команды не было необходимых маркетинговых материалов, и Багдасарян попытался связаться с администрацией сервиса, чтобы она удалила упоминание Krisp.
Однако когда представитель администрации наконец-то вышел на связь, Krisp уже имел все шансы стать продуктом дня — и предприниматель решил оставить всё как есть.
Впоследствии Krisp занял первое место в номинации «Продукт дня», третье место в номинации «Продукт недели» и четвёртое в номинации «Продукт месяца», а также первое место в номинации «Продукт года» в категории «Звук и аудио».
Krisp стал лучшим маркетинговым средством для нашей технологии.
Не проходит и дня, чтобы какая-нибудь крупная компания не прислала нам письмо вроде:
«Привет! Сколько будет стоить интеграция вашей технологии в наш бизнес?».
11:55
11:45
11:11
13:58
13:56
17:56
16:13
15:04
18:05
17:17
15:54
09:22
13:57
13:22
17:21
16:53
16:49
16:34
10:55
10:14
09:27
14:54
12:47
12:33
11:15
10:06
19:08
18:05
15:27
15:23
18:57
18:23
18:24
11:09
10:35
16:09
13:50
15:45
09:32
16:34
14:34
14:18
12:55
09:49
10:51
08:15
17:26
17:05
13:45
13:04
| Вс | Пн | Вт | Ср | Чт | Пт | Сб | |
| 1 | 2 | ||||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 | |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 | |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 | |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 | |
| 31 | |||||||
16:17
10:00
12:58
15:39
09:49
13:25
14:04
12:51
15:28
12:39
13:24
13:02
12:39
15:08
11:15
14:33
12:26
11:23
13:25
15:19
14:27
15:16
12:13
15:14
14:44
13:25
11:06
13:12
11:13
14:15
11:26
09:35
11:41
10:37
10:55
12:28
12:13
12:51
11:35
10:45
16:51
10:21
14:27
12:37
11:23
13:03
10:47
13:03
13:15
14:58
