«Хорошо, МЛ Кит, насколько ты умен?»
Введение в ML Kit и почему вы должны узнать о нем больше.
Да, это правда.
Я никогда не хотел углубляться в машинное обучение (готовит себя к тем «Как ты можешь так говорить?! Вы знаете, что за ML будущее, верно?» комментарий), в основном потому, что мои интересы связаны с UX-дизайном и разработкой мобильных приложений.
Я просто люблю создавать приложения, которые имеют хороший баланс между минималистичным элегантным дизайном и отличной функциональностью, и трачу большую часть своего времени на создание макетов приложений, которые я хотел создать, используя только лист бумаги и карандаш.
Теперь совершенно очевидно, что машинное обучение используется повсюду вокруг нас, и одно очень интересное и ориентированное на разработчиков явление — в новом **Мл комплект** API, выпущенный Google как часть семейства продуктов Firebase. 🔥
Эта статья представляет собой монолог моих мыслей о Firebase ML Kit, краткое описание функций и причин, по которым вам следует начать изучать его прямо сейчас.
«Но, Бапу, ты хоть немного имеешь представление о ML?»
Хороший вопрос!
Для человека, который абсолютно ничего не знает о машинном обучении, мне кажется довольно сложным начать изучать, как оно работает, не говоря уже о том, чтобы начать использовать его в мобильном приложении.
Я хотел проверить официальные документы для комплекта ML, из любопытства, а затем решить, как двигаться дальше. Я также посмотрел вводное видео, которое еще больше увлекло меня набором ML и заставило меня хотеть изучить его подробнее. Вот видео, если вы его пропустили:
Пройдя введение и быстро ознакомившись с функциями, которые были выпущены до сих пор, я влюбился в ML Kit и не мог вернуться. ❤️
Я напишу статью из нескольких частей о том, как использовать ML Kit в вашем мобильном приложении, сразу после этой вводной статьи об API.
А пока давайте рассмотрим, что делает ML Kit, и совершим краткий обзор функций.
Возможности комплекта ML
По состоянию на апрель 2019 года вот список функций, которые в настоящее время предоставляет ML Kit:
Распознавание текста 🕵️♂️
Распознавание лиц 👦
Сканирование штрих-кода 🔎
Маркировка изображения 🏞
Знаковое признание 🗼
Распознавание языка 📝
Умный ответ ✉️
Использование пользовательских моделей TensorFlow Lite ☁️
Примечание: Имейте в виду, что ML Kit в настоящее время находится в стадии бета-тестирования, поэтому все функции могут работать не так, как ожидалось. ⚠️
Кроме того, важно также отметить, что немного из этих функций можно настроить для работы в двух разных режимах:
в режим на устройстве (также известный как автономный режим) и
в облачный режим (он же лучшие результаты, только сетевой режим).
**Еще одно примечание: **Облачный режим использует API облачного зрениячто потребует от вас получения План Firebase Blaze. Как только вы получите этот план, первые 1000 вызовов API будут бесплатными, после чего вам придется платить. 💰
Вот краткое описание того, какие функции можно использовать на устройстве, а какие — в облаке:
Давайте погрузимся в каждую из этих функций одну за другой.
Распознавание текста
Идея здесь довольно проста:
Вы делаете снимок чего-то, что содержит текст, и ML Kit извлекает для вас любой текст, присутствующий на этом изображении, в виде строки (или списка строк). 🕵️♂️
Вот несколько примеров, когда эта функция может пригодиться:
Если вы создаете приложение, которое нужно сканировать,
документ и получить текст в документе, или
карточку контакта и сохраните контактную информацию на своем телефоне.
Это всего лишь два примера; не стесняйтесь исследовать больше вариантов использования.
Режим на устройстве позволяет обнаруживать только текст, написанный на латинице. Вот где пригодится еще один приятный аспект этой функции: если вы используете облачный режим, вы также можете обнаружить текст, написанный нелатинским шрифтом.
Вы можете найти весь список поддерживаемых языков здесь.
Распознавание лиц
Функция обнаружения лиц API ML Kit позволяет сканировать лица на изображении. 👦
На данный момент можно обнаружить только человеческие лица (мои соболезнования моим щенкам, котятам и всем инопланетянам во вселенной 😌).
После обнаружения лица вы можете:
получить координаты глаз, ушей, щек, носа и рта,
получить контуры лица, то есть контур и форму лица,
обнаружить распознавание лица (лицо улыбается или нет? глаза закрыты или открыты?),
уникально идентифицировать каждое лицо на изображении, поэтому каждое лицо имеет уникальный идентификатор.
Функция распознавания лиц имеет два режима: **быстрый **и точный. Как вы можете заметить, они не требуют пояснений относительно того, как эта функция работает при настройке любого из них!
Также есть возможность установить минимальный размер лицапоэтому вы можете установить порог, ниже которого API ML Kit не будет обнаруживать лицо.
Сканирование штрих-кода
Хорошо, когда я говорю «штрих-коды», большинство людей думают об этом:
Но в ML Kit штрих-коды также являются синонимами QR-кодов, которые выглядят так:
Firebase ML Kit поддерживает сканирование и извлечение информации из обоих!
Просто нажмите на изображение, на котором есть один или несколько штрих-кодов/QR-кодов, и вуаля! Вы можете получить всю информацию, встроенную в штрих-код/QR-код. 🔎
На самом деле не имеет значения, сканируете ли вы штрих-код/QR-код вверх ногами или в альбомной ориентации, ML Kit отлично справляется со своей задачей!
Вот некоторые из часто используемых типов информации, которые может иметь штрих-код/QR-код: телефонные номера, идентификаторы электронной почты, ссылки на веб-сайты а также Информация о Wi-Fi. Вы можете найти полный список поддерживаемых типов информации здесь.
Кроме того, имейте в виду, что существует множество различных форматов штрих-кодов и QR-кодов; и ML Kit поддерживает все это.
Маркировка изображения
Это одна из самых забавных функций ML Kit. Вы щелкаете изображение, и ML Kit сообщает вам, какие объекты обнаружены на изображении. 🏞
Если вы используете это в режиме на устройстве, вы получаете доступ только к 400+ меткам, а это означает, что ML Kit не будет очень точным в обнаружении вещей, которые находятся за пределами этих 400+ меток.
Я бы порекомендовал потратиться на облачный режим для маркировки изображений. Вы получаете более 10 000 меток, поэтому ваши изображения будут маркироваться более точно, а обнаружение объектов будет более точным. 🎯
У вас также есть возможность установить количество результатов, получаемых за вызов API, и порог обнаружения объекта.
Знаковое признание
Я не совсем уверен, как часто эта функция будет использоваться, но она у нас есть. Эта функция ML Kit позволяет делать снимки и определять ориентиры на изображении. 🗼
Когда вы делаете вызов API ML Kit для этой функции, вы можете получить название ориентира и координаты местоположения для него.
Определение языка
Это отличная функция для тех, кто работает над многоязычными многоязычными приложениями. 📝
Функция определения языка API ML Kit позволяет определить, на каком языке написан конкретный текст.
Он поддерживает более 100 языков, включая хинди, арабский, китайский и многие другие!
Полный список поддерживаемых языков можно найти здесь:
Идентификация языка ML Kit: поддерживаемые языки | Firebase
Изменить описаниеfirebase.google.com
Умный ответ
Это последнее дополнение к списку функций ML Kit, и я нахожу его очень крутым! ✉️
Идея здесь заключается в том, что вы передаете сообщения, отправляемые вам другим пользователем, в ML Kit, а взамен ML Kit предоставляет вам 3 интеллектуальных ответа, которые вы можете использовать для ответа этому пользователю.
Основываясь на недавней истории вашего разговора с другим пользователем, ML Kit порекомендует вам 3 ответа.
Возможно, вы уже видели эту функцию в LinkedIn и Android-сообщения приложение.
Умные ответы в LinkedIn
Использование пользовательских моделей TensorFlow Lite
Это для тех из вас, кто уже имеет опыт разработки ML.
Этот параметр позволяет добавлять модели TensorFlow Lite в ML Kit и использовать их. ☁️
Вы можете включить эти модели вместе с вашим приложением или разместить их с помощью Firebase.
Вывод
Это был краткий обзор всех функций Firebase ML Kit. Если вы еще не изучили ML Kit, я призываю вас начать работу с ним сегодня. Создайте простое приложение, чтобы поиграть с ним и проверить, как оно работает! 😉
Вот все статьи из моей серии ML Kit:
«Хорошо, МЛ Кит, насколько ты умен?»
*Введение в ML Kit и почему вы должны узнать о нем больше.*medium.com
Распознавание текста с помощью Firebase ML Kit на iOS и Android
*Практическое руководство по реализации функции распознавания текста с помощью Firebase ML Kit.*medium.com
