Google представила бібліотеку TensorFlow Lite


Бібліотека машинного навчання TensorFlow вже працює на величезній кількості платформ: від стойок серверів до крихітних облаштувань Інтернету речей. Але оскільки впровадження моделей машинного навчання за останні декілька років росте експоненціально, вже потрібно їх розгортання навіть на мобільних і вбудовуваних пристроях. Саме тому Google представила нову версію бібліотеки, TensorFlow Lite.

Переваги Lite- версії

Вихід нової версії бібліотеки, спеціально розробленої для навчання на невеликих пристроях, був анонсований на конференції Google I/O 2017. Серед основних переваг Lite- версії варто виділити:

  • Легковагість: обсепечивает швидку ініціалізацію і запуск моделей машинного навчання невеликого розміру на мобільних пристроях;
  • Кроссплатформенность: навчання моделей можливе на великій кількості мобільних платформ, включаючи Android і iOS;
  • Швидкість: бібліотека оптимізована для використання на мобільних пристроях, підтримує апаратне прискорення.

Підтримка більшістю мобільних пристроїв

Нині все більше мобільних пристроїв використовують спеціально розроблені апаратні засоби для ефективнішої обробки робочих навантажень машинного навчання. TensorFlow Lite підтримує нейромережевий API (Android Neural Networks API) для прискорення машинного навчання на мобільних пристроях.

TensorFlow Lite гарантує, що ваші моделі машинного навчання зможуть швидко працювати на великому наборі пристроїв. Це досягається за рахунок функції повернення до використання ЦП для навчання, коли апаратні засоби прискорювачів недоступні.

Архітектура

Діаграма представляє повну архітектуру нової легкої версії бібліотеки TensorFlow:

Розглянемо кожен компонент окремо:

  • TensorFlow Model: навчена модель TensorFlow, збережена на диску;
  • TensorFlow Lite Cpnverter: програма, що конвертує модель у формат TensorFlow Lite;
  • TensorFlow Lite Model File: формат файлу моделі на основі FlatBuffers, оптимізований для максимальної швидкості і мінімального розміру.

Після проміжних кроків з перекладом моделі в потрібний формат файл з дозволом .tflite розгортається в мобільному застосуванні для однієї з ОС :

  • Java API: оболонка навкруги C++ API для ОС Android;
  • C++ API: завантажує файл моделі TensorFlow Lite і викликає інтерпретатор. Ця ж бібліотека доступна як на Android, так і на iOS;
  • Інтерпретатор: запускає модель за допомогою набору операторів. Інтерпретатор підтримує вибіркове завантаження операторів: без них його вага всього 70 КБ і 300 КБ з усіма завантаженими операторами. Це значне скорочення від 1,5 Мб, потрібних TensorFlow Mobile;
  • На деяких пристроях інтерпретатор використовуватиме Android Neural Networks API для апаратного прискорення.

Підтримувані моделі навчання

TensorFlow Lite вже підтримує ряд моделей, навчених і оптимізованих для мобільних пристроїв :

  • MobileNet: клас моделей комп’ютерного зору для ідентифікації близько 1000 об’єктів, спеціально розроблений для ефективного виконання на мобільних і вбудовуваних пристроях;
  • Inception v3: аналогічна по функціональності з MobileNet модель розпізнавання зображень, але що забезпечує більш високу точність і, в той же час, має більший розмір;
  • Smart Reply: діалогова модель на пристрої, що забезпечує відповіді на повідомлення, що входять, в мессенджерах в одно торкання. Використовується передусім додатками для Android Wear.

Крок вперед

За словами розробників, TensorFlow Lite є еволюцією їх попереднього проекту для мобільних пристроїв, TensorFlow Mobile. Саме TensorFlow Lite буде рекомендованим рішенням для використання бібліотеки на мобільних і вбудовуваних пристроях. Проте, Mobile- версія залишиться для підтримки вже створених застосувань.

Детальну інформацію про Lite- версії можна отримати на офіційній сторінці продукту.

Джерело: блог Google Developers

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *