Учёные нашли энергоэффективный способ обучения нейронных сетей

Специалисты из Университета Райса в Техасе нашли принципиально новый способ обучения для глубоких нейронных сетей. Этот способ обладает рекордно высоким показателем энергоэффективности. Технология уже получила название «Early Bird». Об этом пишет американская пресса. Основной движущей силой для новых открытий в данном направлении является внедрение более сложных и крупных нейронных сетей. Их обучение требует серьёзных затрат энергии.

Недавние исследования показатели, что количество вычислений, необходимых для обучения нейронных сетей, в период с 2012 по 2019 год возросло в 300 тысяч раз. Кроме того, учёные установили, что углеродный след от обучения одной современной нейронной сети равен выбросам CO2 примерно пяти автомобилей. Новая технология позволяет сократить затраты энергии для обучения сети в 10,7 раза, сохранив, при этом, точность. В рамках нового метода из архитектуры нейронной сети удаляются более значимые элементы. После этих процессов сеть проходит обучение заново.

В результате всех манипуляций модель становится гораздо более компактной, и способна работать на устройствах меньшей мощности. В ближайшее время состоится презентация технологии для широкой общественности