Наши умные устройства принимают от нас голосовые команды, проверяют сердцебиение, отслеживают наш сон, переводят текст, отправляют нам напоминания, снимают фотографии и видеоролики и позволяют нам общаться с семьей и друзьями на разных континентах.
А теперь представьте себе турбонаддув этих возможностей. Проведение углубленного обмена мнениями на естественном языке по академическим или личным вопросам; просмотр наших показателей жизнедеятельности через глобальную базу данных для проверки неотложных проблем со здоровьем; упаковка огромных баз данных для обеспечения комплексного перевода в реальном времени между двумя или более сторонами, говорящими на разных языках ; и общаясь с программным обеспечением GPS, предоставляя подробную информацию о лучших гамбургерах, фильмах, отелях или местах для наблюдения за людьми, которые встречаются на вашем маршруте.
Воспользовавшись соблазнительной силой больших языковых моделей и обработки естественного языка , мы стали свидетелями огромного прогресса в общении между нами и технологиями, на которые мы все больше полагаемся в нашей повседневной жизни.
Но когда дело доходит до искусственного интеллекта и наших портативных устройств, возникает камень преткновения. Исследователи Apple говорят, что готовы что-то с этим сделать.
Проблема в памяти. Большим языковым моделям требуется много этого. Поскольку модели требуют хранения потенциально сотен миллиардов параметров, широко используемые смартфоны, такие как Apple iPhone 15 со скудными 8 ГБ памяти, далеко не справятся с этой задачей.
В документе, загруженном на сервер предварительной печати arXiv 12 декабря, Apple объявила, что разработала метод, использующий передачу данных между флэш-памятью и DRAM, который позволит интеллектуальному устройству запускать мощную систему искусственного интеллекта.
Исследователи говорят, что их процесс может запускать программы искусственного интеллекта, размер которых в два раза превышает емкость DRAM устройства, и ускорять операции ЦП до 500%. По их словам, процессы графического процессора можно ускорить в 25 раз при нынешних подходах.
«Наш метод включает в себя построение модели стоимости вывода, которая гармонирует с поведением флэш-памяти, что позволяет нам оптимизировать две важные области: уменьшение объема данных, передаваемых из флэш-памяти, и чтение данных более крупными и смежными фрагментами», — заявили исследователи в своем отчете. документ под названием «LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью».
Они использовали два метода:
- Оконный режим, который сокращает объем данных, которыми необходимо обмениваться между флэш-памятью и оперативной памятью. Это достигается за счет повторного использования результатов последних вычислений, минимизации запросов ввода-вывода и экономии энергии и времени.
- Объединение столбцов строк, которое обеспечивает большую эффективность за счет одновременной обработки больших фрагментов данных из флэш-памяти.
Эти два процесса, по словам исследователей, «в совокупности способствуют значительному снижению нагрузки на данные и повышению эффективности использования памяти».
Они добавили: «Этот прорыв особенно важен для внедрения передовых программ LLM в средах с ограниченными ресурсами, тем самым расширяя их применимость и доступность».
В качестве еще одного недавнего прорыва Apple объявила, что разработала программу под названием HUGS, которая может создавать анимированные аватары из видео продолжительностью всего несколько секунд, снятого с одного объектива. Текущие программы создания аватаров требуют просмотра с нескольких камер. Отчет «HUGS: Human Gaussian Splats» был загружен на arXiv 29 ноября.
По словам Apple, их программа может создавать реалистичные танцующие аватары всего за 30 минут, что намного меньше, чем два дня, необходимые для нынешних популярных подходов.
Теги: iPhone, часы
