Тренировка с: Тренировка с резинкой для крутых результатов без спортзала

Меркель, К., Кудитипуди, Д. (2014). «Алгоритм стохастического обучения для нейромемристических систем», в 27-й Международной конференции по системам на кристалле (SOCC) IEEE , (Лас-Вегас, Невада), 359–366.

NVIDIA (2012 г.). Вычислительная архитектура CUDA нового поколения от NVIDIA: Kepler GK110. Белая книга .

О’Коннор, П., и Веллинг, М. (2016). Сети с глубокими всплесками. arXiv: 1602.08323 [cs.NE].

Google Scholar

Поппельбаум, В. Дж., Афусо, К., и Эш, Дж. У. (1967). «Стохастические вычислительные элементы и системы», в Proceedings of the AFIPS Fall Joint Computer Conference (Anaheim, CA), 635–644.

Презиосо М., Меррих-Баят Ф., Хоскинс Б. Д., Адам Г. К., Лихарев К. К., Струков Д. Б. (2015). Обучение и работа интегрированной нейроморфной сети на основе металлооксидных мемристоров. Природа 521, 61–64. DOI: 10.1038 / природа14441

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Румелхарт Д. Э., Хинтон Г. Э. и Уиллимс Р. Дж. (1986). Изучение представлений путем обратного распространения ошибок. Природа 323, 533–536.

Сайги С., Майр К. Г., Серрано-Готарредона Т., Шмидт Х., Лесерф Г., Томас Дж. И др. (2015). Пластичность в мемристивных устройствах для пиков нейронных сетей. Фронт. Neurosci. 9:51.DOI: 10.3389 / fnins.2015.00051

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Seo, J., Lin, B., Kim, M., Chen, P., Kadetotad, D., Xu, Z., et al. (2015). Встроенное ускорение разреженного обучения с помощью КМОП и резистивных синаптических устройств. IEEE Trans. Nanotechnol. 14, 969–979. DOI: 10.1109 / TNANO.2015.2478861

CrossRef Полный текст | Google Scholar

Симонян К., Зиссерман А. (2015). Очень глубокие сверточные сети для распознавания крупномасштабных изображений .Сан-Диего, Калифорния: ICLR.

Судри, Д., Ди Кастро, Д., Гал, А., Колодный, А., Кватинский, С. (2015). Многослойные нейронные сети на основе мемристоров с онлайн-обучением градиентным спуском. IEEE Trans. Neural Netw. Учиться. Syst. 26, 2408–2421. DOI: 10.1109 / TNNLS.2014.2383395

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Steinbuch, K. (1961). Die lernmatrix. Кибернетик 1, 36–45.

Google Scholar

Стуэчели, Дж.(2013). «Микропроцессор POWER нового поколения» на конференции Hot Chips Conference (Пало-Альто, Калифорния).

Google Scholar

Сегеди К., Лю В., Цзя Ю., Серманет П., Рид С., Ангелов Д. и др. (2015). Углубляясь в свертки . Бостон, Массачусетс: CVPR.

Google Scholar

Ву, Р., Ян, С., Шань, Ю., Данг, К., и Сун, Г. (2015). Глубокое изображение: масштабирование распознавания изображений. arXiv: 1501.02876 [cs.CV].

PubMed Аннотация | Google Scholar

Сюй, З., Mohanty, A., Chen, P., Kadetotad, D., Lin, B., Ye, J., et al. (2014). Параллельное программирование резистивного массива точек пересечения для синаптической пластичности. Процедуры Comput. Sci. 41, 126–133. DOI: 10.1016 / j.procs.2014.11.094

CrossRef Полный текст | Google Scholar

Ю, С., Гао, Б., Фанг, З., Ю, Х., Кан, Дж., И Вонг, Х. С. (2013). Электронное синаптическое устройство на основе низкоэнергетических оксидов для нейроморфных зрительных систем с устойчивостью к вариациям устройства. Adv. Матер. 25, 1774–1779. DOI: 10.1002 / adma.201203680

CrossRef Полный текст | Google Scholar

Ю. С., Чен П., Цао Ю., Ся Л., Ван Ю. и Ву Х. (2015). «Расширение резистивных синаптических массивов для нейро-вдохновленной архитектуры: проблемы и перспективы», в International Electron Devices Meeting (IEDM) (Вашингтон, округ Колумбия), 451–454. DOI: 10.1109 / iedm.2015.7409718

CrossRef Полный текст

С чего начать Тренировки с Power

Тренировка с измерителем мощности — это лучший способ получить максимальную отдачу как от времени, так и от усилий.В отличие от тренировок, основанных на частоте сердечных сокращений, мощность позволяет нам измерять мышечную нагрузку, а не только аэробную нагрузку. Подход к тренировкам, основанный на показателях, который обеспечивает сила, неоценим в помощи спортсменам в достижении их целей, но на чем нам нужно сосредоточиться и как расшифровать всю доступную информацию, когда кто-то хочет начать тренировку с силой?

Есть несколько ключевых моментов, на которые мы можем направить наше внимание, чтобы начать понимать информацию, генерируемую нашими измерителями мощности, и как наилучшим образом использовать ее для информирования о решениях, которые мы принимаем в отношении назначения тренировок.

Что такое порог?

Чтобы понять и применить показатели мощности к нашему обучению, нам сначала нужно понять основу, на которой все построено: порог. Порог — это просто максимальная мощность (мощность), которую вы можете поддерживать, пока ваше тело может выводить молочную кислоту, вырабатываемую вашими работающими мышцами.

Это также момент, когда ваше тело начинает задействовать большее количество быстро сокращающихся мышечных волокон. Продолжительная работа сверх вашего порога вызывает знакомый «ожог» в ногах в результате накопления молочной кислоты.Спортсмены могут увеличить способность организма к очищению от молочной кислоты, потратив значительное время на тренировки в определенных диапазонах ниже и прямо на пороге.

Время в этих диапазонах также тренирует организм замедлять скорость использования углеводов. Как только вы поймете концепцию порога, мы сможем сделать еще один шаг с FTP (функциональная пороговая мощность). FTP — это стержень силовых тренировок и ключ к их правильному выполнению.

Настройка и обслуживание FTP

К настоящему времени вы, несомненно, по крайней мере знакомы с FTP, как он влияет на ваш подход к тренировкам и общую производительность на велосипеде.Однако знание того, что создает сильный и точный FTP, как его установить и как поддерживать, имеет жизненно важное значение для поддержания правильности тренировок.

Настройка FTP или, скорее, выполнение усилий, которые принесут желаемые результаты, требует некоторой практики и ноу-хау. С такими инструментами, как TrainingPeaks и WKO4, мы можем понимать и анализировать показатели мощности более точно и последовательно, чем когда-либо прежде.

Итак, как узнать, что такое ваш FTP? С инструментами, которые у нас есть сегодня, есть несколько вещей, которые вы захотите сделать и обратите внимание на то, чтобы ваш FTP был точным.Первым шагом является достижение порогового уровня усилий в обучении. «Полевые испытания» — это проверенный и верный метод, и обычно это первый шаг в настройке FTP. Для проведения полевых испытаний используйте следующий протокол.

Разминка

• 20 минут в выносливом темпе
• 3 упражнения на высокую частоту вращения педалей по 1 мин при 100 об / мин с 1 мин перерыва между каждыми
• 5 минут в выносливом темпе

Основной комплект

• 5 минут изо всех сил.
• 10 минут в выносливом темпе
• 20 минут изо всех сил

Охлаждение

После выполнения теста FTP загрузите данные и проанализируйте свою производительность.Чтобы рассчитать свой FTP, потребуется 95 процентов ваших 20-минутных усилий. Это будет хорошим приближением к вашему порогу лактата и надежным исходным значением для вашей тренировки. Однако, хотя полевой тест является сильным индикатором FTP и отличным местом для начала, физиологическая адаптация и производительность более тонкие, чем простой 20-минутный тест.

Кривая длительности мощности

WKO4 делает шаг вперед, предлагая концепцию моделирования FTP (mFTP), которая отображает ваши характеристики в виде кривой и генерирует mFTP на основе исторических данных.Поскольку сила каждого — не обязательно 20-минутный TT, кривая PD может быть хорошим способом понять, где вы сильнее всего и на каких усилиях вам, возможно, потребуется сосредоточиться, чтобы вызвать критическую адаптацию.

Если вы используете mFTP и кривую частичного разряда, лучше всего выполнять всесторонние усилия различной продолжительности от 30 секунд до одного часа, чтобы получить максимальную отдачу от «кривой». При установлении любого показателя, основанного на мощности, важность достоверных и точных данных невозможно переоценить. Скачки мощности и неточные данные могут резко исказить результаты тестирования и даже привести к неточному FTP или другим показателям мощности.Независимо от того, используете ли вы полевой тест, кривую частичного разряда или их комбинацию, вам нужно будет выполнять измерения уровня FTP четыре-шесть раз в год, чтобы ваш FTP был настроен правильно в ключевые моменты сезона. Именно такие инструменты делают мощные тренировки такими проницательными!

Установление зон мощности

Теперь, когда вы определили свой FTP и поняли, что вам нужно для поддержания точного порога, вы можете рассчитать свои тренировочные зоны. Силовые тренировочные зоны — это то, что вы будете использовать на каждой тренировке и каждой поездке, чтобы определить, насколько интенсивной была поездка и было ли достигнуто запланированное намерение поездки или тренировки.Зоны позволяют вам установить соответствующую интенсивность, чтобы вызвать адаптацию, необходимую для аэробного, метаболического и мышечного развития. Зоны мощности также подчеркивают важность точного и актуального FTP. Спортсменам доступны несколько различных структур зон, но в конечном итоге, чем более детально и точно зоны отражают вашу физиологию, тем лучше. Ниже приведен пример формата семи зон, который можно использовать:

Зона 1 Активное восстановление (AR) = <55% от FTP

Зона 2 Долговечность = 56% -75% от FTP

Темп зоны 3 = 76% -90% от FTP

Порог лактата в зоне 4 = 91-105% от FTP

Зона 5 VO2max = 106% -120% от FTP

Зона 6 Анаэробная емкость (AC) = 121% -150% от FTP

Зона 7 Нервно-мышечная мощность (NP) = максимальная мощность

Если вы используете WKO4, вы также можете использовать Dr.Индивидуальные уровни мощности Энди Коггана, которые позволяют применять еще более детальный подход к назначению тренировок и анализу езды.

Тренировка с мощностью

Причина, по которой вы приобрели измеритель мощности, — это улучшить ваши тренировки и улучшить физическую форму. Итак, как вы относитесь к силовым тренировкам? Варианты тренировок, которые можно выполнять, бесконечны, но есть несколько ключевых областей, на которых вы можете сосредоточиться, чтобы вызвать максимальную реакцию.

Sweet Spot

Эти усилия выполняются на 88–94 процентах вашего FTP и являются отличным способом укрепить и построить ваш FTP.Обычно они проводятся в начале сезона или в середине сезона, чтобы перейти к приоритетным гонкам. Продолжительность интервалов зоны наилучшего восприятия может варьироваться в зависимости от спортсмена, но цель должна заключаться в увеличении продолжительности и количества интервалов в течение сезона.

Пороговый уровень

Пороговые тренировки предназначены для непосредственного улучшения вашего FTP и должны выполняться при 96-105 процентах вашего FTP. Это должно довести вас до вашего предела. Как и в случае интервалов зоны наилучшего восприятия, цель состоит в том, чтобы увеличить продолжительность времени, которое вы можете проводить на этом уровне.Обычно эти специфические для FTP усилия основываются на времени, которое вы потратили на тренировку в зоне наилучшего восприятия.

Темп устойчивого состояния

Тренировки

Tempo являются основой для большинства велосипедистов, особенно тех, кто хочет повысить мышечную выносливость и / или тех, кто тренируется для более длительных соревнований на выносливость. Темповые тренировки выполняются между 76 и 88 процентами FTP, и они должны быть длительными, продолжительными от 30 минут до двух часов.

VO2max

Эти усилия часто становятся предметом внимания традиционных гонщиков и шоссейных гонщиков, которые стремятся улучшить спринт и добиться более высоких результатов.Длятся от трех до восьми минут, они очень сложны, и их следует планировать соответствующим образом, так как они требуют надлежащего восстановления после завершения тренировки. В зависимости от продолжительности интервала интенсивность может составлять от 105 до 120 процентов от FTP. Они полезны при сопоставлении специфики гонки для подъемов, спринтов и т. Д.

Обучение анализу и отслеживанию

Силовые тренировки настолько хороши, насколько хороши вы и / или ваш тренер, чтобы отслеживать и анализировать их! Чтобы получить преимущества от тренировок с измерителем мощности, вы должны анализировать свои тренировки и составлять график своего прогресса с течением времени.Опять же, красота тренировок и гонок с мощью заключается в нашей способности количественно оценить усилия и оценить их. Вот несколько ключевых областей, на которых следует сосредоточиться, когда дело доходит до анализа:

• Проанализируйте свои тренировки, чтобы измерить прогресс и понять, какие рецепты необходимы для продвижения к вашим целям. Как прошла конкретная тренировка? Как вы себя чувствуете? Сравнение качественных и количественных показателей — это не только хорошая практика, но и способ улучшить и узнать больше о себе как о спортсмене.
• Просмотрите файлы соревнований, чтобы понять, насколько эффективны были ваши тренировки. Цель тренировок для большинства спортсменов — подготовиться к дню соревнований. День соревнований — это нечто большее, чем просто фитнес, но понимание ваших результатов — это начало. Найдите время, чтобы провести углубленный анализ гонок, чтобы получить ценные сведения, которые также могут помочь в продвижении ваших тренировок.
• Используйте таблицу управления эффективностью (PMC), чтобы отслеживать свое продвижение к приоритетным гонкам. Уделяя особое внимание тренировочной нагрузке, скорости нарастания и утомляемости, вы не будете перетренироваться, а также поможете достичь пика в день соревнований.
• Обратите особое внимание на хроническую тренировочную нагрузку (CTL), острую тренировочную нагрузку (ATL) и баланс тренировочного стресса (TSB), чтобы в полной мере использовать преимущества силовых тренировок. Эти основные показатели позволяют вам держать руку на пульсе тренировок. Они неоценимы для правильной организации тренировочных блоков и подготовки к приоритетным гонкам.

Ключевые показатели

Часто препятствием для входа спортсменов, которые только начинают тренироваться с силой, может быть кривая обучения, поскольку она связана с показателями мощности.Да, это правда, что есть много показателей и чисел, на которые спортсмен может обратить внимание, но вот некоторые из самых важных:

Ватт на килограмм (Вт / кг)

При прочих равных, гонщик с наибольшим весом / кг будет самым быстрым. Проще говоря, это то, сколько энергии вы производите на килограмм веса тела. Чем выше число, тем сильнее вы будете.

Нормализованная мощность (NP)

Из-за того, что велоспорт по своей природе изменчив, NP лучше показывает, насколько сложной была тренировка с точки зрения метаболизма.Он учитывает скачки мощности сжигания углеводов и, таким образом, подчеркивает общую усталость во время езды лучше, чем средняя мощность.

Коэффициент интенсивности (IF)

IF — это отношение нормализованной мощности поездки к вашему FTP. Думайте о IF как о снимке того, насколько интенсивной (тяжелой) была тренировка или поездка. Вы можете использовать этот показатель, чтобы понять, соответствовали ли ваши предполагаемые усилия фактической интенсивности и были ли вы на тренировке достигли цели.

Оценка тренировочного стресса (TSS)

TSS измеряет общую нагрузку поездки.TSS определяет, сколько работы было выполнено, и, следовательно, сколько требуется восстановления. Показатель тренировочного стресса важно отслеживать с течением времени, потому что он влияет как на физическую форму, так и на усталость, что, в свою очередь, говорит вам, насколько вы готовы к гонке.

Пиковая мощность

Отслеживание показателей пиковой мощности в течение ключевого периода поможет вам не только увидеть, как вы улучшаетесь, но и убедиться, что ваши тренировки соответствуют требованиям ваших гонок. Как показывает практика, если вы сосредоточены на более коротких и более интенсивных гонках, вы должны видеть более высокие пиковые мощности на более коротких отрезках времени, а атлеты, ориентированные на выносливость, должны сосредоточиться на более длительных.

Мощные тренировки, независимо от езды или гонки, чрезвычайно важны для спортсменов всех уровней. Возможность количественно оценивать и отслеживать усилия, а также составлять индивидуальные предписания по тренировкам, гарантирует, что вы получите максимальную отдачу от тренировочного времени. Многое нужно для успешной тренировки с измерителем мощности, но, в конце концов, если вы усвоите несколько основных понятий, вы будете готовы начать. Убедитесь, что ваш FTP точный, и найдите время, чтобы просмотреть и проанализировать свои тренировки и гонки.Успешные спортсмены всегда стремятся к совершенствованию, и силовые тренировки — лучший способ в этом убедиться.

Распределенное обучение с TensorFlow | TensorFlow Core

Обзор

tf.distribute.Strategy — это TensorFlow API для распределения обучения между несколькими графическими процессорами, несколькими компьютерами или TPU. Используя этот API, вы можете распространять существующие модели и обучающий код с минимальными изменениями кода.

тс.distribute.Strategy была разработана с учетом следующих ключевых целей:

• Простота использования и поддержка нескольких сегментов пользователей, включая исследователей, инженеров машинного обучения и т. Д.
• Обеспечивает хорошую производительность прямо из коробки.
• Простое переключение между стратегиями.

Вы можете распределить обучение с помощью tf.distribute.Strategy с высокоуровневым API, таким как Keras Model.fit , а также с пользовательскими циклами обучения (и, в общем, с любыми вычислениями с использованием TensorFlow).

В TensorFlow 2.x вы можете быстро выполнять свои программы или в виде графика, используя функцию tf. . tf.distribute.Strategy намеревается поддерживать оба этих режима выполнения, но лучше всего работает с tf.function . Активный режим рекомендуется только для целей отладки и не поддерживается для tf.distribute.TPUStrategy . Хотя в этом руководстве основное внимание уделяется обучению, этот API также можно использовать для распределения оценок и прогнозов на различных платформах.

Вы можете использовать tf.distribute.Strategy с очень небольшими изменениями в вашем коде, потому что базовые компоненты TensorFlow были изменены, чтобы они учитывали стратегию. Сюда входят переменные, слои, модели, оптимизаторы, метрики, сводки и контрольные точки.

В этом руководстве вы узнаете о различных типах стратегий и о том, как их можно использовать в различных ситуациях. Чтобы узнать, как отлаживать проблемы с производительностью, ознакомьтесь с руководством по оптимизации производительности графического процессора TensorFlow.

Примечание: Для более глубокого понимания концепций просмотрите подробную презентацию — Inside TensorFlow: tf.distribute.Strategy . Это особенно рекомендуется, если вы планируете написать свой собственный цикл обучения.

Настройка TensorFlow

  импортировать тензорный поток как tf
  

Типы стратегий

tf.distribute.Strategy намеревается охватить ряд сценариев использования по разным направлениям. Некоторые из этих комбинаций в настоящее время поддерживаются, а другие будут добавлены в будущем.Вот некоторые из этих топоров:

• Синхронное и асинхронное обучение: Это два распространенных способа распределения обучения с параллелизмом данных. При синхронном обучении все рабочие обучаются синхронно на разных срезах входных данных и агрегируют градиенты на каждом этапе. При асинхронном обучении все рабочие независимо обучаются над входными данными и асинхронно обновляют переменные. Обычно обучение синхронизации поддерживается с помощью архитектуры all-reduce и async через серверную архитектуру параметров.
• Аппаратная платформа: Возможно, вы захотите масштабировать свое обучение на несколько графических процессоров на одном компьютере или на нескольких компьютерах в сети (с 0 или более графическими процессорами на каждом) или на облачных TPU.

Для поддержки этих вариантов использования в TensorFlow есть MirroredStrategy , TPUStrategy , MultiWorkerMirroredStrategy , ParameterServerStrategy , CentralStorageStrategy , а также другие доступные стратегии. В следующем разделе объясняется, какие из них поддерживаются в каких сценариях в TensorFlow.Вот краткий обзор:

Примечание: Экспериментальная поддержка означает, что на API не распространяются какие-либо гарантии совместимости. Предупреждение. Поддержка оценщика ограничена. Базовое обучение и оценка являются экспериментальными, а расширенные функции, такие как scaffold, не реализованы. Вы должны использовать Keras или пользовательские циклы обучения, если вариант использования не описан. Оценщики не рекомендуются для нового кода. Оценщики запускают код в стиле v1.Session , который сложнее правильно написать и который может вести себя неожиданно, особенно в сочетании с кодом TF 2. Оценщики подпадают под наши гарантии совместимости, но не получат никаких исправлений, кроме уязвимостей безопасности.Подробности см. В руководстве по миграции.

MirroredStrategy

tf.distribute.MirroredStrategy поддерживает синхронное распределенное обучение на нескольких графических процессорах на одной машине. Он создает одну реплику на каждое устройство с графическим процессором. Каждая переменная в модели отражается во всех репликах. Вместе эти переменные образуют единую концептуальную переменную, которая называется MirroredVariable . Эти переменные синхронизируются друг с другом за счет применения идентичных обновлений.

Эффективные алгоритмы полного сокращения используются для передачи обновлений переменных между устройствами.All-reduce объединяет тензоры на всех устройствах, складывая их, и делает их доступными на каждом устройстве. Это объединенный алгоритм, который очень эффективен и может значительно снизить накладные расходы на синхронизацию. В зависимости от типа связи, доступной между устройствами, существует множество доступных алгоритмов и реализаций all-reduce. По умолчанию он использует библиотеку коллективной коммуникации NVIDIA (NCCL) в качестве реализации полного сокращения. Вы можете выбрать один из нескольких других вариантов или написать свой собственный.

Вот простейший способ создания MirroredStrategy :

  mirrored_strategy = tf.distribute.MirroredStrategy ()
  

ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Использование MirroredStrategy с устройствами ('/ job & col; localhost / replica & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; GPU & двоеточие; 0',)
 

Это создаст экземпляр MirroredStrategy , который будет использовать все графические процессоры, видимые для TensorFlow и NCCL, в качестве обмена данными между устройствами.

Если вы хотите использовать только некоторые графические процессоры на вашем компьютере, вы можете сделать это следующим образом:

  mirrored_strategy = tf.distribute.MirroredStrategy (devices = ["/ gpu: 0", "/ gpu: 1"])
  

ПРЕДУПРЕЖДЕНИЕ & Colon; tensorflow & Colon; Некоторые запрошенные устройства в tf.distribute.Strategy не видны для TensorFlow & Colon; / job & двоеточие; localhost / replica & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; графический процессор & двоеточие; 0, / задание & двоеточие; localhost / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; графический процессор & двоеточие; 1
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Использование MirroredStrategy с устройствами ('/ job & col; localhost / replica & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; графический процессор & двоеточие; 0', '/ задание & двоеточие; localhost / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; графический процессор & двоеточие; 1' )
 

Если вы хотите переопределить обмен данными между устройствами, вы можете сделать это с помощью аргумента cross_device_ops , указав экземпляр tf.распространять. CrossDeviceOps . В настоящее время tf.distribute.HierarchicalCopyAllReduce и tf.distribute.ReductionToOneDevice — это два параметра, отличные от tf.distribute.NcclAllReduce , который используется по умолчанию.

  mirrored_strategy = tf.distribute.MirroredStrategy (
    cross_device_ops = tf.distribute.HierarchicalCopyAllReduce ())
  

ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Использование MirroredStrategy с устройствами ('/ job & col; localhost / replica & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; GPU & двоеточие; 0',)
 

TPUStrategy

тс.distribute.TPUStrategy позволяет запускать обучение TensorFlow на модулях обработки тензорных блоков (TPU). TPU — это специализированные ASIC от Google, предназначенные для значительного ускорения рабочих нагрузок машинного обучения. Они доступны в Google Colab, TPU Research Cloud и Cloud TPU.

С точки зрения архитектуры распределенного обучения TPUStrategy — это то же самое MirroredStrategy — он реализует синхронное распределенное обучение. TPU обеспечивают собственную реализацию эффективных операций полного сокращения и других коллективных операций на нескольких ядрах TPU, которые используются в TPUStrategy .

Вот как можно создать экземпляр TPUStrategy :

Примечание: Чтобы запустить любой код TPU в Colab, вы должны выбрать TPU в качестве среды выполнения Colab. См. Полный пример в Руководстве по использованию TPU.

  cluster_resolver = tf.distribute.cluster_resolver.TPUClusterResolver (
    tpu = tpu_address)
tf.config.experimental_connect_to_cluster (cluster_resolver)
tf.tpu.experimental.initialize_tpu_system (cluster_resolver)
tpu_strategy = tf.distribute.TPUStrategy (cluster_resolver)
  

Экземпляр TPUClusterResolver помогает найти TPU.В Colab вам не нужно указывать для него какие-либо аргументы.

Если вы хотите использовать это для облачных TPU:

• Вы должны указать имя вашего ресурса TPU в аргументе tpu .
• Вы должны явно инициализировать систему TPU при запуске программы. Это необходимо до того, как TPU можно будет использовать для вычислений. Инициализация системы TPU также стирает память TPU, поэтому важно сначала выполнить этот шаг, чтобы избежать потери состояния.

MultiWorkerMirroredStrategy

tf.distribute.MultiWorkerMirroredStrategy очень похож на MirroredStrategy . Он реализует синхронное распределенное обучение для нескольких рабочих, каждый из которых может иметь несколько графических процессоров. Подобно tf.distribute.MirroredStrategy , он создает копии всех переменных в модели на каждом устройстве для всех рабочих процессов.

Вот простейший способ создания MultiWorkerMirroredStrategy :

  стратегия = tf.distribute.MultiWorkerMirroredStrategy ()
  

ПРЕДУПРЕЖДЕНИЕ & Colon; tensorflow & Colon; Коллективные операции не настраиваются при запуске программы. Некоторые функции производительности могут быть не включены.
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; MultiWorkerMirroredStrategy с одним работником с local_devices = ('/ device & col; GPU & col; 0',), communication = CommunicationImplementation.AUTO
 

MultiWorkerMirroredStrategy имеет две реализации для обмена данными между устройствами. CommunicationImplementation.RING основан на RPC и поддерживает как процессоры, так и графические процессоры. CommunicationImplementation.NCCL использует NCCL и обеспечивает высокую производительность на графических процессорах, но не поддерживает процессоры. CollectiveCommunication.AUTO переносит выбор на Tensorflow. Вы можете указать их следующим образом:

  communication_options = tf.distribute.experimental.CommunicationOptions (
    реализация = tf.distribute.experimental.CommunicationImplementation.NCCL)
стратегия = tf.distribute.MultiWorkerMirroredStrategy (
    Communication_options = опции_связи)
  

ПРЕДУПРЕЖДЕНИЕ & Colon; tensorflow & Colon; Коллективные операции не настраиваются при запуске программы. Некоторые функции производительности могут быть не включены.
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; MultiWorkerMirroredStrategy для одного работника с local_devices = ('/ device & col; GPU & Colon; 0',), communication = CommunicationImplementation.NCCL
 

Одним из ключевых отличий обучения с несколькими рабочими от обучения с несколькими графическими процессорами является настройка с несколькими рабочими.Переменная среды 'TF_CONFIG' — это стандартный способ в TensorFlow указать конфигурацию кластера для каждого рабочего, являющегося частью кластера. Дополнительные сведения см. В разделе о настройке TF_CONFIG этого документа.

Дополнительные сведения о MultiWorkerMirroredStrategy см. В следующих руководствах:

ParameterServerStrategy

Обучение сервера параметров — это распространенный метод параллельных данных для расширения обучения модели на нескольких машинах.Обучающий кластер сервера параметров состоит из рабочих и серверов параметров. Переменные создаются на серверах параметров, и они читаются и обновляются рабочими на каждом этапе. Ознакомьтесь с учебным пособием по серверу параметров для получения подробной информации.

В TensorFlow 2 для обучения сервера параметров используется архитектура на основе центрального координатора через класс tf.distribute.experimental.coordinator.ClusterCoordinator .

В этой реализации задачи worker и сервера параметров запускают tf.distribute.Server , которые слушают задачи от координатора. Координатор создает ресурсы, отправляет обучающие задания, записывает контрольные точки и устраняет сбои задач.

При программировании, выполняемом на координаторе, вы будете использовать объект ParameterServerStrategy для определения шага обучения и использовать ClusterCoordinator для отправки шагов обучения удаленным работникам. Вот самый простой способ их создания:

  стратегия = tf.distribute.экспериментальный.ParameterServerStrategy (
    tf.distribute.cluster_resolver.TFConfigClusterResolver (),
    раздел_переменной = раздел_переменной)
координатор = tf.distribute.experimental.coordinator.ClusterCoordinator (
    стратегия)
  

Чтобы узнать больше о ParameterServerStrategy , ознакомьтесь с обучением сервера параметров с помощью Keras Model.fit и учебным курсом по индивидуальному циклу обучения.

Примечание: Если вы используете TFConfigClusterResolver , вам потребуется настроить переменную среды 'TF_CONFIG' .Он аналогичен 'TF_CONFIG' в MultiWorkerMirroredStrategy , но имеет дополнительные оговорки.

В TensorFlow 1 ParameterServerStrategy доступен только с оценщиком через символ tf.compat.v1.distribute.experimental.ParameterServerStrategy .

Примечание: Эта стратегия является экспериментальной , так как в настоящее время она находится в активной разработке.

CentralStorageStrategy

tf.distribute.experimental.CentralStorageStrategy также выполняет синхронное обучение.Переменные не зеркалируются, вместо этого они размещаются на ЦП, а операции реплицируются на всех локальных графических процессорах. Если есть только один графический процессор, все переменные и операции будут размещены на этом графическом процессоре.

Создайте экземпляр CentralStorageStrategy по:

  central_storage_strategy = tf.distribute.experimental.CentralStorageStrategy ()
  

ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; ParameterServerStrategy (CentralStorageStrategy, если вы используете один компьютер) с compute_devices = ['/ job & col; localhost / replica & col; 0 / task & col; 0 / device & col; GPU & двоеточие; 0'], variable_device = '/ job & Colon; localhost / replica & двоеточие ; 0 / задача & двоеточие; 0 / устройство & двоеточие; графический процессор & двоеточие; 0 '
 

Будет создан экземпляр CentralStorageStrategy , который будет использовать все видимые графические процессоры и ЦП.Обновление переменных на репликах будет агрегировано перед применением к переменным.

Примечание: Это стратегия экспериментальная , так как в настоящее время работа над ней продолжается.

Другие стратегии

В дополнение к вышеперечисленным стратегиям есть еще две стратегии, которые могут быть полезны для создания прототипов и отладки при использовании tf.distribute API.

Стратегия по умолчанию

Стратегия по умолчанию — это стратегия распределения, которая присутствует, когда явная стратегия распределения не входит в область действия.Он реализует интерфейс tf.distribute.Strategy , но является сквозным и не обеспечивает фактического распределения. Например, Strategy.run (fn) просто вызовет fn . Код, написанный с использованием этой стратегии, должен вести себя точно так же, как код, написанный без какой-либо стратегии. Вы можете думать об этом как о «запретной» стратегии.

Стратегия по умолчанию — одноэлементная, и больше ее экземпляров создать нельзя. Его можно получить с помощью tf.distribute.get_strategy вне любой явной области действия стратегии (тот же API, который можно использовать для получения текущей стратегии внутри области явной стратегии).

  default_strategy = tf.distribute.get_strategy ()
  

Эта стратегия служит двум основным целям:

• Это позволяет безоговорочно писать код библиотеки с учетом распределения. Например, в tf.optimizer s вы можете использовать tf.distribute.get_strategy и использовать эту стратегию для уменьшения градиентов — он всегда будет возвращать объект стратегии, для которого вы можете вызвать Strategy.reduce API.

  # В оптимизаторе или коде другой библиотеки
# Получить текущую активную стратегию
стратегия = tf.distribute.get_strategy ()
strategy.reduce ("SUM", 1., axis = None) # уменьшает некоторые значения
  

1.0
 

• Подобно библиотечному коду, его можно использовать для написания программ конечных пользователей для работы со стратегией распределения и без нее, не требуя условной логики. Вот пример фрагмента кода, иллюстрирующий это:

  если tf.config.list_physical_devices ('GPU'):
  стратегия = tf.distribute.MirroredStrategy ()
else: # Использовать стратегию по умолчанию
  стратегия = tf.distribute.get_strategy ()

с помощью strategy.scope ():
  # Сделай что-нибудь интересное
  print (tf.Variable (1.))
  

ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Использование MirroredStrategy с устройствами ('/ job & col; localhost / replica & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; GPU & двоеточие; 0',)
Зеркальная переменная & двоеточие; {
  0 & двоеточие; 
}
 

OneDeviceStrategy

tf.distribute.OneDeviceStrategy — это стратегия размещения всех переменных и вычислений на одном указанном устройстве.

  strategy = tf.distribute.OneDeviceStrategy (device = "/ gpu: 0")
  

Эта стратегия отличается от стратегии по умолчанию во многих отношениях. В стратегии по умолчанию логика размещения переменных остается неизменной по сравнению с запуском TensorFlow без какой-либо стратегии распространения. Но при использовании OneDeviceStrategy все переменные, созданные в его области видимости, явно помещаются на указанное устройство. Более того, любые функции, вызываемые через OneDeviceStrategy.запуск также будет размещен на указанном устройстве.

Входные данные, распределяемые по этой стратегии, будут предварительно загружены на указанное устройство. В стратегии по умолчанию нет распределения входных данных.

Подобно стратегии по умолчанию, эту стратегию также можно использовать для тестирования вашего кода перед переключением на другие стратегии, которые фактически распространяются на несколько устройств / машин. Это задействует механизм стратегии распределения несколько больше, чем стратегия по умолчанию, но не в полной мере, используя, например, MirroredStrategy или TPUStrategy .Если вам нужен код, который ведет себя так, как будто стратегии нет, используйте стратегию по умолчанию.

Итак, вы узнали о различных стратегиях и о том, как их реализовать. В следующих нескольких разделах показаны различные способы их использования для распределения тренировок.

Используйте tf.distribute.Strategy с Keras Model.fit

tf.distribute.Strategy интегрирован в tf.keras , который является реализацией TensorFlow спецификации Keras API. tf.keras — это высокоуровневый API для построения и обучения моделей. Благодаря интеграции в серверную часть tf.keras вы легко сможете распространять свои тренировки, написанные в среде обучения Keras, с помощью Model.fit.

Вот что вам нужно изменить в вашем коде:

1. Создайте экземпляр соответствующего tf.distribute.Strategy .
2. Переместите создание модели Keras, оптимизатора и метрик в strategy.scope .

Стратегии распространения TensorFlow поддерживают все типы моделей Keras — последовательные, функциональные и подклассы.

Вот фрагмент кода для очень простой модели Keras с одним слоем Dense :

  mirrored_strategy = tf.distribute.MirroredStrategy ()

с mirrored_strategy.scope ():
  model = tf.keras.Sequential ([tf.keras.layers.Dense (1, input_shape = (1,))])

model.compile (потеря = 'mse', optimizer = 'sgd')
  

ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Использование MirroredStrategy с устройствами ('/ job & col; localhost / replica & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; GPU & двоеточие; 0',)
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .
 

В этом примере используется MirroredStrategy , поэтому вы можете запустить его на машине с несколькими графическими процессорами. strategy.scope () указывает Керасу, какую стратегию использовать для распределения обучения. Создание моделей / оптимизаторов / показателей внутри этой области позволяет создавать распределенные переменные вместо обычных переменных.После того, как это настроено, вы можете соответствовать своей модели, как обычно. MirroredStrategy заботится о воспроизведении обучения модели на доступных графических процессорах, агрегировании градиентов и многом другом.

  набор данных = tf.data.Dataset.from_tensors (([1.], [1.])). Repeat (100) .batch (10)
model.fit (набор данных, эпохи = 2)
model.evaluate (набор данных)
  

Эпоха 1/2
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .
2021-10-05 01 & двоеточие; 21 & двоеточие; 39.353158 & двоеточие; W tensorflow / core / grappler / optimizers / data / auto_shard.cc & двоеточие 695] Политика сегментирования AUTO будет применять политику сегментирования DATA, поскольку она не смогла применить политику сегментирования FILE по следующей причине & двоеточие; Обнаружен надежный исходный набор данных & col; имя и двоеточие; "TensorDataset / _2"
op & двоеточие; "TensorDataset"
ввод & двоеточие; "Заполнитель / _0"
ввод & двоеточие; "Заполнитель / _1"
attr {
  ключ и двоеточие; "Toutput_types"
  ценить {
    список {
      введите & двоеточие; DT_FLOAT
      введите & двоеточие; DT_FLOAT
    }
  }
}
attr {
  ключ и двоеточие; "output_shapes"
  ценить {
    список {
      форма {
        dim {
          размер и двоеточие; 1
        }
      }
      форма {
        dim {
          размер и двоеточие; 1
        }
      }
    }
  }
}
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .
10/10 [==============================] - 3 с 2 мс / шаг - потеря и двоеточие; 1,6898
ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .ИНФОРМАЦИЯ & двоеточие; тензорный поток & двоеточие; Сократите до / задание & двоеточие; локальный хост / реплику & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0, затем выполните широковещательную передачу на ('/ задание & двоеточие; локальный хост / реплика & двоеточие; 0 / задача & двоеточие; 0 / устройство & двоеточие; ЦП & двоеточие; 0',) .
Эпоха 2/2
10/10 [==============================] - 0 с 2 мс / шаг - потеря и двоеточие; 0,7469
2021-10-05 01 & двоеточие; 21 & двоеточие; 42.157302 & двоеточие; W tensorflow / core / grappler / optimizers / data / auto_shard.cc & двоеточие 695] Политика сегментирования AUTO будет применять политику сегментирования DATA, поскольку она не смогла применить политику сегментирования FILE по следующей причине & двоеточие; Обнаружен надежный исходный набор данных & col; имя и двоеточие; "TensorDataset / _2"
op & двоеточие; "TensorDataset"
ввод & двоеточие; "Заполнитель / _0"
ввод & двоеточие; "Заполнитель / _1"
attr {
  ключ и двоеточие; "Toutput_types"
  ценить {
    список {
      введите & двоеточие; DT_FLOAT
      введите & двоеточие; DT_FLOAT
    }
  }
}
attr {
  ключ и двоеточие; "output_shapes"
  ценить {
    список {
      форма {
        dim {
          размер и двоеточие; 1
        }
      }
      форма {
        dim {
          размер и двоеточие; 1
        }
      }
    }
  }
}
10/10 [==============================] - 1 с 2 мс / шаг - потеря и двоеточие; 0.4638
0,4638328552246094
 

Здесь tf.data.Dataset обеспечивает ввод данных для обучения и оценки. Вы также можете использовать массивы NumPy:

  импортировать numpy как np

входы, цели = np.ones ((100, 1)), np.ones ((100, 1))
model.fit (входы, цели, эпохи = 2, batch_size = 10)
  

Эпоха 1/2
10/10 [==============================] - 0 с 2 мс / шаг - потеря и двоеточие; 0,3301
Эпоха 2/2
10/10 [==============================] - 0 с 2 мс / шаг - потеря и двоеточие; 0,1459
2021-10-05 01 & двоеточие; 21 & двоеточие; 43.378501 & двоеточие; W tensorflow / core / grappler / optimizers / data / auto_shard.cc & двоеточие 695] Политика сегментирования AUTO будет применять политику сегментирования DATA, поскольку она не смогла применить политику сегментирования FILE по следующей причине & двоеточие; Не удалось найти источник, доступный для сегментирования, перешел к узлу, который не является набором данных & col; имя и двоеточие; "FlatMapDataset / _9"
op & двоеточие; "FlatMapDataset"
ввод & двоеточие; "PrefetchDataset / _8"
attr {
  ключ и двоеточие; "Таргументы"
  ценить {
    список {
    }
  }
}
attr {
  ключ и двоеточие; "е"
  ценить {
    func {
      имя и двоеточие; "__inference_Dataset_flat_map_slice_batch_indices_997"
    }
  }
}
attr {
  ключ и двоеточие; "output_shapes"
  ценить {
    список {
      форма {
        dim {
          размер и двоеточие; 10
        }
      }
    }
  }
}
attr {
  ключ и двоеточие; "output_types"
  ценить {
    список {
      введите & двоеточие; DT_INT64
    }
  }
}
.Рассмотрите возможность отключения автоматического сегментирования или переключения auto_shard_policy на DATA, чтобы сегментировать этот набор данных. Вы можете сделать это, создав новый объект `tf.data.Options ()`, затем установив `options.experimental_distribute.auto_shard_policy = AutoShardPolicy.DATA` перед применением объекта опций к набору данных через` dataset.with_options (options) `.

 

В обоих случаях — с Dataset или NumPy — каждый пакет заданных входных данных делится поровну между несколькими репликами.Например, если вы используете MirroredStrategy с 2 графическими процессорами, каждый пакет размером 10 будет разделен между 2 графическими процессорами, каждый из которых получит 5 примеров ввода на каждом этапе. Каждая эпоха будет тренироваться быстрее по мере того, как вы добавляете больше графических процессоров. Как правило, вы хотите увеличивать размер пакета по мере добавления дополнительных ускорителей, чтобы эффективно использовать дополнительную вычислительную мощность. Вам также потребуется перенастроить скорость обучения в зависимости от модели. Вы можете использовать strategy.num_replicas_in_sync , чтобы получить количество реплик.

  # Вычислить глобальный размер пакета, используя несколько реплик.
BATCH_SIZE_PER_REPLICA = 5
global_batch_size = (BATCH_SIZE_PER_REPLICA *
                     mirrored_strategy.num_replicas_in_sync)
набор данных = tf.data.Dataset.from_tensors (([1.], [1.])). repeat (100)
набор данных = набор данных.batch (global_batch_size)

LEARNING_RATES_BY_BATCH_SIZE = {5: 0,1, 10: 0,15}
learning_rate = LEARNING_RATES_BY_BATCH_SIZE [global_batch_size]
  

Что сейчас поддерживается?

Примеры и учебные пособия

Вот список руководств и примеров, которые иллюстрируют вышеуказанную сквозную интеграцию с Keras Model.fit :

1. Учебное пособие: Обучение с использованием Model.fit и MirroredStrategy .
2. Учебное пособие: Обучение с моделью .подходят и MultiWorkerMirroredStrategy .

Руководство

3. : содержит пример использования Model.fit и TPUStrategy .
4. Учебное пособие: Обучение параметрическому серверу с Model.fit и ParameterServerStrategy .
5. Учебное пособие: Тонкая настройка BERT для многих задач из теста GLUE с Model.fit и TPUStrategy .
6. TensorFlow Model Garden репозиторий, содержащий коллекции современных моделей, реализованных с использованием различных стратегий.

Используйте tf.distribute.Strategy с настраиваемыми циклами обучения

Как показано выше, использование tf.distribute.Strategy с Keras Model.fit требует изменения только пары строк кода. Приложив немного больше усилий, вы также можете использовать tf.distribute.Strategy с настраиваемыми циклами обучения.

Если вам нужна большая гибкость и контроль над циклами обучения, чем это возможно с помощью Estimator или Keras, вы можете написать собственные циклы обучения.Например, при использовании GAN вы можете захотеть выполнять разное количество шагов генератора или дискриминатора в каждом раунде. Точно так же высокоуровневые структуры не очень подходят для обучения обучению с подкреплением.

Классы tf.distribute.Strategy предоставляют основной набор методов для поддержки пользовательских циклов обучения. Их использование может потребовать незначительной реструктуризации кода на начальном этапе, но как только это будет сделано, вы сможете переключаться между графическими процессорами, TPU и несколькими машинами, просто изменив экземпляр стратегии.

Ниже приведен краткий фрагмент, иллюстрирующий этот вариант использования для простого обучающего примера с использованием той же модели Keras, что и раньше.

Сначала создайте модель и оптимизатор внутри области действия стратегии. Это гарантирует, что любые переменные, созданные с помощью модели и оптимизатора, являются зеркальными переменными.

  с mirrored_strategy.scope ():
  model = tf.keras.Sequential ([tf.keras.layers.Dense (1, input_shape = (1,))])
  optimizer = tf.keras.optimizers.SGD ()
  

Затем создайте входной набор данных и позвоните по номеру tf.distribute.Strategy.experimental_distribute_dataset для распределения набора данных на основе стратегии.

  набор данных = tf.data.Dataset.from_tensors (([1.], [1.])). Repeat (100) .batch (
    global_batch_size)
dist_dataset = mirrored_strategy.experimental_distribute_dataset (набор данных)
  

2021-10-05 01 & двоеточие; 21 & двоеточие; 43.580360 & двоеточие; W tensorflow / core / grappler / optimizers / data / auto_shard.cc & двоеточие 695] Политика сегментирования AUTO будет применять политику сегментирования DATA, поскольку она не смогла применить политику сегментирования FILE по следующей причине & двоеточие; Обнаружен надежный исходный набор данных & col; имя и двоеточие; "TensorDataset / _2"
op & двоеточие; "TensorDataset"
ввод & двоеточие; "Заполнитель / _0"
ввод & двоеточие; "Заполнитель / _1"
attr {
  ключ и двоеточие; "Toutput_types"
  ценить {
    список {
      введите & двоеточие; DT_FLOAT
      введите & двоеточие; DT_FLOAT
    }
  }
}
attr {
  ключ и двоеточие; "output_shapes"
  ценить {
    список {
      форма {
        dim {
          размер и двоеточие; 1
        }
      }
      форма {
        dim {
          размер и двоеточие; 1
        }
      }
    }
  }
}
 

Затем определите один шаг обучения.Используйте tf.GradientTape для вычисления градиентов и оптимизатора для применения этих градиентов для обновления переменных вашей модели. Чтобы распространить этот обучающий шаг, поместите его в функцию train_step и передайте в tf.distribute.Strategy.run вместе с входными данными набора данных, которые вы получили из созданного ранее dist_dataset :

  loss_object = tf.keras.losses.BinaryCrossentropy (
  from_logits = Верно,
  сокращение = tf.keras.losses.Reduction.NONE)

def compute_loss (метки, прогнозы):
  per_example_loss = loss_object (метки, прогнозы)
  вернуть tf.nn.compute_average_loss (per_example_loss, global_batch_size = global_batch_size)

def train_step (входы):
  особенности, метки = входы

  с tf.GradientTape () в качестве ленты:
    прогнозы = модель (особенности, обучение = правда)
    loss = compute_loss (метки, прогнозы)

  градиенты = tape.gradient (потеря, model.trainable_variables)
  optimizer.apply_gradients (zip (градиенты, model.trainable_variables))
  обратные потери

@ tf.function
def distribution_train_step (dist_inputs):
  per_replica_losses = зеркальная_стратегия.запустить (train_step, args = (dist_inputs,))
  вернуть mirrored_strategy.reduce (tf.distribute.ReduceOp.SUM, per_replica_losses,
                         ось = Нет)
  

Еще несколько моментов, которые следует отметить в приведенном выше коде:

1. Вы использовали tf.nn.compute_average_loss для расчета убытка. tf.nn.compute_average_loss суммирует потери для каждого примера и делит сумму на global_batch_size . Это важно, потому что позже, после вычисления градиентов для каждой реплики, они агрегируются по репликам путем суммирования их .
2. Вы также использовали tf.distribute.Strategy.reduce API для агрегирования результатов, возвращаемых tf.distribute.Strategy.run . tf.distribute.Strategy.run возвращает результаты из каждой локальной реплики в стратегии, и есть несколько способов получить этот результат. Вы можете уменьшить их , чтобы получить агрегированное значение. Вы также можете выполнить tf.distribute.Strategy.experimental_local_results , чтобы получить список значений, содержащихся в результате, по одному на локальную реплику.
3. Когда вы вызываете apply_gradients в рамках стратегии распределения, его поведение изменяется. В частности, перед применением градиентов к каждому параллельному экземпляру во время синхронного обучения он выполняет суммирование всех реплик градиентов.

Наконец, как только вы определили шаг обучения, вы можете перебрать dist_dataset и запустить обучение в цикле:

  для dist_inputs в dist_dataset:
  печать (Dist_train_step (dist_inputs))
  

tf.Тензор (1.2627472, shape = (), dtype = float32)
tf.Tensor (1.2524828, shape = (), dtype = float32)
tf.Tensor (1.2423018, shape = (), dtype = float32)
tf.Tensor (1.2322043, shape = (), dtype = float32)
tf.Tensor (1.2221898, shape = (), dtype = float32)
tf.Tensor (1.2122582, shape = (), dtype = float32)
tf.Tensor (1.2024096, shape = (), dtype = float32)
tf.Tensor (1.1926432, shape = (), dtype = float32)
tf.Tensor (1.1829592, shape = (), dtype = float32)
tf.Tensor (1.1733572, shape = (), dtype = float32)
tf.Tensor (1.1638371, shape = (), dtype = float32)
tf.Тензор (1.1543984, shape = (), dtype = float32)
tf.Tensor (1.145041, shape = (), dtype = float32)
tf.Tensor (1.1357645, shape = (), dtype = float32)
tf.Tensor (1.1265687, shape = (), dtype = float32)
tf.Tensor (1.117453, shape = (), dtype = float32)
tf.Tensor (1.1084174, shape = (), dtype = float32)
tf.Tensor (1.0994614, shape = (), dtype = float32)
tf.Tensor (1.0
6, shape = (), dtype = float32)
tf.Tensor (1.0817871, shape = (), dtype = float32)
 

В приведенном выше примере вы перебирали dist_dataset , чтобы предоставить входные данные для вашего обучения.Вам также предоставляется tf.distribute.Strategy.make_experimental_numpy_dataset для поддержки входных данных NumPy. Вы можете использовать этот API для создания набора данных перед вызовом tf.distribute.Strategy.experimental_distribute_dataset .

Другой способ перебора данных — явное использование итераторов. Возможно, вы захотите сделать это, если хотите выполнить заданное количество шагов, а не повторять весь набор данных. Вышеупомянутая итерация теперь будет изменена, чтобы сначала создать итератор, а затем явно вызвать на нем , затем , чтобы получить входные данные.

  итератор = iter (dist_dataset)
для _ в диапазоне (10):
  печать (распределенный_поезд_шаг (следующий (итератор)))
  

tf.Tensor (1.0730679, shape = (), dtype = float32)
tf.Tensor (1.0644273, shape = (), dtype = float32)
tf.Tensor (1.0558642, shape = (), dtype = float32)
tf.Tensor (1.0473784, shape = (), dtype = float32)
tf.Tensor (1.03897, shape = (), dtype = float32)
tf.Tensor (1.0306381, shape = (), dtype = float32)
tf.Tensor (1.0223824, shape = (), dtype = float32)
tf.Tensor (1.0142026, shape = (), dtype = float32)
tf.Тензор (1.0060982, shape = (), dtype = float32)
tf.Tensor (0.99806863, shape = (), dtype = float32)
 

Это самый простой случай использования tf.distribute.Strategy API для распределения пользовательских циклов обучения.

Что сейчас поддерживается?

Примеры и учебные пособия

Вот несколько примеров использования стратегий распределения с пользовательскими циклами обучения:

1. Учебное пособие: обучение с помощью настраиваемого цикла обучения и MirroredStrategy .

Учебное пособие

2. : обучение с помощью настраиваемого цикла обучения и MultiWorkerMirroredStrategy .

Руководство

3. : содержит пример настраиваемого цикла обучения с TPUStrategy .

Учебное пособие

4. : обучение сервера параметров с помощью настраиваемого цикла обучения и ParameterServerStrategy .
5. TensorFlow Model Garden репозиторий, содержащий коллекции современных моделей, реализованных с использованием различных стратегий.

Другие темы

В этом разделе рассматриваются некоторые темы, относящиеся к нескольким вариантам использования.

Настройка переменной окружения TF_CONFIG

Для обучения нескольких сотрудников, как упоминалось ранее, вам необходимо настроить переменную среды 'TF_CONFIG' для каждого двоичного файла, запущенного в вашем кластере. Переменная среды 'TF_CONFIG' представляет собой строку JSON, которая определяет, какие задачи составляют кластер, их адреса и роль каждой задачи в кластере. Репозиторий тензорного потока / экосистемы предоставляет шаблон Kubernetes, который настраивает 'TF_CONFIG' для ваших учебных задач.

В 'TF_CONFIG' есть два компонента: кластер и задача.

• Кластер предоставляет информацию об учебном кластере, который представляет собой диктатор, состоящий из различных типов заданий, таких как рабочие. В обучении с несколькими работниками обычно есть один работник, который берет на себя немного больше ответственности, например, сохраняет контрольную точку и написание сводного файла для TensorBoard в дополнение к тому, что делает обычный работник. Такой рабочий называется «главным» рабочим, и принято, что рабочий с индексом 0 назначается главным рабочим (на самом деле так тс.distribute.Strategy реализована).
• Задача, с другой стороны, предоставляет информацию о текущей задаче. Первый кластер компонентов одинаков для всех рабочих процессов, а задача второго компонента отличается для каждого рабочего и определяет тип и индекс этого рабочего.

Один из примеров 'TF_CONFIG' :

  os.environ ["TF_CONFIG"] = json.dumps ({
    "cluster": {
        «рабочий»: [«хост1: порт», «хост2: порт», «хост3: порт»],
        «пс»: [«хост4: порт», «хост5: порт»]
    },
   "task": {"type": "worker", "index": 1}
})
  

Этот 'TF_CONFIG' указывает, что есть три рабочих процесса и две задачи «ps» в «кластере» вместе с их хостами и портами.Часть «задача» определяет роль текущей задачи в «кластере» — рабочий 1 (второй рабочий). Допустимые роли в кластере: «главный» , «рабочий» , «пс» и «оценщик» . Не должно быть задания "ps" , за исключением случая использования tf.distribute.experimental.ParameterServerStrategy .

Что дальше?

tf.distribute.Стратегия находится в активной разработке.Попробуйте и поделитесь своим мнением с помощью GitHub issues.

«Мы счастливы, что он рядом» — Уилшир начинает тренировку с «Арсеналом» | Новости Арсеблога

Джек Уилшир тренируется с «Арсеналом» после того, как принял приглашение от Микеля Артеты воспользоваться услугами клуба в Лондонском Колни, пока он ищет новый клуб и получает свои тренерские значки.

В прошлом месяце 29-летний игрок сообщил, что он борется с мотивацией после того, как летом был освобожден Борнмутом и оказался без структуры официальных командных сессий.

«Мы ведем беседу с Джеком, чтобы понять его потребности и то, что он ищет», — сказал Артета три недели назад.

Уилшир дразнил свое возвращение, работая экспертом в Sky Sports во время освещения игры в Брайтоне на прошлых выходных. Размышляя о победе в дерби на севере Лондона, он сказал: «Тренировочная площадка гудит».

Полузащитник также был замечен на трибунах вчера вечером, когда он наблюдал, как игроки «Арсенала» до 23 лет сражаются со своими сверстниками из Борнмута в Кубке Премьер-лиги на стадионе Vitality.

Принимая решение снова поприветствовать Уилшира в лондонском Колни, Артета сказал Arsenal.com: «Вы должны верить в то, что мы хотим помочь Джеку подготовиться к следующему этапу, физически и морально.

«Он хочет снова получить свои тренерские значки, и мы готовы выполнить все его потребности. Это основная идея, и не более того.

«Я очень рад, что он вернулся. Мы поговорили с Джеком, и мы понимаем его потребности, период, который он переживает, и я думаю, что все в клубе согласились, что это подходящий момент, чтобы помочь ему.

«Мы сели с ним и послушали, что он хотел сделать и на каком этапе он находится, и мы готовы сделать все, что в наших силах, чтобы помочь ему.

«Он собирается иногда тренироваться с нами, он будет рядом, он будет продолжать свои тренерские значки, которые ему очень интересны, постарайтесь привести его в форму, постарайтесь донести свой опыт до наши игроки, наши молодые игроки, наша академия, и я думаю, что это большое влияние ».

Босс также подчеркнул, на что он надеется, что Уилшир получит от своего возвращения.

«То, что физически он может поддерживать себя в форме, потому что, очевидно, мы знаем проблемы, которые травмы вызвали у него в его карьере», — сказал он.

«Во-вторых, он чувствует любовь к клубу, привязанность и то же отношение, что и мы к нему.

«Когда вы отсутствуете много лет, может быть, вы потеряете это чувство или зададитесь вопросом, но нет никаких сомнений: мы все его любим, мы счастливы, что он рядом, и он является большой частью нашей истории.”

Хотя Артета преуменьшил значение предположений о том, что его бывший товарищ по команде может заработать себе контракт с основной командой, приятно видеть, что клуб вернул его (и его липкий язык) обратно в лоно.

Очень важно позаботиться о себе.

Тренинг по изъятию для школьного персонала

Что такое «Тренинг по изъятию для школьного персонала»?

«Тренинг для школьного персонала» разработан для людей, которые работают с детьми и молодежью в школьных условиях.Эта программа предоставляет обзор судорог и эпилепсии, первую помощь при припадках, планы действий при припадках, методы спасения, экстренные судорожные припадки и способы оказания поддержки учащимся в школьных условиях. Этот курс подходит для школьных медсестер, учителей, помощников, тренеров, администраторов и всех, кто работает в школе.

По окончании курса школьный персонал сможет:

• Распознать 3 распространенных типа припадков
• Опишите 3 шага первой помощи при припадке, чтобы помочь учащемуся, страдающему припадком
• Определите 3 ключевых фактора, которые могут сделать припадок неотложной медицинской помощью
• Опишите 3 способа поддержки учащегося, страдающего эпилепсией

Как мне принести программу в мою школу?

Два варианта: обучение по запросу или обучение в режиме реального времени

1. Доступно обучение по запросу (самый популярный)
   • Доступно 24/7.Принимайте в удобное для вас время!
   • Продолжительность — 60 минут
   • Сертификат выдается по окончании программы
   • Кредиты на непрерывное образование доступны для сертифицированного санитарного просвещения (CHES / MCHES)
2. Личные и / или живые вебинары доступны в вашем местном фонде эпилепсии.

Найдите ближайший к вам местный фонд эпилепсии!

Начать онлайн-курс

Вопросы и ответы онлайн-курса

Кто может пройти курс?

Любой желающий может пройти курс, чтобы узнать об эпилепсии в школьных условиях, но содержание предназначено для школьного персонала, который хочет получить представление о выявлении приступов и стратегиях оказания первой помощи, в том числе:

• Классные учителя
• Учителя специального образования
• Библиотекари
• Помощники учителя
• Водители школьного автобуса
• Помощники
• Члены группы планирования IEP / 504
• Преподаватели здоровья
• Прочие сотрудники или волонтеры классов K-12
• Школьные медсестры

Есть ли предпосылки для прохождения курса?

Предварительных условий для прохождения курса нет.

Сколько времени нужно, чтобы пройти онлайн-курс?

Время прохождения курса зависит от пользователя. Курс включает предварительное тестирование, видеоурок и пост-тест. Эти уроки нужно изучать по порядку. Предварительный тест необходимо пройти до получения доступа к видеоуроку. Видеоурок длится примерно 50 минут. Чтобы успешно пройти обучение и получить сертификат об окончании, необходимо просмотреть все видео и пройти последующее тестирование.

Какие материалы или оборудование мне понадобятся для прохождения онлайн-курса?

Вам нужен компьютер с надежным высокоскоростным Интернетом.Браузер должен поддерживать JavaScript.

Как мне получить кредит за прохождение курса?

По завершении курса вы должны пройти онлайн-оценку и оценку, чтобы получить сертификат об окончании.

Как долго длится послетест?

Заключительный тест состоит из нескольких вопросов с несколькими вариантами ответов.

Заявки на размещение

Фонд эпилепсии стремится предоставлять ресурсы, доступные для людей с любым уровнем подготовки.

С вопросами о доступности или запросом приспособлений для полноценного участия в этой деятельности, пожалуйста, свяжитесь с командой программ и услуг по адресу [email protected].

Запросы следует направлять как можно скорее, но не менее чем за две недели до запланированной встречи. С вами свяжется кто-нибудь из наших сотрудников, чтобы обсудить ваши конкретные потребности.

Выражение признательности / отказ от ответственности

Эта программа поддерживается Центрами по контролю и профилактике заболеваний (CDC) США.S. Департамент здравоохранения и социальных служб (HHS) в рамках гранта финансовой помощи в соответствии с соглашением о сотрудничестве № 1U58DP0026256-02-00, CFDA 93.850 , финансируемым CDC / HHS. Содержание принадлежит авторам и не обязательно отражает официальную точку зрения или одобрение CDC / HHS или правительства США.

Доступны ли подразделения непрерывного образования?

Да, для сертифицированных специалистов по санитарному просвещению (CHES) и / или дипломированных специалистов по медицинскому просвещению (MCHES).

Фонд эпилепсии является назначенным поставщиком контактных часов непрерывного образования (CECH) в области санитарного просвещения Национальной комиссией по санитарному просвещению, Inc.

• Эта программа предназначена для сертифицированных специалистов по санитарному просвещению (CHES) и / или для дипломированных специалистов по медицинскому просвещению (MCHES), которые могут получить до 1,5 общих контактных часов по вопросам образования категории I. Максимальное количество доступных контактных часов для продвинутого уровня непрерывного образования — 0.ID провайдера: 121739
• Примечание. Программа CHES / MCHES, запрашивающая контактные часы для продолжения образования (CECH), должна заполнить и пройти эту пост-аттестацию. Фонд эпилепсии ежеквартально (январь, апрель, июль и октябрь) сообщает о зачетных средствах непосредственно Национальной комиссии по санитарному просвещению, Inc. (NCHEC). CHES / MCHES должны проверить свою стенограмму NCHEC на предмет зачетных единиц в квартал, следующий за их посещением тренинга.