Джон Янч (00:00): Эй, вы знали, что приближается ежегодная входящая конференция HubSpot?Это верно. Он будет в Бостоне с 5 по 8 сентября. Каждый год входящий поток объединяет лидеров в области бизнеса, продаж, маркетинга, успеха клиентов, операций и многого другого. Вы сможете узнать обо всех последних тенденциях и тактиках, которые вы действительно можете применить для устойчивого масштабирования своего бизнеса. Вы можете учиться у отраслевых экспертов и вдохновляться невероятными талантами. В этом году появятся такие звезды, как Риз Уизерспун, Дерек Джетер, Гай Раз. Посетите inbound.com и получите свой билет сегодня. Вы не пожалеете. Эта программа гарантированно вдохновит и перезарядит. Это верно. Перейдите на inbound.com, чтобы получить билет сегодня.

(01:03): Привет и добро пожаловать в очередной выпуск маркетингового подкаста Duct Tape.Это Джон Янч. Мой гость сегодня - Кеннет Венгер. Он писатель, научный сотрудник Университета Торонто Метрополитен и технический директор компании Squint AI Inc. Его исследовательские интересы лежат на пересечении людей и машин, гарантируя, что мы строим будущее на основе ответственного использования технологий. Сегодня мы поговорим о его книге «Алгоритм замышляет против нас?»: «Руководство для неспециалистов по концепциям, математике и ловушкам ИИ». Итак, Кен, добро пожаловать на шоу.

Кеннет Венгер (01:40): Привет, Джон.Большое спасибо. Спасибо, что пригласили меня.

Джон Янч (01:42): Итак, мы поговорим о книге, но мне просто любопытно, что делает Squint AI?

Кеннет Венгер (01:47): Отличный вопрос.Итак, squint ai, гм, это компания, которую мы создали, чтобы, гм, провести некоторые исследования и разработать платформу, которая позволит нам, гм,

(02:00): Делайте, делайте ИИ более ответственным, ммм, способом.Хорошо. Хорошо. Итак, я уверен, что мы углубимся в это, но я коснусь этого, э-э, во многих случаях в книге, где мы говорим об, э-э, ИИ, этическом использовании ИИ, некоторых из падения ай. Итак, что мы делаем с Squint, так это пытаемся выяснить, знаете ли, как мы пытаемся создать среду, которая позволит нам использовать ИИ таким образом, который позволит нам понять, когда эти алгоритмы не работают. в своих лучших проявлениях, когда они делают ошибки и так далее. Ага,

Джон Янч (02:30): Да.Итак, название вашей книги — «Алгоритм построения против», это немного провокационный вопрос. Я имею в виду, очевидно, я уверен, что есть люди, которые говорят «нет». , а некоторые говорят, ну, абсолютно. Так зачем же тогда задавать вопрос?

Кеннет Венгер (02:49): Ну, потому что я, я на самом деле чувствую, что этот вопрос задают многие разные люди с разным смыслом.Верно? То есть это почти то же самое, что и вопрос о том, представляет ли ИИ угрозу существованию? Я, я, это вопрос, который означает разные вещи для разных людей. Верно. Так что я хотел углубиться в это в книге и попытаться сделать две вещи. Во-первых, предложите людям инструменты, чтобы они могли сами разобраться в этом вопросе, правильно. И сначала выясните, как, где они стоят в этих дебатах, а затем, во-вторых, вы знаете, попутно выскажите свое мнение.

Джон Янч (03:21): Да, да.И я, наверное, не так элегантно задал этот вопрос, как хотелось бы. Я на самом деле думаю, что это здорово, что вы задаете вопрос, потому что в конечном итоге мы пытаемся позволить людям принимать собственные решения, а не говорить, что это верно для ИИ, или это не так для ИИ. . Верно.

Кеннет Венгер (03:36): Верно.Это верно. И, и, и снова, особенно потому, что это нюансная проблема. Ага. И это означает разные вещи для разных людей.

Джон Янч (03:44): Итак, это действительно сложный вопрос, но я хочу спросить вас, знаете, где мы на самом деле находимся в континууме ИИ?Я имею в виду, что люди, занимающиеся этой темой в течение многих лет, понимают, что она встроена во многие вещи, которые мы используем каждый день и принимаем как должное. говорящий словарь того, что это такое. Но я помню, вы знаете, я был, я был, у меня был свой бизнес 30 лет. Я имею в виду, у нас не было Интернета , у нас не было веб-сайтов, вы знаете, у нас не было мобильных устройств, которые, безусловно, сейчас играют определенную роль, но я помню, как каждый из них появлялся, люди думали: «О, мы обречены». Все кончено . Верно. Итак, в настоящее время существует множество подобных языков, окружающих ИИ, но как вы думаете, где мы на самом деле находимся в континууме эволюции?

Кеннет Венгер (04:32): Вы знаете, это отличный вопрос, потому что я думаю, что мы на самом деле очень рано.Ага. Я думаю, вы знаете, мы добились значительного прогресса за очень короткий период времени, но я думаю, что мы все еще находимся на очень ранней стадии. Вы знаете, если вы думаете об ИИ, где мы сейчас находимся, мы были десять лет назад, мы добились определенного прогресса. Но я думаю, в основном, на научном уровне, мы только начали царапать поверхность. Я приведу вам несколько примеров. Итак, изначально, вы знаете, первые модели, они действительно давали нам некоторое доказательство того, что этот новый способ постановки вопросов, вы знаете, по сути, нейронные сети. Ага-ага. Верно. Это очень сложные уравнения. Ну, если вы используете графические процессоры для выполнения этих сложных уравнений, тогда мы действительно сможем решать довольно сложные задачи. Это то, что мы поняли примерно в 2012 году, а затем примерно в 2017 году, поэтому между 2012 и 2017 годами прогресс был очень линейным.

(05:28): Вы знаете, были созданы новые модели, предложены новые идеи, но все масштабировалось и развивалось очень линейно.Но после 2017 года, с введением модели под названием Transformer, которая является базовой архитектурой для чата, g, pt и всех этих больших языковых моделей, у нас появилась другая реализация. Именно тогда мы поняли, что если вы возьмете эти модели и увеличите их масштаб с точки зрения размера модели и размера набора данных, которые мы использовали для их обучения, они станут экспоненциально лучше. Хорошо. И именно тогда мы подошли к тому моменту, где мы находимся сегодня, где мы поняли, что, просто масштабируя их, опять же, мы не сделали ничего принципиально другого с 2017 года. Все, что мы сделали, это увеличили размер модели, увеличили размер набора данных, и они становятся экспоненциально лучше.

Джон Янч (06:14): Значит, умножение, а не сложение?

Кеннет Венгер (06:18): Ну да, именно так.Ага. Значит, это не так, прогресс был экспоненциальным, не только по линейной траектории. Ага. Но я думаю, но опять же, тот факт, что мы не сильно изменились в этих моделях, очень скоро сойдет на нет. Это мое ожидание. И где мы сейчас на временной шкале? Какой был ваш первоначальный вопрос. Я думаю, если вы думаете о том, что модели делают сегодня, они делают очень элемент. По сути, они делают очень простую статистику. М-м-м. , это не идея того, что эти модели называются искусственным интеллектом. Верно. Я думаю, что это немного неправильное иногда. Я согласен. И это приводит к некоторым вопросам, которые возникают у людей. Хм, потому что там не так уж много похоже на глубокий интеллект, это просто статистическое моделирование, и очень простое. И затем, куда мы идем отсюда и каким, я надеюсь, будет будущее, вот когда мы начнем, я думаю, что все резко изменится, когда мы начнем получать модели, которые способны не просто, не просто делать простую статистику, но способны понять контекст того, чего они пытаются достичь. Ага. И способны понять, вы знаете, правильный ответ, а также неправильный ответ. Так, например, они, они, они, они могут знать, когда они говорят о вещах, которые они знают, и когда они как бы обходят эту серую область вещей, о которых они на самом деле не знают. Имеет ли это смысл? Ага,

Джон Янч (07:39): Абсолютно.Я имею в виду, что я полностью согласен с вами насчет искусственного интеллекта. На самом деле я называл это ia. Я думаю, что это больше информированная автоматизация. вроде как я смотрю на это, по крайней мере, в моей работе. Вы видите день, когда, вы знаете, подсказки задают вопросы, вы знаете, это своего рода уличное использование ИИ, если хотите, для многих людей. Вы видите день, когда он начнет задавать вам вопросы в ответ? Мол, зачем тебе это знать? Или чего вы пытаетесь достичь, задавая этот вопрос?

Кеннет Венгер (08:06): Да.Итак, простой ответ - да. Я, я определенно знаю. И я думаю, что это часть того, на что будет похоже достижение более высокого уровня интеллекта. Это когда они не просто делают ваши ставки, это не просто инструмент. Ага-ага. Ух, но у них как бы есть своя цель, которую они пытаются достичь. И тогда вы увидите, что такие вещи, как вопросы, по сути, возникают из системы, верно? Это когда у них есть цель, которую они хотят достичь, то есть, знаете ли, и затем они придумывают план достижения этой цели. Вот когда вы можете увидеть появление таких вещей, как вопросы к вам. Я не думаю, что мы еще там, но да, я думаю, что это, безусловно, возможно.

Джон Янч (08:40): Но ведь это же и научно-фантастическая версия?Я имею в виду, когда люди начинают говорить, знаете, фильмы, это типа: нет, нет, Кен, ты еще не узнаешь эту информацию. Я решу, когда ты это узнаешь .

Кеннет Венгер (08:52): Ну, ты прав.Я имею в виду, вопрос, то, как вы задали вопрос, было больше похоже на то, возможно ли это в принципе? Я думаю абсолютно. Да. Ага. Хотим ли мы этого? Я имею в виду, я, я не знаю. Я думаю, это часть, да, это зависит от того, о каком варианте использования мы думаем. Э-э, но с точки зрения первого принципа Да, это, безусловно, возможно. Ага. Не получить модель для

Джон Янч (09:13): Сделай это.Итак, я думаю, что есть десятки и десятки людей, которые понимают ИИ только тогда, когда я иду в это место, где у него есть коробка, и я набираю вопрос, а он выдает ответ. Поскольку в названии у вас есть и непрофессионал, и математика, не могли бы вы дать нам своего рода версию непрофессионала о том, как это делается?

Кеннет Венгер (09:33): Да, абсолютно.Ну, по крайней мере, я попытаюсь, скажем так, , когда несколько минут назад, когда я упомянул, что эти модели, по сути, являются очень простыми статистическими моделями. Это само по себе, эта фраза, это немного, это спорно, потому что, в конце концов, мы не знаем, какой у нас интеллект, верно? Итак, если вы думаете о нашем интеллекте, мы не знаем, являемся ли мы на каком-то уровне статистической моделью, верно? Однако сегодня я имею в виду, что ИИ в больших языковых моделях, таких как ChatGPT, является простыми статистическими моделями, что я имею в виду под этим то, что они выполняют очень простую задачу. Итак, если вы думаете о ChatGPT, то они пытаются, по сути, предсказать следующее лучшее слово в последовательности. Это все, что они делают. Словом, то, как они это делают, заключается в том, что они вычисляют то, что называется распределением вероятностей.

(10:31): Таким образом, в основном для любого слова в a, в a, в подсказке или в корпусе текста они вычисляют вероятность того, что слово принадлежит этой последовательности.Верно? И затем они выбирают следующее слово с наибольшей вероятностью быть там правильным. Хорошо? Это очень простая модель в следующем смысле. Если подумать о том, как мы общаемся, верно? Знаешь, у нас сейчас разговор. Я думаю, когда вы задаете мне вопрос, я делаю паузу и думаю о том, что собираюсь сказать, верно? Итак, у меня есть модель мира, и у меня есть цель в этом разговоре. Я придумываю, что я хочу ответить, а затем использую свою способность произносить слова и произносить их, чтобы передать это вам. Верно? Возможно, в моем мозгу есть система, которая работает очень похоже на большую языковую модель, в том смысле, что как только я начинаю произносить слова, следующее слово, которое я собираюсь произнести, является наиболее вероятным. чтобы быть правильным, учитывая слова, которые я только что сказал.

(11:32): Вполне возможно.Это правда. Однако отличие состоит в том, что, по крайней мере, у меня уже есть план того, что я собираюсь сказать в каком-то скрытом пространстве. Я уже закодировал в какой-то форме. Что я хочу донести, как я это говорю, что способность профессионала произносить эти слова может быть очень похожа на языковую модель. Но разница в том, что большая языковая модель пытается выяснить, что она собирается сказать, и в то же время придумывает эти слова. М-м-м. , верно? Имеет ли это смысл? Так что это немного похоже на то, что они болтают, и иногда, если они говорят слишком долго, они бродят по бессмысленной территории. Ага. Ага. Потому что они не знают, что собираются сказать, пока не скажут. . Ага. Итак, это очень фундаментальная разница. Ага.

Джон Янч (12:20): Я, я, я, конечно, видел довольно интересные результаты в этом направлении.Но, вы знаете, когда я слышал, как вы об этом говорили, я имею в виду, что во многом это то, что мы делаем, мы запрашиваем базу данных того, чему нас учили, это, слова, которые мы знать в дополнение к понятиям, которые мы изучили, э-э, и в состоянии сформулировать. Я имею в виду, что в некотором смысле мы спрашиваем об этом меня, подсказывая или я тоже задаю вам вопрос, я имею в виду, что это работает аналогично. Не могли бы вы сказать

Кеннет Венгер (12:47): Аспект постановки вопроса и последующего ответа на него похож, но отличается концепция, которую вы пытаетесь описать.Так что, опять же, когда вы задаете мне вопрос, я думаю об этом и придумываю, так что у меня опять же есть модель мира, которая до сих пор работает для меня, чтобы вести меня по жизни, верно? И эта модель мира позволяет мне по-разному понимать разные концепции. И когда я собираюсь ответить на ваш вопрос, я думаю об этом, формулирую ответ, а затем придумываю способ сообщить об этом вам. Хорошо? Этот шаг отсутствует в том, что делают эти языковые модели, верно? Они получают подсказку, но нет шага, на котором они формулируют ответ с какой-то целью, верно? Верно? Да. Какая-то цель. По сути, они получают текст и пытаются сгенерировать последовательность слов, которые вычисляются по мере их создания, верно? Нет окончательного плана. Итак, это очень фундаментальная разница.

Джон Янч (13:54): А теперь давайте послушаем слово нашего спонсора, Marketing Made Simple.Это подкаст, организованный доктором Дж. Дж. Петерсоном и представленный вам сетью подкастов HubSpot, аудио-направлением для бизнес-профессионалов, упрощающих маркетинг, дает вам практические советы, которые сделают ваш маркетинг простым и, что более важно, заставят его работать. А в недавнем выпуске Джей Джей и Эйприл беседуют с сертифицированными гидами StoryBrand и владельцами агентств о том, как использовать ChatGPT в маркетинговых целях. Все мы знаем, как это важно сегодня. Слушайте маркетинг Made Simple. Где бы вы ни получали свои подкасты.

(14:30): Эй, владельцы маркетинговых агентств, вы знаете, я могу научить вас тому, как удвоить свой бизнес всего за 90 дней или вернуть ваши деньги.Звучит интересно. Все, что вам нужно сделать, это лицензировать наш трехэтапный процесс, который позволит вам сделать ваших конкурентов неактуальными, взимать дополнительную плату за свои услуги и масштабироваться, возможно, без дополнительных накладных расходов. И вот лучшая часть. Вы можете лицензировать всю эту систему для своего агентства, просто приняв участие в предстоящей интенсивной сертификации агентства. Зачем создавать колесо? Используйте набор инструментов, на создание которых у нас ушло более 20 лет. И вы можете получить их сегодня, проверьте это на dtm.world/certification. Это всемирная слэш-сертификация DTM.

(15:18): Мне действительно нравится то, что ждет нас в будущем, но я хочу остановиться на паре вещей, в которые вы углубляетесь в книге.Что, знаете ли, кроме страха, распространяемого средствами массовой информации? Каковы настоящие и очевидные подводные камни, связанные с использованием ИИ?

Кеннет Венгер (15:38): Я думаю, что самая большая проблема, и одна из, я имею в виду, настоящая мотивация для меня, когда я начал писать книгу, заключается в том, что это мощный инструмент по двум причинам.Казалось бы, им очень легко пользоваться, не так ли? Ага. Вы можете провести выходные, изучая Python, вы можете написать несколько строк, и вы можете преобразовать, вы можете проанализировать, вы можете разобрать данные, которые вы раньше не могли, просто используя библиотеку. Так что вам на самом деле не нужно понимать, что вы делаете, и вы можете получить некоторый результат, который выглядит полезным, хорошо? М-м-м. , но нагревание в этом процессе, верно? Тот факт, что вы можете взять много данных, большие объемы данных, каким-то образом изменить их и получить ответ, получить какой-то результат, не понимая, что происходит в середине, имеет огромные последствия для непонимания результатов, которые вы получаете. , верно? И затем, если вы используете эти инструменты в мире, верно?

(16:42): В, в, таким образом, что это может повлиять на других людей.Например, вы знаете, скажем, вы работаете в финансовом учреждении и, и, и, и вы придумали модель, чтобы выяснить, э-э, кому вы должны, кому вы должны отдать должное, получить, вы знаете, одобрение для, для кредита для кредитной линии, и кто вы не должны. Сейчас, прямо сейчас, у банков есть свои собственные модели, но, конечно, если убрать из этого ИИ, традиционно эти модели продумываются статистиками, и они могут ошибаться время от времени, но, по крайней мере, у них есть большой картина того, что это значит, вы знаете, анализировать данные, предвзято относиться к данным, верно? Каковы последствия предвзятости в данных? Как избавиться от всех этих вещей — это то, чему должен быть обучен хороший статистик. Но теперь, если вы уберете статистиков, потому что любой может использовать модель для анализа данных и получения прогноза, то в конечном итоге вы откажете и одобрите кредитные линии для людей, которые, как вы знаете, с последствиями, которые могут быть , понимаете, из-за очень негативной предвзятости в данных, верно?

(17:44): Например, это может повлиять на определенную часть населения, ну, негативно.Может быть, есть люди, которые больше не могут получить кредитную линию только потому, что живут в определенном районе, м-м-м. , или они, вы знаете, есть много причин, почему это может быть проблемой,

Джон Янч (17:57): Но раньше это не было фактором?Я имею в виду, конечно, районы считаются , знаете, в рамках, знаете, даже в аналоговых моделях, я думаю.

Кеннет Венгер (18:06): Да, абсолютно.Итак, как я уже сказал, у нас всегда были проблемы с предвзятостью, верно? В данных, да? Но традиционно, вы надеетесь, что произойдет две вещи. Во-первых, можно надеяться, что тот, кто придумает модель, просто потому, что это сложная задача, должен иметь удовлетворительную статистическую подготовку. Ага. Верно? И этический статистик должен был бы подумать, как бороться с предвзятостью в данных, верно? Так что это номер один. Во-вторых, проблема, с которой мы сейчас сталкиваемся, заключается в том, что, во-первых, вам не нужно принимать это готовое решение. Вы можете просто использовать модель, не понимая, что происходит, верно? Верно. И еще хуже то, что с этими моделями мы на самом деле не можем понять, как, или традиционно очень трудно понять, как появилась модель или предсказание. Так что, если вам откажут либо в кредитной линии, либо как, как я говорю в книге о залоге, например, в, в судебном деле, эээ, очень сложно, возразить, ну зачем мне? Почему, почему мне было отказано в этом? И затем, если вы снова пройдете процесс аудита с традиционным подходом, когда у вас есть решение, вы всегда можете спросить, а как вы это смоделировали? А почему этому человеку было отказано в этом конкретном деле в ходе аудита? М-м-м. например, с нейронной сетью, это становится намного сложнее.

Джон Янч (19:21): Итак, я имею в виду, что вы говорите, одна из первоначальных проблем заключается в том, что люди полагаются на результат, данные.Я имею в виду, даже, вы знаете, я использую его очень простым способом. Я руковожу маркетинговой компанией, и мы используем ее много раз, чтобы дать нам идеи для копирования, дать нам идеи для заголовков, вы знаете, для чего-то. Так что я действительно не чувствую, что там есть какая-то реальная опасность, кроме того, что, может быть, звучит как все остальные. в вашем экземпляре. Э, но, но вы говорите, что, когда люди начинают полагаться на них при принятии решений, которые должны быть обоснованными, прогнозы часто оказываются неверными.

Кеннет Венгер (19:57): Да.И, и там очень, так что ответ да. На то есть две причины. И кстати, позвольте мне вернуться, чтобы сказать, что есть случаи использования, когда, конечно, вы должны думать об этом как о спектре, верно? Вроде да, да. Есть случаи, когда последствия того, что что-то не так, хуже, чем в других случаях, верно? Итак, как вы говорите, если вы пытаетесь создать какую-то копию, и вы знаете, что это бессмысленно, тогда вы просто идете вперед и меняете ее. И в конце концов, вы, вероятно, все равно его пересмотрите. Таким образом, это более низкая, вероятно, более низкая стоимость. Цена ошибки там будет ниже, чем в случае, знаете ли, использования модели в, например, в судебном процессе. Верно? Верно. Верно. Теперь, что касается того факта, что эти модели иногда допускают ошибки, причина этого в том, что эти модели на самом деле работают так, что они, и часть, которая может быть обманчивой, заключается в том, что они, как правило, действительно хорошо работают для области данных, которые они понимают очень хорошо.

(20:56): Итак, если вы думаете о наборе данных, верно?Итак, они обучены использованию набора данных для большей части данных в этом наборе данных, они смогут очень хорошо его моделировать. Вот почему вы получаете модели, которые работают, скажем, с точностью до 90% для определенного набора данных. Проблема в том, что для тех 10%, где они не могут моделировать по-настоящему хорошо, ошибки настолько значительны, что человек не смог бы их совершить. Ага. Итак, что происходит в тех случаях, когда, во-первых, когда мы обучаем эти модели, которые мы получаем, мы говорим, ну, вы знаете, мы получаем 10% ошибок в этом конкретном наборе данных. Одна проблема заключается в том, что когда вы запускаете это в производство, вы не знаете, что частота возникновения этих ошибок будет такой же в реальном мире, верно?

(21:40): Вы можете оказаться в ситуации, когда вы получаете те точки данных, которые приводят к ошибкам с гораздо большей скоростью, чем в вашем наборе данных.Всего одна проблема. Вторая проблема заключается в том, что если, если вы находитесь в случае использования, если ваше производство, вы знаете, приложение, это такое, где ошибка может быть оценена, как, скажем, в случае медицинского использования или в автономном вождении, когда вы должны вернуться и объяснить, почему вы сделали что-то не так, почему модель сделала что-то не так, и это так причудливо отличается от того, что человек сделал бы неправильно. Это одна из основных причин, по которой сегодня эти системы не развертываются в областях, критически важных для безопасности. И, кстати, одна из фундаментальных причин, по которой мы создали шину, состоит в том, чтобы решать именно эти проблемы, чтобы выяснить, как мы можем создать набор моделей или систему, которая способна понять, когда модели делают все правильно и когда они ошибаются во время выполнения. Потому что я действительно думаю, что это одна из фундаментальных причин, почему мы не продвинулись так сильно, как должны были бы на данный момент. Это потому, что когда модели работают очень хорошо, когда они могут моделировать данные, тогда они работают отлично. Но для случаев, когда они не могут смоделировать этот раздел данных, ошибки просто невероятны, верно? Это вещи, которые люди никогда бы не сделали такого рода.

Джон Янч (23:00): Ошибка.Да, да, да. И, и, очевидно, вы знаете, что это, безусловно, должно быть решено, прежде чем кто-либо доверится отправке, вы знаете, космического корабля, управляемого ИИ или чем-то в этом роде, верно? Я имею в виду, когда вы знаете, что человеческая жизнь находится в опасности, вы должны доверять. И поэтому, если вы не можете доверять этому принятию решений, я полагаю, это определенно удержит людей от использования технологии.

Кеннет Венгер (23:24): Верно?Или использовать их, например, для помощи, как я уже говорил, в медицинских областях, например, в диагностике рака, верно? Если вы хотите, чтобы модель могла обнаруживать определенные виды рака, скажем, на основании результатов биопсии, вы должны доверять модели. Теперь что угодно, любая модель, по существу, вы знаете, она будет делать ошибки. Ничто никогда не бывает идеальным, но вы хотите, чтобы произошли две вещи. Во-первых, вы хотите свести к минимуму типы ошибок, которые может допустить модель, и вам нужно иметь некоторое представление о том, что качество прогноза модели невелико. Ты не хочешь этого. Ага. И во-вторых, если произошла ошибка, вы должны быть в состоянии доказать, что причина ошибки в том, что качество данных было таким, что даже человек не смог бы сделать лучше. Ага. Мы не можем допустить, чтобы модели совершали ошибки, на которые врач-человек посмотрел бы и сказал: ну, это явно да, неправильно.

Джон Янч (24:15): Да.Ага. Абсолютно. Что ж, Кен, я хочу, эм, я хочу поблагодарить тебя за то, что ты нашел минутку, чтобы заглянуть на Подкаст по маркетингу клейкой ленты. Вы хотите сказать людям, где они могут найти, связаться с вами, если хотите, и затем, очевидно, где они могут получить экземпляр книги «Алгоритм замышляет против нас»?

Кеннет Венгер (24:29): Абсолютно.Спасибо большое, прежде всего за то, что вы у меня есть. Это был отличный разговор. Так что да, вы можете связаться со мной в LinkedIn и с полицейским, чтобы получить копию книги и получить ее как на Amazon, так и на веб-сайте нашего издателя, он называется work fires.org.

Джон Янч (24:42): Круто.Что ж, еще раз спасибо за решение путем отличной беседы. Надеюсь, мы, может быть, столкнемся с вами на днях там на дороге.

Кеннет Венгер (24:49): Спасибо.

Джон Янч (24:49): Эй, и еще кое-что напоследок, прежде чем ты уйдешь.Вы знаете, как я говорю о маркетинговой стратегии, стратегии перед тактикой? Ну, иногда может быть трудно понять, где вы находитесь, что нужно сделать в отношении создания маркетинговой стратегии. Поэтому мы создали для вас бесплатный инструмент. Это называется оценка маркетинговой стратегии. Вы можете найти это @marketingassessment.co, а не .com, точка co. Ознакомьтесь с нашей бесплатной маркетинговой оценкой и узнайте, на каком этапе своей стратегии вы находитесь сегодня. Это всего лишь маркетинговая оценка. Я хотел бы поговорить с вами о результатах, которые вы получаете.