注释,注释: В данной статье исследуется полимодальное пространство в области вычислительной креативности у нейронных сетей. Объектом нашего исследования является полимодальная среда, которая объединяет в себе ряды разнородных кодов для выражения общей идеи, а предметом – возможность создания полимодального цифрового искусства с помощью текстового и голосового промта в генеративной сети Midjourney. Цель исследования – доказать, что вычислительная креативность у машин может быть обнаружена и описана по результатам итераций в процессе создания изображений, что в свою очередь позволит говорить о сложной полимодальной системе как об отдельной цифровой категории полимодальности. Задачи, которые решались в рамках данного исследования: 1) обоснование использования термина полимодальный в контексте вычислительной креативности в цифровом искусстве нейронных сетей; 2) проведение серии тестов с генеративной сетью Midjourney для возможности описания вербально-визуального контента; 3) анализ и выведение алгоритма создания изображения в условиях суммаризации данных и трансформационной креативности.  Нами был использован метод сплошной выборки при сборе языковых единиц по мере их встречаемости; контекстный анализ для систематического описания присутствующих вербальных и невербальных компонентах. Необходимо было провести эксперимент с генеративной сетью Midjourney для выявления закономерностей при создании графического пространства, а далее сравнить и сопоставить результаты итераций с оригинальным изображением. Научная новизна заключается в отсутствии исследований о полимодальном пространстве в контексте нейронных сетей и их генеративной способности. В ходе проведённого эксперимента нами были получены следующие результаты: термин «полимодальность» в контексте генеративной сети Midjourney и её «цифрового искусства» обусловлен наличием трёх каналов: вербального, визуального и голосового (звукового); тесты показали, что способность нейронной сети к созданию изображений посредством промта находится на высоком уровне, однако прослеживаются грубые технические ошибки в системе, которые не позволяют пользователям в полной мере приблизиться к желаемому результату при генерации изображения; суммаризация данных позволяет говорить о наличии черт вычислительной креативности у генеративных сетей, так как в ходе создания изображения возникают новые образы (идеи), ранее не предполагаемые пользователем.

Abstract: This article deals with the polymodal space in the field of computational creativity in neural networks. The object of research is a polymodal environment that integrates a series of heterogeneous codes to express a common idea, and the subject is the possibility of creating polymodal digital art using text and voice prompts in the generative network Midjourney. The aim of the study is to prove that computational creativity can be detected and described based on the results of iterations in the process of creating images, which in turn will allow us to talk about a complex polymodal system as a separate digital category of polymodality.
We used the continuous sampling method when collecting linguistic units as they occur in the analysis process; contextual analysis for the systematic identification and description of the verbal and non-verbal contexts. It was necessary to conduct an experiment with the generative network Midjourney to identify patterns in the creation of a graphic space through text and voice data input, and then compare and contrast the results of iterations with the original image.
The scientific novelty consists in the lack of research on the polymodal space in the context of neural networks and their generative ability. During the experiment, we obtained the following results: the term ‘polymodality’ in the context of the generative network Midjourney and its ‘digital art’ is due to the presence of three channels: verbal, visual and voice; tests have shown that the ability of the neural network to create images through prompt is at a high level, however, there are rough technical errors that do not allow users to fully approach the desired result when they generate an image; the summarization of the data allows us to talk about the presence of features of computational creativity in generative networks.

注释,注释: Предметом исследования является спонтанно генерируемый текст голосовым помощником Алиса при создании сказки вместе с пользователем, а объектом – трансформации структуры, сказочных формул и контекста в условиях подбора языковых элементов и смыслов с помощью технологии искусственного интеллекта. Особое внимание уделяется навыку «Давай придумаем», который стал доступен для пользователей весной 2023 года. Также отдельно рассматривается пространственно-временной континуум, который создаётся системой с самого начала создания сказки – в разделе «Команда», где пользователю предлагают выбрать героев из разных эпох, культур и вселенных (литературных, медиа). Столкновение и взаимодействие фольклорных канонов с реалиями XXI века порождают неоднозначную реакцию на интерактивную возможность побывать в роли сказителя вместе с голосовым помощником.  Основным методом исследования выступила сплошная выборка, которая использовалась для распределения шагов, этапов и действий при создании сказочного сюжета. Помимо этого использовались сравнительно-сопоставительный метод и контекстуальный анализ. Для получения данных и последующего анализа составляющих был проведён и описан лингвистический эксперимент с голосовой колонкой Алиса от компании Яндекс. Стремительное развитие нейросетевых языковых моделей позволяет нам говорить о научной новизне исследуемого материала, так как данная сфера является неизученной и слишком быстро модифицируется. Важно подчеркнуть, что до настоящего времени тексты спонтанно генерируемых сказок, их структурное членение и соответствие сказочных формул в них фольклорным канонами не были изучены. Основным выводом проведённого исследования можно обозначить то, что доля участия пользователя при создании сказки с голосовым помощником Алиса сильно преувеличена. Трансформации в сказочных формулах типа зачин и концовка – не обнаружены. Создание присказки невозможно, если следовать алгоритму сборки, заложенному в голосовом помощнике. Самая большая доля перестраивания в спонтанно генерируемом тексте приходится на логику повествования, искажение контекста и локализацию.

Abstract: The subject of the study is a spontaneously generated text by the voice assistant Alice when it is creating a fairy tale together with the user, and the purpose of the study is the transformation of the structure, fairy-tale formulas and context in terms of the selection of linguistic elements and meanings using artificial intelligence technology. Particular attention has focused on the skill "Let's make it up", which became available to users in the spring of 2023. The collision and interaction of folklore canons with the realities of the 21st century give rise to an ambiguous reaction to the interactive opportunity to play the role of a storyteller together with a voice assistant.
The main research method was a continuous sample, which was used to distribute the steps, stages and actions when it is creating a fairy-tale plot together with a voice assistant. In addition, methods such as comparative and contextual analyses were used to identify similarities and differences between traditional Russian fairy tales and a spontaneously generated fairy tale plot. To obtain the data and subsequent analysis of the components, a linguistic experiment with the voice assistant Alice from Yandex was conducted and described.
The rapid development of neural network language models allows us to talk about the scientific novelty of the material under study, since this area is unexplored and is being modified too quickly. It is important to emphasize that to date, the texts of spontaneously generated fairy-tale, their structural division and the correspondence of fairy-tale formulas in them to folklore canons have not been studied. The main conclusion of the study is that the user's share in creating a fairy tale with the voice assistant Alice is greatly exaggerated.

注释,注释: В статье описывается проведенный анализ «спонтанного» диалога двух российских и зарубежных голосовых систем. Исследование является актуальным, так как в настоящее время не изучены возможности коммуникации введения «спонтанного» диалога русскоязычными и зарубежными голосовыми системами. Объектом исследования стали две русскоязычные системы – Алиса компании Яндекс и голосовой ассистент приложения Сбербанк и англоязычные голосовые системы – Siri компании Apple и Google Assistant, в том числе их русскоязычные версии. Выбор обусловлен их популярностью у носителей русского языка, которая определялась по запросам данных голосовых помощников в сети Интернет. Период выборки составил с 1 января 2021 года по 20 декабря 2022 года. Русскоязычные и англоязычные голосовые системы были выбраны методом сплошной выборки. В статье делаются выводы в том числе и о коммуникативных возможностях русскоязычных голосовых систем и зарубежных аналогов с встроенной функцией перевода на русский язык. Научной новизной является анализ «спонтанной» диалогической речи и анализ её соответствия нормам современного русского языка. В конце статьи подводятся итоги анализа зарубежных небольшим количеством вариантов фраз и выражений для генерации ответа пользователю на основании материалов из корпуса русского языка. Также, не редко выявляются черты машинного перевода в зарубежных голосовых аналогах в отличие от русскоязычных голосовых помощников.

Abstract: The article describes the analysis of the "spontaneous" dialogue of two Russian and foreign voice systems. The study is relevant because the possibilities of communication of the introduction spontaneously dialogue between Russian-speaking and foreign voice systems have not been studied by now. The objects of research have become two Russian-speaking systems – Alice by Yandex, voice assistant application by Sberbank; two English voice systems – Siri by Apple Ink and Google Assistant, including their Russian version. The choice is due to their popularity among native speakers of the Russian language, which was determined by the requests of these voice assistants on the Internet. The sampling period was from January 1, 2021 to December 20, 2022. Russian-speaking and English-speaking voice systems were selected by a continuous sampling method. The article draws conclusions, including about the communicative capabilities of Russian-speaking voice systems and foreign analogues with a built-in translation function into Russian. The scientific novelty is the analysis of "spontaneous" dialogic speech and the analysis of its compliance with the norms of the modern Russian language. At the end of the article there are results of the analysis of foreign phrases and expressions with a small number of variants are summarized to generate a response to the user based on materials from the corpus of the Russian language. Also, it is not uncommon to identify features of machine translation in foreign voice analogues, unlike Russian-speaking voice assistants.