My recent exhibition “Silvano” (God of Forests) at Hay Festival Peru .The installation used sensors to track body movements to change sounds and effects in 3D space as well as AI using models trained on my own artwork to morph visitors into abstract organic and zoomorphic shapes from mythology of the forest as well as 3D field recordings of Amazonian wildlife: #touchdesigner #maxmsp #installationart #interactiveart #streamdiffusion #soundart #3DSound

Here's a lecture at MIT on Markov categories, symmetries, and generative AI, by Rob Cornish and myself.
https://youtu.be/ozN4zLEUCgs?feature=shared
#touchdesigner #streamdiffusion #bananas

#StreamDiffusion visuals controlled by emotes in #Twitch chat.

[Перевод] Обзор статьи “StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени”

StreamDiffusion — это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавление (sequential denoising) на более быстрый пакетный процесс и вводит параллельную очередь ввода-вывода для более плавной работы. В конвейере также используется новый метод Residual Classifier-Free Guidance (RCFG), позволяющий сократить количество этапов шумоподавления и повысить общую скорость работы. Кроме того, он включает стохастический фильтр сходства (Stochastic Similarity Filter) для повышения энергоэффективности. В целом StreamDiffusion может похвастаться 1,5-кратным ускорением обработки и 2,05-кратным увеличения скорости при использовании RCFG, достигая 91,07 кадров в секунду на графическом процессоре RTX4090. Кроме того, значительно снижается энергопотребление, что делает его более эффективным решением для генерации изображений в реальном времени.

https://habr.com/ru/companies/otus/articles/787484/