Sarah Lea<p>Can you remember learning to walk as a baby? You didn’t read a manual. Neither does an AI agent.</p><p>Reinforcement Learning (RL) isn’t about knowing the correct answer.<br>It’s about learning through trial and error, by interacting with an environment & receiving feedback.</p><p>That’s how AlphaGo defeated a world champion:<br>It first learned from expert games. Then it played against itself, millions of times, using RL to get better with each game. That’s how it mastered Go.</p><p><a href="https://techhub.social/tags/machinelearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>machinelearning</span></a> <a href="https://techhub.social/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ai</span></a> <a href="https://techhub.social/tags/ki" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ki</span></a> <a href="https://techhub.social/tags/google" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>google</span></a> <a href="https://techhub.social/tags/reinforcementlearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>reinforcementlearning</span></a> <a href="https://techhub.social/tags/alphago" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>alphago</span></a> <a href="https://techhub.social/tags/datascience" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>datascience</span></a> <a href="https://techhub.social/tags/datascientist" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>datascientist</span></a></p>
#alphago
0 posts0 participants0 posts today
People continue to think about #AI in terms of #2010s computing, which is part of the reason everyone gets it wrong whether they're #antiAI or #tech bros.
Look, we had 8GB of #ram as the standard for a decade. The standard was set in 2014, and in 2015 #AlphaGo beat a human at #Go.
Why? Because, #hardware lags #software - in #economic terms: supply follows demand, but demand can not create its own supply.
It takes 3 years for a new chip to go through the #technological readiness levels and be released.
It takes 5 years for a new #chip architecture. E.g. the #Zen architecture was conceived in 2012, and released in 2017.
It takes 10 years for a new type of technology, like a #GPU.
Now, AlphaGo needed a lot of RAM, so how did it stagnate for a decade after doubling every two years before that?
In 2007 the #Iphone was released. #Computers were all becoming smaller, #energy #efficiency was becoming paramount, and everything was moving to the #cloud.
In 2017, most people used their computer for a few applications and a web browser. But also in 2017, companies were starting to build #technology for AI, as it was becoming increasingly important.
Five years after that, we're in the #pandemic lockdowns, and people are buying more powerful computers, we have #LLM, and companies are beginning to jack up the const of cloud services.
#Apple releases chips with large amounts of unified #memory, #ChatGPT starts to break the internet, and in 2025, GPU growth continues to outpace CPU growth, and in 2025 you have a competitor to Apple's unified memory.
The era of cloud computing and surfing the #web is dead.
The hype of multi-trillion parameter #LLMs making #AGI is a fantasy. There isn't enough power to do that, there aren't enough chips, it's already too expensive.
What _is_ coming is AI tech performing well and running locally without the cloud. AI Tech is _not_ just chatbots and #aiart. It's going to change what you can do with your #computer.
Oops, I think I've gone a bit too deep into the #AI rabbit hole today 
(a thread 
):
Did you know why AI systems like #AlphaGo or #AlphaZero performed so well?
It was because of their _objective function_:
-1 for loosing, +1 for winning ¯\_(ツ)_/¯
Why Artificial Intelligence Like AlphaZero Has Trouble With the Real World (February 2018)
Try to design an objective function for a self-driving car...
1/3
Quanta Magazine · Why Artificial Intelligence Like AlphaZero Has Trouble With the Real World | Quanta MagazineThe latest artificial intelligence systems start from zero knowledge of a game and grow to world-beating in a matter of hours. But researchers are struggling to apply these systems beyond the arcade.
What do a baby learning to walk and AlphaGo’s legendary Move 37 have in common?
They both learn by doing — not by being told.
That’s the essence of Reinforcement Learning.
It's great to see that my article on Q-learning & Python agents was helpful to many readers and was featured in this week's Top 5 by Towards Data Science. Thanks! 
And make sure to check out the other four great reads too.
-> https://www.linkedin.com/pulse/whats-our-reading-list-week-towards-data-science-dcihe
www.linkedin.com✨ What's on our reading list this week?Curious what's resonating in AI, ML, and data this week? From Q-learning and JAX to synthetic data and career shifts, here are 5 standout reads from the TDS community this week. 🧠 Top 5 Articles of the Week 👉 The Best AI Books & Courses for Getting a Job by Egor Howell 👉 Reinforcement Learning Ma
Did you know machine learning algorithms can teach themselves to play video games just by practicing? AI like DeepMind’s AlphaGo and OpenAI’s Dota 2 bot have even beaten top human players by learning and adapting on their own—showing how powerful and creative AI can be!
What does a baby learning to walk have in common with AlphaGo’s Move 37?
Both learn by doing — not by being told.
That’s the essence of Reinforcement Learning.
In my latest article, I explain Q-learning with a bit Python and the world’s simplest game: Tic Tac Toe.
-> No neural nets.
-> Just some simple states, actions, rewards.
The result? A learning agent in under 100 lines of code.
Perfect if you are curious about how RL really works, before diving into more complex projects.
Concepts covered: ε-greedy policy Reward shaping Value estimation Exploration vs. exploitation
Read the full article on Towards Data Science → https://towardsdatascience.com/reinforcement-learning-made-simple-build-a-q-learning-agent-in-python/
Towards Data Science · Reinforcement Learning Made Simple: Build a Q-Learning Agent in Python | Towards Data ScienceInspired by AlphaGo’s Move 37 — learn how agents explore, exploit, and win
Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект
Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»). Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины.
https://habr.com/ru/companies/ruvds/articles/892646/
#Илья_Суцкевер #Ilya_Sutskever #OpenAI #10x_engineer #AlexNet #Safe_Superintelligence #ImageNet #неокогнитрон #GPU #GPGPU #CUDA #компьютерное_зрение #LeNet #Nvidia_GTX 580 #DNNResearch #Google_Brain #Алекс_Крижевски #Джеффри_Хинтон #Seq2seq #TensorFlow #AlphaGo #Томаш_Миколов #Word2vec #fewshot_learning #машина_Больцмана #сверхинтеллект #GPT #ChatGPT #ruvds_статьи
ХабрВедущий разработчик ChatGPT и его новый проект — Безопасный СверхинтеллектМногие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А...
#ACMPrize
#2024ACMPrize
#ACMTuringAward
» #ReinforcementLearning
An Introduction
1998
standard reference...cited over 75,000
...
prominent example of #RL
#AlphaGo victory
over best human #Go players
2016 2017
....
recently has been the development of the chatbot #ChatGPT
...
large language model #LLM trained in two phases ...employs a technique called
reinforcement learning from human feedback #RLHF «
aka cheap labor unnamed in papers
https://awards.acm.org/about/2024-turing
2/2
awards.acm.orgAndrew Barto and Richard Sutton are the recipients of the 2024 ACM A.M. Turing Award for developing the conceptual and algorithmic foundations of reinforcement learning.Andrew Barto and Richard Sutton as the recipients of the 2024 ACM A.M. Turing Award for developing the conceptual and algorithmic foundations of reinforcement learning. In a series of papers beginning in the 1980s, Barto and Sutton introduced the main ideas, constructed the mathematical foundations, and developed important algorithms for reinforcement learning—one of the most important approaches for creating intelligent systems.
Pequeños y grandes pasos hacia el imperio de la inteligencia artificial
Fuente: Open TechTraducción de la infografía:
- 1943 – McCullock y Pitts publican un artículo titulado Un cálculo lógico de ideas inmanentes en la actividad nerviosa, en el que proponen las bases para las redes neuronales.
- 1950 – Turing publica Computing Machinery and Intelligence, proponiendo el Test de Turing como forma de medir la capacidad de una máquina.
- 1951 – Marvin Minsky y Dean Edmonds construyen SNAR, la primera computadora de red neuronal.
- 1956 – Se celebra la Conferencia de Dartmouth (organizada por McCarthy, Minsky, Rochester y Shannon), que marca el nacimiento de la IA como campo de estudio.
- 1957 – Rosenblatt desarrolla el Perceptrón: la primera red neuronal artificial capaz de aprender.
(!!) Test de Turing: donde un evaluador humano entabla una conversación en lenguaje natural con una máquina y un humano.
- 1965 – Weizenbaum desarrolla ELIZA: un programa de procesamiento del lenguaje natural que simula una conversación.
- 1967 – Newell y Simon desarrollan el Solucionador General de Problemas (GPS), uno de los primeros programas de IA que demuestra una capacidad de resolución de problemas similar a la humana.
- 1974 – Comienza el primer invierno de la IA, marcado por una disminución de la financiación y del interés en la investigación en IA debido a expectativas poco realistas y a un progreso limitado.
- 1980 – Los sistemas expertos ganan popularidad y las empresas los utilizan para realizar previsiones financieras y diagnósticos médicos.
- 1986 – Hinton, Rumelhart y Williams publican Aprendizaje de representaciones mediante retropropagación de errores, que permite entrenar redes neuronales mucho más profundas.
(!!) Redes neuronales: modelos de aprendizaje automático que imitan el cerebro y aprenden a reconocer patrones y hacer predicciones a través de conexiones neuronales artificiales.
- 1997 – Deep Blue de IBM derrota al campeón mundial de ajedrez Kasparov, siendo la primera vez que una computadora vence a un campeón mundial en un juego complejo.
- 2002 – iRobot presenta Roomba, el primer robot aspirador doméstico producido en serie con un sistema de navegación impulsado por IA.
- 2011 – Watson de IBM derrota a dos ex campeones de Jeopardy!.
- 2012 – La startup de inteligencia artificial DeepMind desarrolla una red neuronal profunda que puede reconocer gatos en vídeos de YouTube.
- 2014 – Facebook crea DeepFace, un sistema de reconocimiento facial que puede reconocer rostros con una precisión casi humana.
(!!) DeepMind fue adquirida por Google en 2014 por 500 millones de dólares.
- 2015 – AlphaGo, desarrollado por DeepMind, derrota al campeón mundial Lee Sedol en el juego de Go.
- 2017 – AlphaZero de Google derrota a los mejores motores de ajedrez y shogi del mundo en una serie de partidas.
- 2020 – OpenAI lanza GPT-3, lo que marca un avance significativo en el procesamiento del lenguaje natural.
(!!) Procesamiento del lenguaje natural: enseña a las computadoras a comprender y utilizar el lenguaje humano mediante técnicas como el aprendizaje automático.
- 2021 – AlphaFold2 de DeepMind resuelve el problema del plegamiento de proteínas, allanando el camino para nuevos descubrimientos de fármacos y avances médicos.
- 2022 – Google despide al ingeniero Blake Lemoine por sus afirmaciones de que el modelo de lenguaje para aplicaciones de diálogo (LaMDA) de Google era sensible.
- 2023 – Artistas presentaron una demanda colectiva contra Stability AI, DeviantArt y Mid-journey por usar Stable Diffusion para remezclar las obras protegidas por derechos de autor de millones de artistas.
Gráfico: Open Tech / Genuine Impact
Entradas relacionadas
- ¿Cómo definir la «credibilidad algorítmica»? DeepSeek da en el clavo
- Los precios dinámicos exacerban la desigualdad entre los consumidores, hay que regularlos ya
- Firma contra la vigilancia biométrica masiva
Le moment #DeepSeek (2025) est la conséquence du moment #AlphaGo (2010) de #Google #Deepmind : il a été vécu comme le moment #Spoutnik (1957) de la #Chine pour l' #IA #AI
www.numerama.com/tech/1894778...
Comment AlphaGo a joué un rôle...
Bluesky SocialBluesky
https://techxplore.com/news/2024-12-ai-human-general-intelligence.html
#OpenAI started with a general-purpose version of the #o3system (which…can spend more time "thinking" about difficult questions) and then trained it specifically for the ARC-AGI test.
French #AI researcher Francois Chollet…believes o3 searches through different "chains of thought" describing steps to solve the task. It would then choose the "best"…"not dissimilar" to how #Google #AlphaGo system…beat the world Go champion.
techxplore.comAn AI system has reached human level on a test for 'general intelligence'—here's what that meansA new artificial intelligence (AI) model has just achieved human-level results on a test designed to measure "general intelligence."
Hacker News ChatGPT Learned to Reason [video]
https://www.youtube.com/watch?v=PvDaPeQjxOE
#ycombinator #AI_reasoning #ChatGPT_explained #artificial_intelligence #neural_networks #Monte_Carlo_Tree_Search #DeepMind #AlphaGo #chess_AI #language_models #machine_learning #reinforcement_learning #deep_learning #AI_history #GPT_training #chain_of_thought #AI_breakthrough #game_AI #TD_Gammon #MuZero #Claude_AI #O1_AI #AI_algorithms #AI_development #computer_reasoning #AI_evolution #future_AI
Странное чувство при осознании того, что видео-карта приобретена не только ради нормальной картинки в играх. Что эта вычислительная мощность активно используется и во время других игр, но где нужны обдуманные и взвешенные ходы, а не обсчёт задачек ради 3d-графики.
Например, игра в #Го — движки способные заменить людей выполняют неслабые такие нейросети в комбинации с #MCTS (Monte-Carlo Tree Search).
Сперва это был #LeelaZero, являющийся повторением #AlphaGo Zero согласно его оригинальному описанию.
Теперь это #KataGo, в целом аналогичная, но с рядом доработок заточенных под игру #Го и активно развиваемая/тренируемая, в то время как, работы над #LeelaZero прекратились в районе 2021 года.
Очень может быть, что в скором времени, компьютерам нужна будет видеокарта как универсальный ускоритель общего назначения. Используемый и в локальных системах представления и анализа данных — самое элементарное создания динамических отчётов (dashboard'ов) заточенных под конкретного пользователя. Например, это могут быть различные «ассистенты», выполняющиеся на компьютере пользователя, к которым человек обращается с поручениями что-то узнать или выяснить.
Ускорять специфичным «железом» (#VLIW #TensorFlow) надо будет не только парсинг/разбор запросов от человека на естественно языке (голосом, текстом), но и всю ту работу, которая должна быть проведена при создании запрошенного.
#OpenCL #hardware #lang_ru
Например, игра в #Го — движки способные заменить людей выполняют неслабые такие нейросети в комбинации с #MCTS (Monte-Carlo Tree Search).
Сперва это был #LeelaZero, являющийся повторением #AlphaGo Zero согласно его оригинальному описанию.
Теперь это #KataGo, в целом аналогичная, но с рядом доработок заточенных под игру #Го и активно развиваемая/тренируемая, в то время как, работы над #LeelaZero прекратились в районе 2021 года.
Очень может быть, что в скором времени, компьютерам нужна будет видеокарта как универсальный ускоритель общего назначения. Используемый и в локальных системах представления и анализа данных — самое элементарное создания динамических отчётов (dashboard'ов) заточенных под конкретного пользователя. Например, это могут быть различные «ассистенты», выполняющиеся на компьютере пользователя, к которым человек обращается с поручениями что-то узнать или выяснить.
Ускорять специфичным «железом» (#VLIW #TensorFlow) надо будет не только парсинг/разбор запросов от человека на естественно языке (голосом, текстом), но и всю ту работу, которая должна быть проведена при создании запрошенного.
#OpenCL #hardware #lang_ru
hub.hubzilla.deHubzilla.de
Попробовал как играют современные нейронки в #Го на домашнем десктопе с простенькой видяхой, open source варианты, свободные.
Затем, что современные значимые и серьёзные успехи «искусственного интеллекта» пошли в массы с эпопеи вокруг #AlphaGo, которое за три-четыре года развития изменилось сильно и в размерах и скорости работы, хорошо задокументированно и всячески изучено.
Так вот, прошло изрядно лет уже с тех пор как AlphaGo остановилось в развитии, достигнув апогея (AlphaGo Zero), и где свободные аналоги? Пусть и заточенные именно для игры в Го и только для неё.
Отыскался движок KataGo, вроде по тем же принципам, что и последние варианты AlphaGo, с уже обученными сетками, которые регулярно обновляются дообучаясь.
#KataGo вариант использующий видеокарту, #OpenCL, сходу не завёлся — пришлось погонять сперва вариант для #CPU, чтобы подобрать GUI для использования движка: #Sabaki, #q5Go.
Заценив работу движка и шум системы охлаждения процессора — уже переключился на OpenCL-вариант. Для чего пришлось сносить из системы всё про #Mesa и ставить «opencl-amd» на #ArchLinux.
И оно того стоит, не только потому что реально быстрее работает в плане ходов да подсчёта всякой аналитики, но главное комп перестал надрываться работой системы охлаждения. Памяти на видяхе KataGo отжирает порядка гигабайта, может полутора. Однако, у меня и режим работы выбран с дополнительной нейронкой для подражания человеку в плане манеры игры, ссылки на этот вариант работы движка есть в readme.
Планшеты и мобильники?
Для #android тоже есть вариант KataGo — зовётся #BadukAI, доступен и в Google'ом и Amazon'овском маркете ссылка, а так же через альтернативные клиенты. Если в #Aurora не работает вдруг поиск, то ссылку ту можно открыть/отправить в #Aurora и откроет спокойно.
Что на счёт GUI?
Прежде чем гонять движки разные, имеет смысл опробовать GNU Go — это который про игру в #Го с компьютером, оно же «Бадук» у корейцев и «Вэйци» у китайцев (откуда якобы и пришло). GNU Go есть у всех линухов в репозиториях и доступен любому желающему поиграть в Го через #Kigo, #qGo, #q5Go, #Sabaki, #KaTrain, #Lizzie.
Если выбранная GUI'шная софтина работает с GNU Go, то будет работать (должны) и со всякими другими движками для игры в Го, потому что используется gtp режим.
Сложность лишь в том, что порой GNU Go путают с GNU'шным компилятором Golang — который называется иначе: GCC Go.
Альтернативы нейронкам?
Есть вариант сугубо на базе #MCTS (который Monte Carlo tree search) — ощутимо получше GNU Go и более относительно современное — #Pachi
Работает на десктопе серьёзно нагружая систему, имеет кучу заморочек на тему подключения движка дополнительного для #joseki, не сказать чтобы весёлый вариант.
Однако, если ставить на android-устройство, то существует небольшой вариант, размером менее трёх мегабайт, который вполне шустро работает.
#AI #ИИ #games #gaming #го #igo #baduk #бадук #weiqi #вэйци #lang_ru @Russia
Затем, что современные значимые и серьёзные успехи «искусственного интеллекта» пошли в массы с эпопеи вокруг #AlphaGo, которое за три-четыре года развития изменилось сильно и в размерах и скорости работы, хорошо задокументированно и всячески изучено.
Так вот, прошло изрядно лет уже с тех пор как AlphaGo остановилось в развитии, достигнув апогея (AlphaGo Zero), и где свободные аналоги? Пусть и заточенные именно для игры в Го и только для неё.
Отыскался движок KataGo, вроде по тем же принципам, что и последние варианты AlphaGo, с уже обученными сетками, которые регулярно обновляются дообучаясь.
#KataGo вариант использующий видеокарту, #OpenCL, сходу не завёлся — пришлось погонять сперва вариант для #CPU, чтобы подобрать GUI для использования движка: #Sabaki, #q5Go.
Заценив работу движка и шум системы охлаждения процессора — уже переключился на OpenCL-вариант. Для чего пришлось сносить из системы всё про #Mesa и ставить «opencl-amd» на #ArchLinux.
И оно того стоит, не только потому что реально быстрее работает в плане ходов да подсчёта всякой аналитики, но главное комп перестал надрываться работой системы охлаждения. Памяти на видяхе KataGo отжирает порядка гигабайта, может полутора. Однако, у меня и режим работы выбран с дополнительной нейронкой для подражания человеку в плане манеры игры, ссылки на этот вариант работы движка есть в readme.
Планшеты и мобильники?
Для #android тоже есть вариант KataGo — зовётся #BadukAI, доступен и в Google'ом и Amazon'овском маркете ссылка, а так же через альтернативные клиенты. Если в #Aurora не работает вдруг поиск, то ссылку ту можно открыть/отправить в #Aurora и откроет спокойно.
Что на счёт GUI?
Прежде чем гонять движки разные, имеет смысл опробовать GNU Go — это который про игру в #Го с компьютером, оно же «Бадук» у корейцев и «Вэйци» у китайцев (откуда якобы и пришло). GNU Go есть у всех линухов в репозиториях и доступен любому желающему поиграть в Го через #Kigo, #qGo, #q5Go, #Sabaki, #KaTrain, #Lizzie.
Если выбранная GUI'шная софтина работает с GNU Go, то будет работать (должны) и со всякими другими движками для игры в Го, потому что используется gtp режим.
Сложность лишь в том, что порой GNU Go путают с GNU'шным компилятором Golang — который называется иначе: GCC Go.
Альтернативы нейронкам?
Есть вариант сугубо на базе #MCTS (который Monte Carlo tree search) — ощутимо получше GNU Go и более относительно современное — #Pachi
Работает на десктопе серьёзно нагружая систему, имеет кучу заморочек на тему подключения движка дополнительного для #joseki, не сказать чтобы весёлый вариант.
Однако, если ставить на android-устройство, то существует небольшой вариант, размером менее трёх мегабайт, который вполне шустро работает.
#AI #ИИ #games #gaming #го #igo #baduk #бадук #weiqi #вэйци #lang_ru @Russia
When #AlphaGo cracked #Go, the holy grail of game #AI, it proved that there are problems that we can currently only solve via a machine learning approach.
Other approaches never managed more than mediocre play, AlphaGo beat the world class.
Nine years later there are two types of AI:
- Type 1 solves such problems.
- Type 2 is #bullshit.
Scatole oscure o intelligenze aliene? Il caso del software AlphaGo e i fantasmi di Italo Calvino https://altreconomia.it/scatole-oscure-o-intelligenze-aliene-il-caso-del-software-alphago-e-i-fantasmi-di-italo-calvino/ #Intelligenzaartificiale #reinforcementlearning #scatoleoscure #deeplearning #italocalvino #alanturing #samaltman #Opinioni #deepmind #alphago #chatgpt #Harari #go
Altreconomia · Scatole oscure o intelligenze aliene? Il caso del software AlphaGo e i fantasmi di Italo CalvinoAlphaGo è un’Intelligenza artificiale creata dalla società DeepMind, oggi controllata da Google, per battere gli esseri umani al gioco orientale del Go. Nel 2016 ha sconfitto il campione mondiale con una mossa ritenuta "sbagliata", spingendo diversi osservatori a parlare di intelligenza quasi magica. Una visione "tecnoentusiasta" che agita l'imperscrutabile ma dimostra di ignorare la statistica. E non solo