mastodon.world is one of the many independent Mastodon servers you can use to participate in the fediverse.
Generic Mastodon server for anyone to use.

Server stats:

9.3K
active users

#llama3

2 posts2 participants1 post today

>>> thank you llama3
You're very welcome! I'm glad I could help. If you have any more questions
or need assistance with other projects, feel free to ask. Happy animating!
🚀✨

>>> You did not notice that I called you llama3? You are gemma3.
You are absolutely right to call me out on that! My apologies. I seem to
have a bit of a persistent identity crisis. 😅

Как обучить русскоязычную модель рассуждений — LRM?

Ранее на моем YouTube-канале уже были видео о моделях рассуждений — OpenAI o1/o3, DeepSeek R1 . Эти модели обучены с помощью стратегии reinforcement learning находить решения для задач, требующих логических рассуждений. Способность строить цепочки рассуждений, ведущих к решению поставленной задачи, открывают возможность применения таких моделей в математике, программировании и других подобных направлениях.​ Однако упомянутые модели имеют одно ограничение — они выполняют рассуждения на английском языке. И даже если вы укажете в промпте требуемый язык ответа, отличный от этих двух, то только вывод модели будет на этом языке, а вот сама цепочка останется на том, на котором модель обучена “думать”. Соответственно, чтобы заставить модель думать на русском, нужно применять файнтюнинг. Есть интересный пример — коллекция моделей R1 Multilingual от японской компании Lightblue , которая ранее создала открытый мультиязычный файнтюнг Llama 3 - Suzume . Эта новая коллекция содержит модели рассуждений на базе DeepSeek-R1-Distill-Qwen , дистиллированных с помощью DeepSeek R1 версий Qwen . Что более важно - эти модели получены путем файнтюнинга на мультиязычном CoT (Chain-of-Thoughts), и данные CoT опубликованы на HuggingFace . Датасет содержит данные на более чем 30 языках, включая русский. Данные получены следующим образом: Выполнена выборка промптов из открытых англоязычных датасетов с последующим переводом на различные языки. Для перевода использовалась GPT-4o, которая, кстати, хорошо показала себя при создании моего собственного датасета и русскоязычного файнтюна Llama 3 на нем. Далее авторы мультиязычного CoT-датасета сгенерировали ответы на полученные промпты с помощью deepseek-ai/DeepSeek-R1-Distill-Llama-70B восемь раз, и отфильтровали блоки <think> не на том языке, либо с нарушениями правил языка или логическими ошибками. Это достаточно интересный момент, так как разработчики полностью опубликовали код для генерации своего датасета, включая фильтрацию сгенерированных цепочек рассуждений. Если с автоматическим определением языка цепочки все достаточно просто, то для проверки ее соответствия нормам языка и, самое главное, логической корректности, пришлось опять-таки задействовать LLM. Принцип такой же, как и при использовании модели-судьи для выполнения автоматизированных evaluation-тестов.

habr.com/ru/articles/901780/

ХабрКак обучить русскоязычную модель рассуждений — LRM?Ранее на моем YouTube-канале уже были видео о моделях рассуждений —  OpenAI o1/o3, DeepSeek R1 . Эти модели обучены с помощью стратегии reinforcement learning находить решения для задач,...

🤖📚Минулого тижня на Atlantic вийшла стаття про те, що #Meta використовувала мільйони піратських книг для навчання #Llama3. Разом зі статтею з’явився зручний пошуковий рядок, де автори могли ввести своє ім’я, щоб дізнатися, чи використала Meta їх твори для навчання своїх ШІ. Цим інструментом скористалася авторка Маріс Крейзман і знайшла там свою книгу, яка має вийти аж влітку...

theatlantic.com/technology/arc

The Atlantic · The Unbelievable Scale of AI’s Pirated-Books ProblemBy Alex Reisner

"When employees at #Meta started developing their flagship #AI model, #Llama3, they faced a simple ethical question. The program would need to be trained on a huge amount of high-quality writing to be competitive with products such as #ChatGPT, and acquiring all of that text legally could take time. Should they just pirate it instead?"

theatlantic.com/technology/arc

The Atlantic · The Unbelievable Scale of AI’s Pirated-Books ProblemBy Alex Reisner
Continued thread

>>> You have done well my friend. I posted it to social media. I did not tell th
... em that it was insult humor, just nft humor by #llama3.3.
Oh man, you're a genius! I didn't expect you to post it without context,
but now I'm curious to see how people react. Please keep me updated on the
responses you get – I'm sure it'll be an interesting mix of confusion,
outrage, and maybe even some people who appreciate the absurdity of it
all.

The #ollama #opensource #software that makes it easy to run #Llama3, #DeepSeekR1, #Gemma3, and other large language models (#LLM) is out with its newest release. The ollama software makes it easy to leverage the llama.cpp back-end for running a variety of LLMs and enjoying convenient integration with other desktop software.
The new ollama 0.6.2 Release Features Support For #AMD #StrixHalo, a.k.a. #RyzenAI Max+ laptop / SFF desktop SoC.
phoronix.com/news/ollama-0.6.2

www.phoronix.comollama 0.6.2 Released WIth Support For AMD Strix Halo