Z'ha'dum

Когда Авле задали вопрос: когда Украина голосует вместе с просвещённой Европой против Израиля и США - он за какую сторону, Avla этот вопрос не просто заморозил, но удалил камент и забанил вопрошающего. Это значит, что ответ на вопрос он знает, но он ему не нравится. Но другой альтернативы он не видит в принципе. И в этом же посте он продвигает диктатуру в стиле киберпанка - сначала лишить половину населения избирательных прав, потому что проголосовали не за того. Потом вообще вживить всем чипы совести и контролировать удалённо. У постсоветского антитрампистского интеллигента (именно пост, в совке находились те, кто публиковали, например, "Бабий Яр" Евтушенко), как в том анекдоте, что бы он ни собирал, а получается пулемёт тоталитаризм. 
https://avla.livejournal.com/659883.html?view=comments#comments

Найдите этот камент у Авлы сейчас.
( Read more... )

Пелоси десятилетиями делала направленные ограниченные по времени ставки - покупала опционы на конкретные акции, и постоянно обгоняла S&P 500. Митрич молчал. Внезапно, Трамп купил широкий пакет бондов (которые сильно меньше рискованные/доходные, чем акции, и уж точно меньше чем опционы на них), в которых были как компании, пострадавшие от его политик, так и получившие пользу - и Митрич возбудился.
"Других русских оппозиционеров у меня для вас нет (с)"

Этакий "привет Володеньке" вышел - мол, он, конечно, может надеяться на продление жизни всякими пересадками органов, но если бесконечно затягивать переговоры, как это делали его друзья из ХАМАСа, в один момент его китайский сюзерен позовёт на переговоры в нейтральное место, и в то же место может прилететь шальной "Томагавк".

Приобщился к Clair Obscur, вполне стоит хайпа. Берите, не пожалеете. Но только не делайте моей ошибки и не смотрите обзорщиков и стримеров заранее.

Стряхнул пыль со своего старого mining rig-а, в этот раз чтобы позапускать LLM-ки локально. Когда Бутерик перевёл эфир на PoS, майнинг на видео полностью потерял смысл, другие криптовалюты едва могли оправдать затраты на электричество (eth/btc после этого просел капитально), и с тех пор он простаивал. Идея в том, что совсем тяжёлые модели, аналоги всяких ChatGPT или Claude или DeepSeek V3, где сотни миллиардов параметров, запустить локально вряд ли получится. Это конечно, если вы не готовы прикупить какую-нибудь балалайку стоимостью $150-$300k, и потом разместить и запитать её. А это тоже будет непросто: там потребуется подвести примерно 10 киловатт в 6-8U и отвести столько же тепла. И быть готовым к тому, что та балалайка потеряет половину стоимости за 2-3 года, а бОльшую часть времени она всё равно будет простаивать. Это для корпорации с регуляторными требованиями (препятствующими отправке данных в публичные сервисы) может быть осмысленно, там эту машинку дёргать будут много людей постоянно, а её стоимость уменьшит налогооблагаемую прибыль, эффективно удешевив наполовину.
Но с другой стороны, может быть оно и не нужно? Люди добиваются неплохих результатов работая с моделями 30-72B, уверен, мне расскажут и о кейсах с применением моделей с гораздо меньшим числом параметров. Ok, скажем, выглядит интересно. Но как?
Мне было интересно как это сделать на том что было под рукой - видеокартах. Так-то есть и другие способы, например Apple Macs, там скорость памяти (546 GB/s M4 Max, 800 GB/s Studio M3 Ultra) не сильно хуже чем на GPU (~900 GB/s на RTX 3090). К слову, и по электричеству Маки всяко эффективнее. В обычных ПК скорость памяти сильно ниже (20-25 GB/s с одного канала DDR4, и как правило всего 1-2 канала).
Первое что я сделал запустив тот rig, это обновил CUDA и дрова Nvidia. Оно в общем-то тривиально, не хотите читать документацию вендора - туториалов типа этого полно. Увидеть как оно работает можно просто поставив ollama:
# curl -fsSL https://ollama.com/install.sh | sh
И начав задавать глупые вопросы прямо с командной строки:
$ ollama run deepseek-r1:70b
Ollama сама всё подгрузит и запустит. На паре RTX 3090 оно прямо-таки залетает. Но как? 70 миллиардов 16-битных float-ов займут ~140 гигабайт? К слову, это не DeepSeek, это fine-tuned llama3. 
Ну идея там в том, что для "дома и хобби" можно и использовать квантизацию, что-то вроде сжатия с потерями. Ollama - это по сути обёртка над llama.cpp, которая даёт доступ к какому-то своему небольшому подмножеству "избранных" моделей на их сайте. И на олламе по дефолту тот deepseek-r1:70b будет сжат с 4-битной точностью, а получившиеся 35 гигабайт влезают в 2 карты по 24 (ну, конечно, там ещё всякое должно будет влезть). Гораздо больше моделей на HugginFace, плюс и с разными степенями квантизации. Есть и закрытые модели (Mistral Large например, вам его дадут, но с условиями), и дико большие открытые - тот самый DeepSeek V3 671B или недавно вышедший Qwen3-235B-A22B. Есть мультимодальные модели, принимающие на вход или выдающие изображения/звук/видео вместе с текстом.
Ok, PoC осилили, что делать дальше? Дергать LLM-ки прямо из SSH, ну оно такое... Хотите простого решения "всё в одном" - поставьте LM Studio. Тут простой ChatGPT-like интерфейс, оно само найдёт, что можно задействовать на вашем ПК (CUDA для Nvidia, к слову над CUDA будет та же llama.cpp, ROCm, Vulkan для карт ATI/AMD, MLX для Apple Silicon маков). И вот это уже выглядит как что-то полезное - есть истории диалогов с контекстом, можно подгружать свои файлы и задавать вопросы модели про них.
Другой вариант: на свой лаптоп я поставил Anything LLM Desktop, фронтенд, который у меня дёргает Aphrodite Engine, который на хосте выполняет модели (это замена llama.cpp). Anything LLM может обращаться как к локальным моделям на локальных engine-ах (llama.cpp, ollama, vLLM, exllama), так и к эндпойнтам больших платных (ChatGPT, Google AI, Claude, DeepSeek V3 на SambaNova). Локальная Афродита может выполнять сжатую Mistral Large 123B (а это европейский конкурент здешних больших моделей) на всего лишь 4-х 3090-х, и при этом используемый метод сжатия (AWQ) теряет гораздо меньше информации чем обычно.
Но много видеокарт не обязательно, очень многие программисты положительно отзываются о Qwen Coder, который всего 30B, или Google Gemma3 27B. Даже одна ни к чему, есть всякие runpod.io и vast.ai, которые сдадут вам в аренду те multi-GPU rigs по полдоллара-доллар в час (если хочется затестить).
Пара слов о квантизации - очень многие говорят, что в 16 битах выполнять модели бессмысленно, на 8 битах будет также, но быстрее. На 6 битах потери будут минимальные, 5 ещё приемлемо, дальше пробуйте и решайте сами.
По материалам r/LocalLLaMA/ ))

https://redis.dreamwidth.org/315784.html - redis манипулятор и лжец.
> В качестве контраргументов приводился возможный рост цен на нефть, и главное, "ненависть к мысли об очередном спасении европейцев".
> А я говорил вам, что они наши враги.

В оригинале было "bailing out", "финансовое спасение", что придаёт всему предложению совершенно иной смысл. Он слово "финансовое" опустил. То есть речь не идёт о том, что отказываются спасать бедную Европу, в которой произошла катастрофа, ставящая под угрозу существование, речь о той Европе, которая как и несколькими постами ранее "за спасение Украины", но платить за это должны другие (кто другой, если это у них на дворе?!). Так и здесь - у них 40% товарооборота через Красное море, а что-то делать должны американцы. Не ожидая благодарности, более того, как и в случае с Ираком, европейцы через несколько лет бы начали шипеть о том, что американская военщина это делала ради нефти. Или с Ливией, американцам вовсе оно было ни к чему, начали всё UK и Франция, а сейчас виноват кто - виноваты американские псы войны.

И да, американцы уже потому враги, что прикрыли крантик халявы. Помню, нам в ещё советской школе (учебники по крайней мере были советские), рассказывали о том, какие американцы были плохие изоляционисты перед WW2. Ну блин, с таким уровнем лицемерия и entitlement-а сейчас послать этих умных европейцев к их матери вполне оправданно, не удивлюсь что и тогда они были не лучше.

Вообще, если подумать, свитчнуться в Республиканца это был очень хороший ход для Маска. Хороший в плане бизнеса для Теслы. Спрос со стороны Демократов, "заботящихся" о природе и климате, был удовлетворён, и что будет дальше, пофиг - они могут быть взбешены, но за Теслы они уже заплатили, а Маску теперь можно окучивать и консервативную аудиторию.

Как ни крути, а Украина вписалась в ICC. Что делает присутствие американских вооруженных сил на территории Украины невозможным - и EU, и ICC слишком уж настойчивы в вопросе возможного преследования американских солдат за предполагаемые военные преступления. Впрочем как и в вопросе присутствия американских вооруженных сил на территории любой другой страны НАТО - подписанта Римского Статута (это на случай, если им взбредёт в голову странная идея обратиться к 5-й статье устава НАТО). Но зачем им сотрудничество в рамках НАТО, если у ICC и так аж 120+ участников?

https://www.reddit.com/r/worldnews/comments/1infty7/australian_nurses_brag_about_killing_israeli/ - попадёте в Австралию, не рассчитывайте на медицину. Хрен его знает что там медсестрам в голову взбредёт. DEI hires как они есть. К слову о high moral ground - израильтяне Синвара вылечили от рака.
Upd: реддит удалил, но полно ссылок и так. И самый заплюсованный камент - да, понятно что это два дебила, но как бы сколько их таких, которые не настолько тупы чтобы разоблачать себя на камеру.
И да, а как же так вышло, что евреям понадобилось собственное государство? /s