#інференс

ШІ • 2026-06-25 07:14

OpenAI та Broadcom анонсували чип Jalapeño для інференсу LLM

За даними The-decoder, OpenAI та Broadcom офіційно представили Jalapeño — спеціалізований акселератор, який стане основою багатопокоєнної платформи для роботи з великими мовними моделями. Цей крок знаменує перехід OpenAI від чисто програмного…...

ШІ • 2026-05-31 09:15

Continuous Batching: як оптимізувати інференс великих мовних моделей

Як повідомляє Machinelearningmastery, ефективність інференсу великих мовних моделей залежить від того, як сервер планує обробку запитів. У реальних умовах сервери повинні одночасно керувати сотнями чи тисячами запитів користувачів. Якщо GPU простоює…...

Технології • 2026-05-30 17:12

Groq отримала $650 мільйонів на розвиток інференсу ШІ від Nvidia

За даними Thenextweb, Groq шукає фінансування у розмірі 650 мільйонів доларів серед своїх поточних інвесторів для підтримки свого бізнесу хмарних інференсів. Це рішення є прямим наслідком стратегічного маневру Nvidia у грудні минулого року, який був…...