ZIL.talks#6 ИИ-агент на Raspberry Pi: OpenClaw, PicoClaw и Hailo H10 без облака

О чем выпуск

В седьмом выпуске подкаста ZIL.talks Михаил и Татьяна Ровнягины обсуждают ИИ-агентов — цифровых помощников, которые не только отвечают на вопросы, но и выполняют действия: работают с мессенджерами, запускают команды, обращаются к внешним сервисам и автоматизируют повторяющиеся задачи.

Разбираемся, чем агент отличается от языковой модели, зачем распределять простые и сложные запросы между разными LLM и когда локальный инференс оказывается практичнее облака. Главный эксперимент выпуска — запускаем агента на Raspberry Pi 5 и проверяем, что изменится после подключения ускорителя Hailo H10.

Темы выпуска

• Как устроены ИИ-агенты и чем они отличаются от обычного чат-бота
• Почему OpenClaw работает с разными облачными и локальными моделями
• Зачем простые задачи отдавать небольшим LLM, а сложные — более мощным моделям
• Что такое edge computing и почему данные полезно обрабатывать рядом с пользователем
• Чем легковесный PicoClaw отличается от OpenClaw на Node.js
• Что умеет Raspberry Pi AI HAT+ 2 с процессором Hailo H10 и 8 ГБ собственной памяти
• Почему NPU разгружает центральный процессор, но не гарантирует резкого роста скорости генерации
• Во сколько обходится такой стенд и когда обычный мини-ПК оказывается выгоднее

Демонстрация: локальный агент на Raspberry Pi

В практической части показываем, как собрать локальный AI-стек и с какими особенностями можно столкнуться на каждом этапе:

• Как установить Ollama и запустить модель Llama 3.2 1B на CPU
• Как развернуть OpenClaw и подключить к нему локальную модель
• Почему большой системный промпт может мешать работе небольшой LLM
• Как настроить легковесный PicoClaw для работы с локальным API
• Что потребуется для установки драйверов и runtime Hailo H10
• Как запустить hailo-ollama и загрузить модель в формате HEF
• Чем отличается инференс на CPU и NPU в реальных задачах
• Какие сложности возникают при сборке такого стенда на Raspberry Pi

Безопасность агентов

• Чем опасны prompt injection и инструкции, спрятанные на внешних сайтах
• Что может произойти, если дать агенту доступ к почте, файлам и выполнению команд
• Почему домашнего агента стоит запускать без root-доступа и конфиденциальных данных
• Как контейнеризация, песочница и минимальный набор инструментов помогают снизить риски
• Кто отвечает за действия автономного агента и почему его работу нужно контролировать

Для кого этот выпуск

Выпуск будет интересен тем, кто хочет познакомиться с ИИ-агентами, запустить локальную LLM или собрать компактный стенд для экспериментов с edge AI. Обсуждаем не только возможности OpenClaw, PicoClaw и Hailo H10, но и стоимость, ограничения и безопасность такого решения.

Подписывайтесь на канал Zil.digital в Telegram и MAX.