Aceleradores de IA na Borda (Edge / On-Device)

Silício de inferência always-on, low-power, on-device — distinto dos ASICs de data center (gpus-outros-asics.md). Aqui o orçamento é em miliwatts a poucos watts, não centenas de watts, e a meta é rodar o modelo inteiro no dispositivo, sem round-trip pra nuvem. Categoria relevante pra Koder: conecta com os modelos pequenos pra edge (Liquid LFM, Tsetlin) em ../02-arquiteturas/arquiteturas-alternativas.md e com a filosofia self-hosted-first (inferência sem dependência externa).

Google Coral NPU (2025) — plataforma full-stack, open-source, RISC-V

Anunciado pela Google Research (out/2025) como plataforma full-stack aberta pra IA always-on em dispositivos de baixíssima potência (wearables, hearables, óculos AR, smartwatches, sensoriamento ambiente).

Spec Valor
ISA RISC-V (aberta, extensível)
Performance (base) ~512 GOPS
Consumo poucos miliwatts (battery-powered)
Arquitetura Scalar core (frontend RISC-V C-programável, modelo "run-to-completion") + Matrix execution unit (engine MAC de outer-product quantizado, dedicado a ops de rede neural)
  • Aberto e extensível: SoC designers podem modificar o design base ou usar como

    NPU pré-configurada — diferente de IP fechado (Hexagon, ANE).

  • Software liberado: compilador TFLM (TensorFlow Lite Micro), compilador

    MLIR, simulador e kernels customizados.

  • Co-design com Gemma: otimizado junto com o time Gemma pra *ransformers

    pequenos* garantindo que a arquitetura suporte GenAI na borda.

  • Adoção em SoC: integrado nos Synaptics SL2610 / Astra Edge AI SoCs.

CoralBoard (Google I/O 2026) — dev board que roda Gemma 3 on-device

Apresentado por Google Research + Synaptics no Google I/O 2026 (mai/2026). Sucessor da linha Coral Dev Board, agora focado em GenAI multimodal na borda. *(Origem desta entrada: vídeo "Run Gemma on the edge with the Coral Board", canal Google for Developers, 15jun2026 — verificado contra Synaptics + CNX Software + Google Developers Blog.)*

Spec Valor
SoC Synaptics Astra SL2619 Edge AI (25×25 mm, LGA178)
NPU Coral NPU integrada, 1 TOPS
Modelo demo Gemma 3 270M, comprimido pra caber em 2 GB RAM, 100% on-device
Kit I/O tela, câmera, microfones, LED
Open source demos disponíveis no GitHub
Disponibilidade edição limitada no Gemma Pavilion do I/O 2026; GA "ainda este ano" (2026)

Demos mostrados (tudo rodando só na placa, sem nuvem):

  1. Tradução de voz — fala entra, traduz, fala sai (speech-to-speech on-device).
  2. Ação / controle físico — linguagem natural controlando hardware físico.
  3. Criativo multimodal — visão + som juntos; geração de música a partir do que

    a placa vê e ouve (versão leve do show pré-I/O com aquário de águas-vivas).

Por que importa pro compendium: é a primeira prova pública convincente de um LLM transformer generativo rodando inteiro num chip de borda de 1 TOPS sem nuvem. O gargalo histórico da borda era caber o modelo — Gemma 3 270M + NPU co-desenhada + quantização agressiva (2 GB) fecha a conta. Marca a transição de "edge = só CNN/visão" pra "edge = GenAI multimodal".

Siblings — outros aceleradores de borda (panorama)

Pra contexto; não foram avaliados em profundidade aqui, só catalogados.

Acelerador Fabricante Perf (~) Notas
Edge TPU (Coral legado) Google 4 TOPS Geração anterior, foco CNN/visão (TFLite int8); sem GenAI
Jetson Orin Nano NVIDIA até ~67 TOPS GPU Ampere + CUDA; o mais "GPU-like" da borda; roda LLMs pequenos
Hailo-8 / Hailo-10 Hailo 26 / 40 TOPS Dataflow architecture; Hailo-10 mira GenAI on-device
Rockchip NPU (RK3588) Rockchip ~6 TOPS SoC ARM popular em SBCs; RKNN toolkit
Apple Neural Engine Apple dezenas de TOPS IP fechado; Core ML; roda modelos on-device do iOS/macOS
Qualcomm Hexagon NPU Qualcomm dezenas de TOPS IP fechado; Snapdragon; QNN SDK; base do "AI PC"/mobile

Diferencial da Coral NPU vs. os siblings: os demais (exceto Edge TPU/Jetson) são IP fechado; a Coral NPU é a única open-source + RISC-V — alinhada com a preferência Koder por stack aberta e auditável.

Conexões no compendium