I-MALL - improving the customer experience in stores by intelligent computer vision

Nella nostra società, sempre più spesso si usano telecamere per individuare e tracciare persone. Ad esempio, in applicazioni di sorveglianza di ambienti è di primaria importanza capire chi sta facendo cosa e verificare se si tratta di un comportamento normale o anormale. Le applicazioni di profilazione degli utenti sono utilizzate anche in altri contesti, per esempio per migliorare la qualità delle visite dei luoghi turistici o per fornire suggerimenti basati su scelte recenti, attività e luoghi visitati. Nelle applicazioni di sorveglianza, la visione artificiale è ampiamente utilizzata insieme a tecniche di apprendimento automatico per il rilevamento e la classificazione; in altri contesti, la profilazione di un utente si basa principalmente sulle informazioni raccolte (per es. tramite social network) e su informazioni estratte attraverso algoritmi di data mining. In questo progetto, miriamo a verificare in che misura la visione artificiale e l'intelligenza artificiale possano supportare la derivazione di profili individuali e fornire suggerimenti personalizzati appropriati per il digital signage in un centro commerciale. Recentemente, è cresciuto l'interesse a introdurre tali sensori nei centri commerciali per comprendere i comportamenti dei clienti e ricavare suggerimenti per organizzare i prodotti in modo appropriato secondo gli interessi e gli orientamenti della massa. Sono anche apparse soluzioni più avanzate. Lo store Amazon Go - di recente apertura negli Stati Uniti - adotta in via sperimentale una nuova tecnologia di acquisto avanzata. Usando l'app Amazon Go, il visitatore entra nel negozio, preleva i prodotti di interesse e non deve effettuare alcun pagamento. La visione artificiale basata sull'apprendimento profondo e sulla fusione di informazioni permette di rilevare automaticamente quando i prodotti vengono prelevati dagli scaffali e, quindi, di gestire un carrello virtuale personale. In Cina, Tao Café, un minimarket pop-up di Alibaba, ha introdotto negozi che sfruttano il riconoscimento facciale e altre tecnologie avanzate per consentire ai clienti di utilizzare solo il loro smartphone con l'app Taobao di Alibaba per entrare e uscire dal negozio. Questi sono solo esempi di come la visione artificiale e l'informatica, eventualmente supportata dall'IoT, possano trasformare drasticamente le nostre abitudini di acquisto nel tempo libero. Per la nostra ricerca non consideriamo il caso di negozi incustoditi come Amazon Go e Tao Café. A differenza dei casi di cui sopra, non miriamo a profilare le persone gestendone la reale identità e il cliente non rivela alcuna informazione personale come il cognome, i numeri delle carte di credito, ecc. Il nostro obiettivo è esplorare fino a che punto la Computer Vision e l'AI possano essere utilizzate per fornire, nel rispetto della privacy dei clienti, un'assistenza personalizzata allo shopping all'interno di centri commerciali e migliorare l'esperienza di acquisto. Poichè l'esperienza di acquisto è strettamente legata allo stato emotivo dell'individuo, l'analisi del comportamento individuale all'interno dello store è molto più utile degli attributi personali derivati ​​dai dialoghi nei social network. Le tecniche di Computer Vision e AI permetteranno di re-identificare e tracciare il cliente all'interno del Mall in modo da comprenderne gli interessi, rilevare e classificare il suo abbigliamento e comportamento, comprenderne il suo stato emotivo e la sua personalità e, infine, analizzare il suo/le sue reazioni ai suggerimenti forniti dal terminale di digital signage. Queste informazioni potrebbero essere utili per fornire suggerimenti personalizzati ai clienti. Seguendo l'attuale legislazione sulla privacy, nel nostro progetto, le identità dei clienti saranno indicate attraverso numeri progressivi anonimizzati. Per ogni numero progressivo, si memorizzeranno i luoghi visitati, gli interessi rilevati, i comportamenti e sentimen