Giải pháp thống kê khách hàng theo thời gian thực sử dụng camera

Trong những năm gần đây nhu cầu quản lý lưu lượng khách hàng tại chuỗi cửa hàng FPT shop được đặc biệt quan tâm bởi nhu cầu quản lý kinh doanh, cùng nỗ lực minh chứng năng lực công nghệ. Xuất phát từ nhu cầu quản lý kinh doanh, thống kê số lượng khách hàng ra vào các cửa hàng, và mong muốn xây dựng chiến lược kinh doanh thông minh, CEO FPT Retail đã đặt hàng nhóm nghiên cứu xử lý ảnh STU.LAB của FPT Software cho một hệ thống camera theo thời gian thực.

Bài toán đếm người không phải là nhiệm vụ bất khả thi bởi đã có rất nhiều giải pháp công nghệ như: sử dụng cảm biến hồng ngoại, camera ảnh nhiệt, camera quan sát… Giới nghiên cứu học thuật cũng đã công bố rất nhiều công trình nghiên cứu về lĩnh vực này. Tuy nhiên đặt hàng nghiên cứu của nhóm bị giới hạn bởi chi phí thấp và khả năng linh hoạt trong triển khai (nhóm nghiên cứu chỉ có 3 người không thể đi triển khai giải pháp trên 64 tỉnh thành phố).

Cụ thể, với đặc thù là nghiên cứu kiểu đặt hàng, giải pháp đưa ra phải đáp ứng các yêu cầu thực tiễn: hệ thống phải có khả năng kết nối lấy dữ liệu trực tiếp từ các camera giám sát đã lắp đặt trước đó tại hơn 400 shop trên cả nước hoặc thu thập thông tin từ cổng thông tin của FPT Shop; các camera đều là loại camera giám sát thông thường có chất lượng tương đối thấp, ngoài ra do đặt điểm đường truyền và số lượng lớn tốc độ ghi nhận hình ảnh các camera đều chỉ khoảng 5frames/ giây; các cửa hàng có layout khác nhau và hệ thống phải phân biệt được khách hàng với nhân viên, trẻ em với người lớn…

Nhóm nghiên cứu đã tiếp cận khảo sát, bước đầu thử nghiệm tại FPT Shop 216 Thái Hà từ đầu năm 2016 sử dụng các thuật toán phát hiện khuôn mặt với độ chính xác trên 90%, tuy nhiên khi triển khai sang các cửa hàng khác camera không cho phép nhìn rõ khuôn mặt người ra vào, bên cạnh đó thực tế tại các cửa hàng luôn có nhân viên lễ tân đứng chào khách ngay tại cửa, do vậy thuật toán sử dụng đã chuyển từ phát hiện khuôn mặt (Face Detection) sang phát hiện người (People Detection) kết hợp bám chuyển động (Tracking) và phân tích quỹ đạo để phân biệt nhân viên với khách hàng, người ra với người vào.

Bộ Detector được huấn luyện trực tiếp từ dữ liệu thu thập từ các cửa hàng của FPT Shop và xây dựng với các chế độ ngày/đêm khác nhau. Bên cạnh đó để triển khai số lượng lớn nhóm nghiên cứu cũng phát triển hệ thống hỗ trợ triển khai, cấu hình tham số tự động cho các nhân viên IT, QA của FPT Shop bằng cách tự động căn chỉnh hình ảnh thu được từ camera, tự động xác định khung cửa ra vào, hệ thống đồng bộ dữ liệu camera từ các nguồn khác nhau…, đồng thời cung cấp API để tương tác trao đổi dữ liệu với hệ thống quản lý kinh doanh để xây dựng báo cáo trực tuyến.

Sau khi chính thức triển khai thực tế từ 2017, việc phát triển liên tục các Shop của FPT tại các tỉnh thành địa phương khác nhau tiếp tục đặt ra bài toán về nâng cao độ chính xác và khả năng xử lý độc lập tại các shop nhằm giảm tải cho hệ thống máy chủ, nhóm nghiên cứu STU.LAB đã phát triển giải pháp tự động phát hiện khách vào của hàng sử dụng camera giám sát và các thuật toán học sâu (Deep Learning), giải pháp cho độ chính xác vượt trội (trên 92%) và có thể triển khai ở mọi địa hình khác nhau, với điều kiện chiếu sáng khác nhau. Hệ thống cũng đã lắp đặt thử nghiệm tại khu trưng bày sản phẩm FV2 và đang thử nghiệm tại một số cửa hàng có layout phức tạp của FPT Shop từ tháng 1 năm 2018. Hệ thống thử nghiệm cho thấy khả năng mở rộng đối tượng sử dụng không chỉ tại các cửa hàng có cửa ra vào khuôn dạng như của FPT Shop mà có thể áp dụng cho nhiều layout khác nhau.

Thực tế triển khai sẽ là động lực và gợi ý thỏa đáng nhất cho các nhà nghiên cứu, đó là điều mà chúng tôi rút ra được từ bài toán của FPT Shop.