零售行業(yè)是我國(guó)非常重要的行業(yè)之一，隨著手機(jī)支付和購(gòu)物用戶(hù)數(shù)量的不斷提高，以及數(shù)字化技術(shù)的不斷發(fā)展，零售行業(yè)的企業(yè)尤其是線下體驗(yàn)店對(duì)數(shù)字化轉(zhuǎn)型的意愿不斷加強(qiáng)，未來(lái)我國(guó)智慧零售行業(yè)有望持續(xù)快速發(fā)展。
那么，零售行業(yè)有哪些痛點(diǎn)？人工智能在零售行業(yè)又能有哪些技術(shù)突破和創(chuàng)新呢？
今天，OpenI要為大家介紹社區(qū)最新入駐且正進(jìn)入社區(qū)孵化管道的零售行業(yè)開(kāi)源項(xiàng)目【袋鼯麻麻ColugoMum】，該項(xiàng)目由一群優(yōu)秀的本科生組成的ColugoMum團(tuán)隊(duì)，基于國(guó)產(chǎn)深度學(xué)習(xí)開(kāi)源框架飛槳PaddlePadddle開(kāi)發(fā)，針對(duì)中小型線下零售體驗(yàn)店提供了一系列解決方案。
項(xiàng)目開(kāi)源地址：
https://git.openi.org.cn/ColugoMum
零售行業(yè)背景及痛點(diǎn)介紹
目前在零售行業(yè)的實(shí)際運(yùn)營(yíng)過(guò)程中，會(huì)產(chǎn)生巨大的人力成本，例如導(dǎo)購(gòu)、保潔、結(jié)算等，而其中，尤其需要花費(fèi)大量的人力成本和時(shí)間成本在識(shí)別商品并對(duì)其進(jìn)行價(jià)格結(jié)算的過(guò)程中，并且在此過(guò)程中，顧客也因此而需要排隊(duì)等待。這樣一來(lái)零售行業(yè)人力成本較大、工作效率極低，二來(lái)也使得顧客的購(gòu)物體驗(yàn)下降。
編輯
隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，以及無(wú)人化、自動(dòng)化超市運(yùn)營(yíng)理念的提出，利用圖像識(shí)別技術(shù)及目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)產(chǎn)品的自動(dòng)識(shí)別及自動(dòng)化結(jié)算的需求呼之欲出，即自動(dòng)結(jié)賬系統(tǒng)（Automatic checkout, ACO）。
基于計(jì)算機(jī)視覺(jué)的自動(dòng)結(jié)賬系統(tǒng)能有效降低零售行業(yè)的運(yùn)營(yíng)成本，提高顧客結(jié)賬效率，從而進(jìn)一步提升用戶(hù)在購(gòu)物過(guò)程中的體驗(yàn)感與幸福感。
AI結(jié)算的核心是圖像識(shí)別。圖像識(shí)別的準(zhǔn)確率決定了AI結(jié)算落地的可行性。目前，AI結(jié)算面臨著如下幾個(gè)痛點(diǎn)問(wèn)題：
商品包裝相似：同類(lèi)別商品口味不同且價(jià)格也不同，不同類(lèi)別商品外包裝相似，都對(duì)圖像識(shí)別精度具有較高的要求；
干擾因素眾多：同類(lèi)別商品在識(shí)別時(shí)容易因角度問(wèn)題發(fā)生變形、折疊、遮擋等干擾，對(duì)識(shí)別結(jié)果造成影響；
品類(lèi)更新極快：零售商品通常以小時(shí)級(jí)別速度更新迭代，每增加新產(chǎn)品時(shí)若僅靠單一模型均需重新訓(xùn)練模型，模型訓(xùn)練成本及時(shí)間成本極大；
系統(tǒng)性能要求高：需要同時(shí)解決檢測(cè)和識(shí)別兩個(gè)任務(wù)，選模型和優(yōu)化時(shí)要權(quán)衡精度與速度兩方面。
袋鼯麻麻ColugoMum
袋鼯麻麻ColugoMum致力于為中小型線下零售體驗(yàn)店提供基于視覺(jué)的零售結(jié)算方案。
編輯
基于上述痛點(diǎn)問(wèn)題，ColugoMum團(tuán)隊(duì)采用飛槳PaddleClas[1]團(tuán)隊(duì)提出的PP-ShiTu[2]圖像識(shí)別系統(tǒng)。
基于PP-ShiTu實(shí)現(xiàn)的商品識(shí)別方案為零售場(chǎng)景中商品多類(lèi)別、小樣本、高相似和更新頻繁問(wèn)題提供了新的思路，不僅能對(duì)多類(lèi)別商品進(jìn)行精準(zhǔn)識(shí)別，也可以滿(mǎn)足對(duì)預(yù)測(cè)效率的極致追求。
尤為實(shí)用的功能在于：實(shí)際上線使用的時(shí)候，遇到新的需要識(shí)別的商品類(lèi)別，無(wú)需重新訓(xùn)練模型，只需要在檢索庫(kù)中增加該類(lèi)別圖像特征，就能夠?qū)崿F(xiàn)對(duì)新商品的識(shí)別！
編輯
01、PP-ShiTu
PP-ShiTu是一個(gè)實(shí)用的輕量級(jí)通用圖像識(shí)別系統(tǒng)，主要由主體檢測(cè)、特征學(xué)習(xí)和向量檢索三個(gè)模塊組成。該系統(tǒng)從骨干網(wǎng)絡(luò)選擇和調(diào)整、損失函數(shù)的選擇、數(shù)據(jù)增強(qiáng)、學(xué)習(xí)率變換策略、正則化參數(shù)選擇、預(yù)訓(xùn)練模型使用以及模型裁剪量化8個(gè)方面，采用多種策略，對(duì)各個(gè)模塊的模型進(jìn)行優(yōu)化，并經(jīng)過(guò)10w+類(lèi)別數(shù)據(jù)進(jìn)行訓(xùn)練，最終得到在CPU上預(yù)測(cè)時(shí)間僅需0.2s的多場(chǎng)景通用圖像識(shí)別系統(tǒng)。
簡(jiǎn)單來(lái)說(shuō)，PP-ShiTu的使用分為三步：
通過(guò)主體檢測(cè)模型，對(duì)圖片中的物體一一識(shí)別；
對(duì)每個(gè)候選區(qū)域進(jìn)行特征提取；
將特征提取后的向量在檢索庫(kù)中進(jìn)行檢索，完成匹配，返回識(shí)別結(jié)果。
02、數(shù)據(jù)集
考慮到實(shí)際零售場(chǎng)景對(duì)于精度和預(yù)測(cè)速度的極致追求，ColugoMum團(tuán)隊(duì)在主體檢測(cè)部分選取了PicoDet模型作為主體檢測(cè)算法，選取了輕量級(jí)PPLCNet_x2_5_ssld模型用作特征提取，最后使用向量搜索模塊Faiss中的HNSW32作為檢索算法，實(shí)現(xiàn)速度與精度的極致平衡。
基于此，ColugoMum團(tuán)隊(duì)基于RP2K數(shù)據(jù)集已經(jīng)實(shí)現(xiàn)了最高96.91%的預(yù)測(cè)精度。
RP2K數(shù)據(jù)集[3]：收錄了50萬(wàn)+張零售商品貨架圖片，商品種類(lèi)超過(guò)2,000種，是目前零售類(lèi)數(shù)據(jù)集中產(chǎn)品種類(lèi)數(shù)量最多的數(shù)據(jù)集。不同于一般聚焦新產(chǎn)品的數(shù)據(jù)集，RP2K收錄了超過(guò)50萬(wàn)張零售商品貨架圖片，商品種類(lèi)超過(guò)2000種，該數(shù)據(jù)集是目前零售類(lèi)數(shù)據(jù)集中產(chǎn)品種類(lèi)數(shù)量TOP1，同時(shí)所有圖片均來(lái)自于真實(shí)場(chǎng)景下的人工采集，針對(duì)每種商品，品覽提供了十分詳細(xì)的標(biāo)注。
此外，ColugoMum也收集整理了業(yè)內(nèi)SKU級(jí)別的商品圖像數(shù)據(jù)集，并期待和開(kāi)發(fā)者們一道， 開(kāi)源出能夠在業(yè)內(nèi)有影響力、符合實(shí)際場(chǎng)景應(yīng)用需求的數(shù)據(jù)集。
數(shù)據(jù)集地址：
https://git.openi.org.cn/ColugoMum/Dataset
03、模型
并且，ColugoMum團(tuán)隊(duì)開(kāi)源了基于RP2K數(shù)據(jù)集的高精度訓(xùn)練模型和預(yù)測(cè)模型。開(kāi)發(fā)者可以在提供的訓(xùn)練模型上基于自己的數(shù)據(jù)進(jìn)行微調(diào)，也可以使用提供的預(yù)測(cè)模型直接進(jìn)行預(yù)測(cè)體驗(yàn)。同時(shí)，ColugoMum也開(kāi)啟了基于RP2K的打榜活動(dòng)，歡迎開(kāi)發(fā)者們參與。
地址：
https://git.openi.org.cn/ColugoMum/Exprements-public
04、部署框架Paddle Serving
部署方面使用飛槳服務(wù)化部署框架Paddle Serving[4]進(jìn)行部署，滿(mǎn)足用戶(hù)批量預(yù)測(cè)、數(shù)據(jù)安全性高、延遲低的需求，在CPU上僅需0.2秒即可實(shí)現(xiàn)預(yù)測(cè)效果，真正做到預(yù)測(cè)速度與精度的極致平衡。
編輯
05、商品識(shí)別教程
為了方便開(kāi)發(fā)者們更好地理解PP-ShiTu、更好地利用其在圖像識(shí)別領(lǐng)域的優(yōu)勢(shì)，ColugoMum團(tuán)隊(duì)開(kāi)源了基于圖像識(shí)別的智慧零售商品識(shí)別教程，開(kāi)發(fā)者可以在此基礎(chǔ)上使用PP-ShiTu快速對(duì)接業(yè)務(wù)。
教程地址：
https://git.openi.org.cn/ColugoMum/Goods_Recognition
06、商品識(shí)別Smart_container
基于上述核心技術(shù)，目前ColugoMum團(tuán)隊(duì)利用PP-ShiTu技術(shù)，開(kāi)源了云邊一體、符合實(shí)際場(chǎng)景應(yīng)用需求的商品識(shí)別Smart_container。其能夠精準(zhǔn)地定位顧客購(gòu)買(mǎi)的商品，并進(jìn)行智能化、自動(dòng)化的價(jià)格結(jié)算。
項(xiàng)目地址：
https://git.openi.org.cn/ColugoMum/Smart_container
編輯
當(dāng)顧客將自己選購(gòu)的商品放置在制定區(qū)域內(nèi)時(shí)，Smart_container能夠精準(zhǔn)地定位識(shí)別每一個(gè)商品，并且能夠返回完整的購(gòu)物清單及顧客應(yīng)付的實(shí)際商品總價(jià)格。而當(dāng)系統(tǒng)有新商品增加時(shí)，只需更新檢索庫(kù)即可，無(wú)需重新訓(xùn)練模型。
Smart_container覆蓋硬件結(jié)算臺(tái)、小程序管理平臺(tái)、大數(shù)據(jù)可視化平臺(tái)，實(shí)現(xiàn)了多端統(tǒng)一，智慧管理。
編輯
編輯
核心開(kāi)發(fā)團(tuán)隊(duì)
顏鑫
華東理工大學(xué)自動(dòng)化專(zhuān)業(yè)大三在讀，研究方向?yàn)槎鄼C(jī)器人的協(xié)同控制與決策，主要興趣點(diǎn)為計(jì)算機(jī)視覺(jué)、強(qiáng)化學(xué)習(xí)、推理部署。飛槳開(kāi)發(fā)者技術(shù)專(zhuān)家、Datawhale成員、華為云享專(zhuān)家、國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目第一主持人，曾獲第十三屆“挑戰(zhàn)杯”大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽上海市銅獎(jiǎng)、華東理工大學(xué)第十屆“奮進(jìn)杯”大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽金獎(jiǎng)、PPSIG優(yōu)秀開(kāi)源項(xiàng)目獎(jiǎng)等。
顏鑫的開(kāi)發(fā)心得
很榮幸能夠有這樣的機(jī)會(huì)，我們能在啟智社區(qū)分享團(tuán)隊(duì)針對(duì)“AI+實(shí)體零售”的一些想法和一些成果。
在項(xiàng)目的實(shí)際開(kāi)發(fā)過(guò)程中，團(tuán)隊(duì)曾面臨著非常多的困難，比如缺乏一個(gè)穩(wěn)定的協(xié)同開(kāi)發(fā)環(huán)境導(dǎo)致開(kāi)發(fā)效率極低、模型訓(xùn)練需要大量的計(jì)算資源導(dǎo)致我們一度陷入困境。
好在啟智社區(qū)為我們提供了鵬城實(shí)驗(yàn)室的鵬城云腦1計(jì)算資源，這不僅大大減少了我們?cè)谟布矫娴耐度氤杀荆峭昝澜鉀Q了我們?cè)陂_(kāi)發(fā)環(huán)境不完善和計(jì)算資源不充足等方面的瓶頸，才使ColugoMum項(xiàng)目的開(kāi)發(fā)周期得以極大縮短。
此外，由于當(dāng)前國(guó)際形式的強(qiáng)烈不穩(wěn)定性，ColugoMum在框架選擇上選取了國(guó)產(chǎn)深度學(xué)習(xí)開(kāi)源框架飛槳PaddlePaddle，在開(kāi)發(fā)過(guò)程中也受到了來(lái)自飛槳PaddleClas團(tuán)隊(duì)的大力支持，也期待國(guó)產(chǎn)深度學(xué)習(xí)開(kāi)源框架能越來(lái)越好。
后面ColugoMum團(tuán)隊(duì)會(huì)不斷打破產(chǎn)品和技術(shù)邊界，依托啟智社區(qū)，開(kāi)源出更多更好的、能真正賦能實(shí)體零售的開(kāi)源項(xiàng)目，真正推動(dòng)我國(guó)實(shí)體零售向智能化、數(shù)字化轉(zhuǎn)型，也期待眾多開(kāi)發(fā)者能加入我們。
沈晨
華東理工大學(xué)信息工程專(zhuān)業(yè)大三在讀，曾獲得CRAIC中國(guó)機(jī)器人及人工智能大賽上海市二等獎(jiǎng)、上海市大學(xué)生計(jì)算機(jī)應(yīng)用能力設(shè)計(jì)大賽上海市二等獎(jiǎng)，華東理工大學(xué)第十屆“奮進(jìn)杯”大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽金獎(jiǎng)，參與多個(gè)大型優(yōu)秀開(kāi)源項(xiàng)目，擁有軟件著作權(quán)兩篇，曾在IEEE國(guó)際會(huì)議發(fā)表論文一篇，另有一項(xiàng)實(shí)用新型專(zhuān)利正在受理。曾任信息學(xué)院團(tuán)委組織部副部長(zhǎng)，獲得校優(yōu)秀獎(jiǎng)學(xué)金和優(yōu)秀學(xué)生先進(jìn)稱(chēng)號(hào)。
沈晨的開(kāi)發(fā)心得
很高興能得到在啟智社區(qū)分享我們團(tuán)隊(duì)項(xiàng)目的機(jī)會(huì)，這能讓更多人看到我們團(tuán)隊(duì)的努力成果，是ColugoMum項(xiàng)目的一次機(jī)遇，同時(shí)本人也很榮幸能參與ColugoMum項(xiàng)目的開(kāi)發(fā)工作。
在項(xiàng)目開(kāi)發(fā)過(guò)程中，我得到了很多學(xué)習(xí)和成長(zhǎng)的機(jī)會(huì)，不管是在項(xiàng)目初期的程序開(kāi)發(fā)階段還是在目前的交流成長(zhǎng)階段，同團(tuán)隊(duì)成員一起精心打磨項(xiàng)目的過(guò)程雖然辛苦，但卻是對(duì)自己的挑戰(zhàn)與要求，并且與團(tuán)隊(duì)成員一起努力和成長(zhǎng)本身就是一件快樂(lè)的事情，這讓我受益匪淺。
與此同時(shí)，啟智社區(qū)和飛槳PaddleClas團(tuán)隊(duì)也給予了我們團(tuán)隊(duì)莫大的支持和幫助，這讓我們能夠花更少的時(shí)間去尋求資源，轉(zhuǎn)而精心打磨項(xiàng)目。
未來(lái)，我也將和團(tuán)隊(duì)成員一起，推動(dòng)ColugoMum項(xiàng)目走向更廣闊的沃土，為推動(dòng)實(shí)體零售的智能化、數(shù)字化做出自己的努力。
杜旭東
華東理工大學(xué)信息工程專(zhuān)業(yè)大三在讀，熟練掌握C/C++/Python/Jave/Matlab/verilog等多種編程語(yǔ)言，上海市大學(xué)生計(jì)算機(jī)應(yīng)用能力設(shè)計(jì)大賽上海市二等獎(jiǎng)，參與多個(gè)大型優(yōu)秀開(kāi)源項(xiàng)目，擁有軟件著作權(quán)兩篇，一項(xiàng)實(shí)用新型專(zhuān)利正在受理。曾任信息學(xué)院社團(tuán)管理部副部長(zhǎng)，獲得校優(yōu)秀獎(jiǎng)學(xué)金。
此外，團(tuán)隊(duì)也向曾參與項(xiàng)目研發(fā)的同學(xué)表示感謝：黃小悅、王鑫、趙祎安、周天奕、申佳川等。
面對(duì)當(dāng)前國(guó)際形式的強(qiáng)烈不穩(wěn)定因素，ColugoMum團(tuán)隊(duì)認(rèn)為國(guó)產(chǎn)的深度學(xué)習(xí)框架以及本土的托管平臺(tái)在當(dāng)前形式下更加穩(wěn)妥。因此，在項(xiàng)目推進(jìn)過(guò)程中，除了選用國(guó)產(chǎn)深度學(xué)習(xí)開(kāi)源框架飛槳PaddlePadddle之外，團(tuán)隊(duì)也受到了來(lái)自O(shè)penI啟智社區(qū)的強(qiáng)力支持。基于啟智社區(qū)中AI協(xié)作平臺(tái)的協(xié)同開(kāi)發(fā)能力、豐富的計(jì)算資源以及強(qiáng)有力的資源對(duì)接能力等，團(tuán)隊(duì)能夠更快更高效地開(kāi)展實(shí)驗(yàn)、推進(jìn)項(xiàng)目，大大縮短開(kāi)發(fā)周期，推動(dòng)AI在實(shí)體零售行業(yè)的真正落地應(yīng)用。
寫(xiě)在最后
最后，OpenI啟智社區(qū)歡迎更多開(kāi)發(fā)者共同參與零售商品識(shí)別數(shù)據(jù)集、商品識(shí)別打榜以及Smart Container的開(kāi)源共建活動(dòng)，推動(dòng)我國(guó)實(shí)體零售向數(shù)字化、智能化方向轉(zhuǎn)型發(fā)展，真正實(shí)現(xiàn)ColugoMum“降本增效、賦能零售”的使命。
同時(shí)，社區(qū)也歡迎更多優(yōu)秀的項(xiàng)目入駐OpenI進(jìn)行開(kāi)源開(kāi)放，社區(qū)將提供平臺(tái)資源和激勵(lì)機(jī)制幫助項(xiàng)目孵化發(fā)展和開(kāi)發(fā)者培育，共同促進(jìn)AI開(kāi)源開(kāi)放生態(tài)體系建設(shè)。
參考文獻(xiàn)
1.https://github.com/PaddlePaddle/PaddleClas
2. S. Wei et al., "PP-ShiTu: A Practical Lightweight Image Recognition System," arXiv preprint arXiv:2111.00775, 2021.
3. J. Peng, C. Xiao, and Y. Li, "RP2K: A large-scale retail product dataset for fine-grained image classification," arXiv preprint arXiv:2006.12634, 2020.
4.https://github.com/PaddlePaddle/Serving
