臺大博士陳韋廷與Snap Inc.開發新AI技術 榮獲頂尖AI會議認可

商傳媒｜記者金政美／綜合報導

近年來，人臉質量評估技術在全球範圍內的應用日益廣泛，不僅在智能手機和社交媒體領域，還在零售、醫療保健、金融服務及法律和安全等行業中發揮著重要作用。這項技術的發展促進了多個行業的創新和安全性提升。

臺灣大學電子工程學研究所博士陳韋廷與國際知名社交媒體公司Snap Inc.旗下的Snap Research合作，在臉部圖像質量評估領域取得重大突破。他們的研究「DSL-FIQA: Assessing Facial Image Quality via Dual-Set Degradation Learning and Landmark-Guided Transformer」已成功獲得全球頂尖人工智慧與電腦視覺會議CVPR 2024（Conference on Computer Vision and Pattern Recognition）的認可，此技術預計將大幅提升相機功能的智慧化程度

圖片來源：當前技術發展主要是追求能讓使用者滿意的手機拍攝效果。圖/NSPCC 網站提供

舉例而言，當用戶在使用智慧型手機或其他設備拍攝自拍或他人照片時，陳博士所開發的技術可以即時評估圖像質量，能夠用來協助用戶改善拍攝照片的質量，如調整光線或構圖等，以確保拍攝出高質量的臉部圖像。這對於社交媒體用戶分享照片、視訊通話等應用場景尤為重要。此外，在安全監控、訪客管理等需要可靠人臉識別的領域，陳博士的研究成果也能發揮巨大作用。高質量的臉部圖像有助於提高人臉識別的準確性，從而增強相關系統的安全性和可靠性。

其研究引入了人臉關鍵點作為引導，使神經網路專注於人臉的重要特徵來判斷圖像質量。通過識別和定位眼睛、鼻子、嘴巴等關鍵人臉特徵，神經網路可以更加精準地評估影像的清晰度、對比度和完整性。這種以人臉特徵為導向的方法有效提高了質量評估的準確性，尤其是在處理複雜的真實世界場景時。

陳韋廷博士所提出的全新人臉質量評估演算法DSL-FIQA。圖/陳韋廷提供

除此之外，陳博士與其研究團隊開發了一種創新的人工智慧方法，透過自監督學習 (Self-supervised Learning) 去學習當前場景的影像損害，例如模糊、噪聲和低光源等因素。這些資訊能夠幫助神經網路 (Neural Network) 更準確地評估人臉影像質量。該方法克服了現有圖像質量評估演算法在臉部表現方面的不足，改善了先前研究中存在的損害評估不準確問題。

值得關注的是，目前公開的人臉質量評估資料集在性別和種族表現方面存在顯著的不平衡問題。這導致現有的人臉質量評估演算法在處理不同性別和膚色的臉部圖像時，其表現可能會有所差異，從而影響其在實際應用中的公平性和準確性。而陳博士的研究則通過引入迄今為止最大且最全面的臉部質量評估數據集，顯著降低了性別和種族相關的偏差，並納入了更多存在遮擋情況的案例，從而解決了這一問題。這一數據集的構建提高了人臉質量評估技術的可靠性和有效性，使其能夠更好地應對多樣化的真實世界場景。

這項突破性的研究成果不僅能促進Snapchat、Facebook、Instagram等社交媒體平台相機功能的進步，也為人臉識別、情緒分析、虛擬試妝等其他需要可靠臉部圖像的領域奠定了基礎。陳博士的研究專注於人工智慧、圖像質量增強與重建、電腦視覺和計算攝影等領域。迄今為止，他已發表36篇人工智慧、電腦視覺相關論文，研究成果獲得了國際學術界的廣泛認可。