新京報訊（記者張建林）12月11日，記者從華中科技大學（以下簡稱「華科大」）獲悉，該校軟件學院白翔教授領銜的VLRLab團隊近日發佈了多模態大模型——「Monkey」（意為「猴子」）。該模型能夠實現對世界的「觀察」，對圖片進行精確描述。
多模態大模型是一種可以同時處理和整合多種感知數據（例如文本、圖像、音頻等）的AI架構，近年來在眾多場景中展現了驚人的能力。
團隊將Monkey代碼在全球最大的代碼託管服務平台GitHub上開源。華中科技大學供圖據介紹，Monkey模型在18個數據集上的實驗中表現出色，特別是在圖像描述和視覺問答任務方面超越了眾多現有的知名模型，如微軟的LLaVA、Google的PaLM-E、阿里的mPLUG-Owl等。此外，Monkey在文本密集的問答任務中顯示出顯著的優勢，甚至在某些樣本上超越了業界公認的領先者——OpenAI的多模態大模型GPT-4V。
Monkey的一個顯著特點是出色的「看圖說話」能力。在詳細描述任務中，Monkey展現了對圖像細節的感知能力，能夠察覺到其他多模態大模型所忽略的內容。
在一張圖片中，Monkey可以正確地將其識別為埃菲爾鐵塔，並對其構圖和配色方案作出詳細描述。而對於圖中左下角的文字，只有Monkey和GPT-4V能將其準確地識別為作者名。
Monkey可以正確地將其識別為埃菲爾鐵塔，並對其構圖和配色方案作出詳細描述。華中科技大學供圖目前，幾乎所有多模態大模型都需要運用網上爬取的圖文數據集，這些數據集只能進行簡單的圖文描述，無法滿足大解像度圖片的需求。Monkey巧妙利用現有的工具構建了一種多層級的描述生成方法，即通過五個步驟依次對圖片進行整體簡述、空間定位、模塊化識別、描述賦分選取和最終總結。
Monkey能夠結合不同工具的特性，來大幅度提升描述的準確性和豐富程度。「一個個工具就好比不同的零件，合理的排列組合才能使其發揮最大作用。」白翔說。
他介紹，團隊從2003年便開始從事圖像識別研究，去年又從海外引進了專攻多模態大模型的青年人才，Monkey的最終方案是大家一起反復討論、嘗試了10餘種方案後才最終確定的。
此外，Monkey的另一亮點是能夠處理解像度高達1344×896像素的圖像，這是目前其他多模態大模型所能處理的最大尺寸的6倍。這意味著Monkey能對更大尺寸的圖片進行更準確、豐富、細緻的描述甚至推理。
記者瞭解到，目前業內能處理的圖片最大解像度為448×448像素，而想要進一步提升處理能力，需投入十分高昂的算力成本。
如何以更低成本擴大輸入解像度？該團隊成員劉禹良向記者介紹，團隊採用了創新性的「裁剪」方法，將原始輸入圖片分割成多個塊，每塊尺寸小於448×448像素，並為每個塊配備了一個「放大鏡」，放到合適的位置就可以「看」清更多細節。多個「放大鏡」同時工作，分別「放大」不同的圖片塊，就能提取更多局部特徵。
編輯 陳靜
校對 李立軍
華科大研發出具備出色「看圖說話」能力的人工智能「小猴子」 - 新浪香港
Read More
No comments:
Post a Comment