索尼發布兩款具(jù)備AI處理(lǐ)功能(néng)的智能(néng)視覺傳感器

日本，東京——索尼公(gōng)司（下稱：索尼）今天宣布将發布兩款具(jù)備AI（人工(gōng)智能(néng)）處理(lǐ)功能(néng)的智能(néng)視覺傳感器。圖像傳感器自帶AI處理(lǐ)功能(néng)，可(kě)在實現高速的邊緣AI處理(lǐ)的同時隻提取必要數據，從而減少使用(yòng)雲端服務(wù)時的數據傳輸延遲，保證隐私安(ān)全，并降低功耗和通信成本。

       新(xīn)發布的圖像傳感器極大拓寬了AI攝像頭的研發空間，将有(yǒu)望廣泛應用(yòng)于零售和工(gōng)業設備行業，并有(yǒu)助于構建與雲端連接的優化系統。

智能(néng)視覺傳感器 左：IMX500 右：IMX501

       物(wù)聯網的普及讓所有(yǒu)類型的設備都能(néng)連接到雲端，使得信息處理(lǐ)系統得到廣泛應用(yòng)，從這些設備獲得的信息需通過雲上的AI進行處理(lǐ)。另一方面，雲端處理(lǐ)的信息量越來越大，也帶來了各種問題：數據傳輸延遲的增加，阻礙了實時信息處理(lǐ)；在雲端存儲個人身份數據相關的用(yòng)戶隐私安(ān)全問題；雲服務(wù)的使用(yòng)功耗和通信成本的提高等其它問題。

       新(xīn)款傳感器的特點是像素芯片和邏輯芯片組成的堆疊式結構，在邏輯芯片上配備了AI圖像分(fēn)析和處理(lǐ)功能(néng)的圖像傳感器。像素芯片獲取的信号通過傳感器上的AI進行處理(lǐ)，無需高性能(néng)處理(lǐ)器或外部存儲，可(kě)助力邊緣AI系統的開發。傳感器輸出元數據（屬于圖像數據的語義信息）而不是圖像信息，從而減少了數據量并保證了隐私安(ān)全。此外，AI能(néng)夠為(wèi)廣泛應用(yòng)領域提供多(duō)樣化的功能(néng)，例如高速AI處理(lǐ)下進行實時對象跟蹤。也可(kě)以根據用(yòng)戶的需求或系統使用(yòng)位置重新(xīn)編寫内存來選擇不同的AI模型。

索尼智能(néng)視覺傳感器介紹視頻：https://v.youku.com/v_show/id_XNDY3MjE1MDUwNA==.html

主要功能(néng)

·  具(jù)備AI處理(lǐ)功能(néng)的圖像傳感器

       像素芯片是背照式進光的，有(yǒu)效像素約為(wèi)1230萬，可(kě)以捕捉廣闊視角的圖像信息。除了傳統的圖像傳感器操作(zuò)電(diàn)路外，其邏輯芯片還配備了索尼原發的DSP（數字信号處理(lǐ)器），專門用(yòng)于AI信号處理(lǐ)，并為(wèi)AI模型存儲。這種配置無需高性能(néng)處理(lǐ)器或外部存儲，使其成為(wèi)邊緣AI系統的理(lǐ)想選擇。

·  元數據輸出

       像素芯片采集的信号通過ISP（圖像信号處理(lǐ)器）進行處理(lǐ)，并在邏輯芯片的處理(lǐ)層進行AI運算，将提取的信息作(zuò)為(wèi)元數據輸出，可(kě)以減少需要處理(lǐ)的數據量。同時，不輸出圖像信息有(yǒu)助于降低安(ān)全風險和保證隐私安(ān)全。除了傳統圖像傳感器捕捉的圖像外，用(yòng)戶還可(kě)以根據自己的需要和用(yòng)途選擇數據輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區(qū)域）特定區(qū)域提取圖像。

可(kě)選擇數據輸出格式，以滿足各種需要

· 高速AI處理(lǐ)

       當使用(yòng)傳統的圖像傳感器錄制視頻時，需要發送每一幀的視頻數據進行AI處理(lǐ)，導緻數據傳輸量大，難以實時呈現結果。索尼的新(xīn)款傳感器産(chǎn)品在邏輯芯片上進行ISP處理(lǐ)和高速AI運行（MobileNet V1*1 3.1毫秒(miǎo)處理(lǐ)），在一個視頻幀内完成整個過程。這種設計可(kě)以在錄制視頻的同時保證高精(jīng)度、實時的目标追蹤。

*1 mobilenet V1：一種用(yòng)于移動設備上目标識别的圖像分(fēn)析AI模型。

· 可(kě)自由選擇AI模型

       用(yòng)戶可(kě)以将自己選擇的AI模型寫入嵌入式内存中(zhōng)，并根據其需求或系統使用(yòng)位置對其進行改寫和更新(xīn)。例如，當多(duō)個搭載新(xīn)款傳感器的攝像頭被安(ān)裝(zhuāng)在零售場所時，某個單一類型的攝像頭可(kě)以在不同的地點、環境、時間或目的下使用(yòng)：當安(ān)裝(zhuāng)在場所入口時，可(kě)用(yòng)于計算訪客人數;當安(ān)裝(zhuāng)在商(shāng)店(diàn)的貨架上時，可(kě)以用(yòng)來檢測庫存短缺;當安(ān)裝(zhuāng)在天花(huā)闆上時，它可(kě)以用(yòng)來繪制商(shāng)店(diàn)客流的熱力圖 （探測到許多(duō)人聚集的位置），等等。此外，指定相機中(zhōng)的AI模型可(kě)以被改寫，從一個用(yòng)于檢測熱力圖的模型變成一個用(yòng)于識别消費者行為(wèi)的模型，等等。

攝像頭在商(shāng)場中(zhōng)使用(yòng)的案例

主要參數