A szenzor nagysebességű Al feldolgozást tesz lehetővé, és hozzájárul a felhőalapú optimális rendszerek felépítéséhez.*1
Tokió, Japán – A Sony Corporation bejelentette, hogy hamarosan kiadja az intelligens szenzor két modelljét, a világ első olyan képszenzorait, melyek mesterséges intelligencia (AI) által irányított feldolgozási funkcióval felszereltek. *1 A képszenzorba foglalt Al feldolgozási funkció lehetővé teszi a nagysebességű Al feldolgozást úgy, hogy csak a szükséges adatokat vonja ki, így a felhő szolgáltatásainak használatakor csökken az adatátvitel késleltetése, az energiafogyasztás és a kommunikációs költségek, valamint az adatátvitellel kapcsolatos aggályok.
*1 A képszenzorok között. A Sony kutatása alapján (a 2020. május 14-én kiadott közlemény időpontjában).
Az új termékek kibővítik a mesterséges intelligenciával felszerelt kamerák továbbfejlesztésének lehetőségeit, sokoldalú használati alternatívákat teremtenek a kiskereskedelmi- és ipari termékek iparában, és hozzájárulnak a felhő alapú optimális rendszerek felépítéséhez.
|
A felhőhöz, ami általánossá teszi az információfeldolgozó rendszerek használatát – az IoT elterjedése eredményeként – számos különböző típusú eszköz kapcsolódik, az ezekből nyert információt az AI-n keresztül a felhőben dolgozzák fel. Az itt kezelt információ növekvő mennyisége különféle problémákat vet fel. Először is megnövekedett adatátviteli késleltetést, amely akadályozza a valós idejű információfeldolgozást; másodszor a felhasználók aggályait a személyazonosításra alkalmas adatok felhőben történő tárolásának biztonságosságával kapcsolatban; illetve egyéb problémás kérdéseket is, például a felhő szolgáltatásainak megnövekedett energiafogyasztását és az ezzel járó kommunikációs költségeket.
Az új szenzoros termékek – amelyek egy pixel chipből és logikai chipből állnak – halmozott konfigurációval rendelkeznek. Ezek a világ első olyan képszenzorai, amelyek a logikai chipen AI képanalízissel és feldolgozási funkcióval felszereltek. A pixel chip által a szenzoron keresztül megszerzett jelet az AI dolgozza fel, kiküszöbölve a nagy teljesítményű processzorok vagy a külső memória szükségességét, egyúttal lehetővé téve az AI rendszerek további fejlesztését. A szenzor a metaadatokat (a képadatokhoz tartozó szemantikai információkat) adja ki a képinformációk helyett, ezzel csökkentve az adatmennyiséget, és kezelve az adatvédelmi problémákat. Ezenfelül az AI képesség lehetővé teszi változatos funkciók biztosítását különféle alkalmazáshoz, például a valós idejű tárgykövetéshez nagysebességű AI feldolgozással. Különböző AI modellek választhatók ki a belső memória átírásával is, a felhasználói igények vagy a hely feltételei szerint, ahol a rendszer használva van.
Főbb jellemzők
A világ első képérzékelője, amely AI feldolgozási funkcióval rendelkezik
A háttérvilágítású pixel chip a látószög teljes terjedelmében hozzávetőleg 12.3 megapixel információ feldolgozására képes. Ezenfelül a hagyományos képszenzorok működési áramköre mellett a logikai chipet a mesterséges intelligencia által vezérelt jelfeldolgozásáért és memóriáért felelős Sony eredeti digitális jelprocesszorával (DSP) látták el. Ez a konfiguráció lehetővé teszi a nagy teljesítményű processzorok vagy a külső memória nélkülözését, ezáltal ideális a nagy teljesítményű, mesterséges rendszerekhez.
Metaadat-kimenet
A pixel chip bejövő jelei egy képjelprocesszoron haladnak át, az AI feldolgozás pedig még a folyamat kezdeti fázisában végbemegy a logikai chipen, a kivont adatok pedig metaadat formájában lesznek elérhetők, így csökken a kezelt adat mennyisége. A képinformáció kiadásának elkerülésével csökkenthetők a biztonsági kockázatok és az adatvédelmi nehézségek. A hagyományos képszenzor által rögzített kép kapcsán a felhasználók igényeiknek megfelelően kiválaszthatják az adatkimeneti formátumot, beleértve az ISP formátumú képeket (YUV/RGB) és a ROI (Region of Interest) specifikus területi kivont képeket.
|
Nagy sebességű AI feldolgozás
Hagyományos képszenzoros videófelvételnél minden esetben szükséges elküldeni az összes egyedi kimeneti képkeretet az AI feldolgozáshoz, ami megnövekedett adatforgalomhoz és nehezebb valós idejű teljesítményhez vezethet. A Sony új szenzorával ellátott termékek képesek ISP alapú feldolgozásra és nagysebességű AI feldolgozásra (3.1 ezredmásodperces feldolgozási sebesség MobileNet V12 használata esetén) egyaránt a logikai chipen, így az egész folyamat egyetlen videókeretben végrehajtható. Ez a különleges kialakítás nagy pontosságú valós idejű rögzítést tesz lehetővé videófelvétel esetén.
*2 MobileNet V1: Képanalizációs tárgyfelismerő AI modell mobilkészülékeken.
|
■ Választható AI modell
A felhasználók beírhatják a beágyazott memóriába saját AI modelljeiket, és újraírhatják vagy fejleszthetik azokat, hogy mindenképpen megfeleljenek a felvételi helyszín körülményeinek.
Például, ha több, ezt a terméket használó kamerát telepítenek kiskereskedelmi helyszínre, akkor egyetlen típusú kamera sokoldalúan használható különböző helyiségekben, körülmények között, időpontokban vagy célokra. Az üzlet bejáratánál kiállított termékkel így könnyedén lehet rögzíteni a látogatók számát, ha polcon rögzítjük, a termék képes érzékelni a készlethiányt, a plafonon elhelyezve pedig hőtérképpel lehet követni a boltban tartózkodó vásárlókat (és érzékelni azokat a helyeket, ahol sokan gyűlnek össze). Ezenfelül a kamerákban található AI modell újraírható a hőtérképtől kezdve a vásárlói viselkedés azonosításán át sok más egyéb funkcióig.
|
Főbb jellemzők
Modell név | IMX500 (chip önmagában) | IMX501 (csomagolt termék) | |
A tényleges képpontok száma | 4056 (H) × 3040 (V), hozzávetőleg 12.3 megapixel | ||
Képméret | Átlós 7.857 mm (1/2.3 type) | ||
Cellaegység mérete | 1.55 μm (H) × 1.55 μm (V) | ||
Képfrissítés | Full pixel | 60 fps | |
Videó | 4K (4056 × 2288) 60 fps | ||
1080p 240 fps | |||
Teljes/video+AI feldolgozás | 30fps | ||
Metaadat kimenet | 30fps | ||
Érzékenység (F5.6 sztenderd érték) | Hozzávetőleg 250LSB | ||
Az érzékelő telítettségének jelszintje (minimum érték) | Hozzávetőleg 9610e- | ||
Tápegység | Analóg | 2.7V | |
Digitális | 0.84V | ||
Felületi | 1.8V | ||
Főbb funkciók | AI feldolgozási funkció, ISP, HDR felvételi mód | ||
Kimenet | MIPI D-PHY 1.2 (4 sávos) / SPI | ||
Színszűrő tömb | Bayer tömb | ||
Kimeneti formátum | Kép (Bayer RAW), ISP kimenet (YUV/RGB), ROI, metaadat | ||
Csomag tartalma | – | Kerámia LGA
12,5 mm (H) × 15,0 mm (V) |