Kwantimetriese beeldverwerking: 5 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:27

(Bogenoemde figuur illustreer die vergelyking van die bestaande beeldverwerkingsmetode met kwantimetriese beeldverwerking. Let op die verbeterde resultaat. Beeld regs bo wys vreemde artefakte wat afkomstig is van verkeerde aanname dat foto's iets soos lig meet. Beeld regs onder toon 'n beter resultaat deur dieselfde te doen kwantimetries.)

In hierdie instruksies leer u hoe u die prestasie van bestaande beeld- of sigwaarnemingstelsels aansienlik kan verbeter deur 'n baie eenvoudige konsep te gebruik: kwantimetriese beeldwaarneming

Kwantimetriese beeldverwerking verbeter aansienlik op een van die volgende:

• Bestaande beeldverwerking soos beeldvervaag;
• Masjienleer, rekenaarvisie en patroonherkenning;
• Drabare gesigherkenning (sien https://wearcam.org/vmp.pdf), AI en HI gebaseerde visie, ens.

Die basiese idee is om die beelde kwantimetries voor te verwerk en na te verwerk, soos volg:

1. Brei die dinamiese omvang van die beeld of beelde uit;
2. Verwerk die beeld of beelde soos gewoonlik;
3. Druk die dinamiese omvang van die beeld of beelde saam (dws stap 1 ongedaan maak).

In vorige instruksies het ek 'n paar aspekte van HDR (High Dynamic Range) sensing en kwantimetriese sensing geleer, bv. lineariteit, superposisie, ens.

Laat ons nou hierdie kennis gebruik.

Neem enige bestaande proses wat u wil gebruik. Die voorbeeld wat ek sal toon, is beeldvervaag, maar u kan dit ook vir omtrent enigiets anders gebruik.

Stap 1: Brei die dinamiese omvang van u prent of beelde uit

(Syfers aangepas uit "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, November 2001)

Die eerste stap is om die dinamiese omvang van die invoerbeeld uit te brei.

Ideaal gesproke moet u eers die reaksiefunksie van die kamera, f, bepaal en dan die omgekeerde reaksie, f inverse, op die beeld toepas.

Tipiese kameras is kompressief van dinamiese omvang, daarom wil ons gewoonlik 'n uitgebreide funksie toepas.

As u nie die reaksiefunksie ken nie, probeer dan iets eenvoudig, soos om die prent in 'n beeldreeks te laai, die veranderlikes na 'n datatipe soos (float) of (double) te gooi en elke pixelwaarde na 'n eksponent te verhoog, soos byvoorbeeld om elke pixelwaarde in kwadraat te vier.

Rasionaal:

Waarom doen ons dit?

Die antwoord is dat die meeste kameras hul dinamiese omvang saamdruk. Die rede waarom hulle dit doen, is dat die meeste vertoonmedia dinamiese omvang uitbrei. Dit is heel toevallig: die hoeveelheid lig wat deur 'n katodestraalbuis-televisie vertoon word, is ongeveer gelyk aan die spanning wat tot die eksponent van 2.22 verhoog word, sodat die hoeveelheid lig wat uitgestraal word, baie hoog is minder as die helfte.

Fotografiese media is ook uitgestrek in dinamiese omvang. Byvoorbeeld, 'n fotografiese "neutrale" grys kaart gee 18% van die invallende lig uit (nie 50% van die invallende lig nie). Hierdie baie lig (18%) word beskou as in die middel van die reaksie. Soos u kan sien, as ons na 'n uitsetgrafiek kyk as 'n funksie van insette, vertoon vertoonmedia asof dit ideale lineêre vertonings is wat 'n dinamiese reikwydte -uitbreider bevat voor die ideale lineêre reaksie.

In die boonste figuur hierbo kan u die skerm sien met 'n stippellyn, en dit is gelykstaande aan 'n uitbreiding voor die ideale lineêre vertoning.

Aangesien skerms inherent uitgestrek is, moet kameras ontwerp word om kompressief te wees, sodat die beelde goed lyk op die bestaande skerms.

In die ou dae toe daar duisende televisie -ontvanger -skerms en net een of twee uitsaaistasies was (bv. Net een of twee televisiekameras), was dit makliker om 'n kompressiewe nie -lineariteit in die kamera te plaas as om alle televisies en sit een in elke televisie -ontvanger.

Per ongeluk het dit ook gehelp met die vermindering van geraas. In klank noem ons dit 'Dolby' ('companding') en gee ons 'n patent daarvoor. In 'n video gebeur dit heeltemal per ongeluk. Stockham het voorgestel dat ons die logaritme van beelde moet neem voordat ons dit verwerk, en dan die antilog neem. Wat hy nie besef het nie, is dat die meeste kameras en skerms dit al toevallig doen. Wat ek voorgestel het, is dat ons presies die teenoorgestelde doen van wat Stockham voorgestel het. (Sien "Intelligente beeldverwerking", John Wiley and Sons Interscience Series, bladsy 109-111.)

In die onderste prentjie sien u die voorgestelde anti-homomorfe (kwantimetriese) beeldverwerking, waar ons die stap van uitbreiding en kompressie van die dinamiese omvang bygevoeg het.

Stap 2: Verwerk die beelde, of voer die rekenaarvisie, masjienleer of dies meer uit

Die tweede stap, na uitbreiding van dinamiese omvang, is om die beelde te verwerk.

In my geval het ek eenvoudig 'n dekonvolusie van die beeld uitgevoer, met die vervagingfunksie, dit wil sê beeldvervaag, soos algemeen bekend is in die stand van die techniek.

Daar is twee breë kategorieë van kwantimetriese beeldwaarneming:

• Om mense te help sien;
• Helpende masjiene sien.

As ons probeer om mense te help sien (wat die voorbeeld is wat ek hier toon), is ons nog nie klaar nie: ons moet die verwerkte resultaat terugneem na die beeldruimte.

As ons masjiene help sien (bv. Gesigherkenning), is ons nou klaar (hoef nie verder te gaan met stap 3 nie).

Stap 3: Druk die dinamiese omvang van die resultaat weer saam

As ons in 'n uitgebreide dinamiese omvang werk, word gesê dat ons in 'ligruimte' (kwantimetriese beeldruimte) is.

Aan die einde van stap 2 is ons in 'n ligte ruimte en moet ons terugkeer na die beeldruimte.

Hierdie stap 3 handel dus oor die terugkeer na die beeldruimte.

Om stap 3 uit te voer, druk eenvoudig die dinamiese omvang van die uitset van stap 2 saam.

As u die reaksiefunksie van die kamera ken, pas dit eenvoudig toe om die resultaat te kry, f (p (q)).

As u nie die reaksiefunksie van die kamera ken nie, moet u net 'n goeie raaiskoot bereken.

As u die beeldpiksels in stap 1 kwadraat, is dit nou die tyd om die vierkantswortel van elke beeldpixel te neem om terug te kom na u raaiskoot rakende die beeldruimte.

Stap 4: U wil dalk ander variasies probeer

Ontluistering is slegs een van die vele moontlike voorbeelde. Beskou byvoorbeeld die kombinasie van veelvoudige blootstellings.

Neem twee foto's, soos die twee wat ek hierbo het. Die een is bedags geneem en die ander snags.

Kombineer dit om 'n skemeragtige prentjie te maak.

As jy dit net saamgemerk het, lyk dit soos vullis. Probeer dit self!

Maar as u eers die dinamiese omvang van elke prent uitbrei, dit dan byvoeg en dan die dinamiese omvang van die som saamdruk, lyk dit goed.

Vergelyk beeldverwerking (die toevoeging van die beelde) met kwantimetriese beeldverwerking (uitbreiding, byvoeging en dan komprimering).

U kan my kode en meer voorbeeldmateriaal hier aflaai:

Stap 5: Gaan verder: probeer dit nou met HDR -beeldsamestellings

(Bo -beeld: HDR -sweishelm maak gebruik van kwantimetriese beeldverwerking vir vergrote werklikheidsoorleggings. Sien Slashgear 2012 12 September.)

Samevattend:

neem 'n prentjie en pas die volgende stappe toe:

1. die dinamiese omvang van die beeld uit te brei;
2. verwerk die beeld;
3. druk die dinamiese omvang van die resultaat saam.

En as u 'n nog beter resultaat wil hê, probeer dan die volgende:

neem 'n veelvoud aan verskillende blootgestelde beelde vas;

1. brei die dinamiese omvang uit in ligruimte, volgens my vorige Instructable on HDR;
2. verwerk die resulterende kwantimetriese beeld, q, in ligruimte;
3. pers die dinamiese omvang deur middel van tonekaart.

Om pret te hê, klik op 'Ek het dit gemaak' en plaas u resultate, en ek lewer graag kommentaar of bied konstruktiewe hulp.