Преди няколко години едва бяхме чували за ToF И сега този тип сензор започва да се появява в техническите спецификации на много смартфони от среден и висок клас. Ако сте разглеждали скорошни телефони от Samsung, Huawei, HONOR, LG или Oppo, вероятно сте срещали израза „ToF камера“ или „ToF сензор за дълбочина“, без да сте напълно наясно какво точно прави там. модул за камера.
Любопитното е, че технологията за измерване на времето на полет изобщо не е нова.Технологията Time-of-Flight (ToF) се използва от известно време в промишлени условия, научни изследвания и дори в дневни, благодарение на устройства като Kinect на Microsoft, но масовото ѝ навлизане в мобилните телефони се случва едва сега. Нека разгледаме по-отблизо какво представлява технологията Time-of-Flight (ToF) в камерата на мобилния телефон, как всъщност работи, какви са нейните предимства и недостатъци и защо производителите я възприемат като ключов компонент за фотография, сигурност, жестове и добавена реалност.
Какво точно представлява ToF камерата или сензорът в мобилния телефон?
ToF означава Време на полет.В контекста на смартфона говорим за камера или сензор за дълбочина, способен да измерва разстоянието до всяка точка в сцената, използвайки инфрачервена светлинаТези видове камери са известни още като дълбочинни камери, 3D ToF камери или камери за измерване на времето на полет.
Идеята е много подобна на това как работи сонарът или радарътВместо звук обаче, системата използва светлина. Телефонът излъчва инфрачервен лъч към всичко, което е пред него. Тази светлина удря обекти, отскача и се връща към сензора. Чрез измерване на времето, изминало между изпращането на импулса и откриването на връщането, и знаейки скоростта на светлината, системата изчислява разстоянието.
Това изчисление се извършва за хиляди или дори стотици хиляди точки в сцената.така че сензорът знае не само какво има пред него, но и колко далеч е всяка част. Цялата тази информация се използва за генериране на 3D карта на дълбочинатаТоест, представяне на сцената, където всеки пиксел има свързана стойност на разстоянието.
Важното е, че ToF камерата не е предназначена да прави „нормални“ снимки.но да работи съвместно с другите камери на телефона. Основната му функция е да предоставя точни данни за дълбочина и позиция, които процесорът след това комбинира с RGB изображението, за да подобри портретен режим, фокусът, добавената реалност или усъвършенстваното разпознаване на лица.
Ключови компоненти на ToF камерата в смартфоните
ToF камерата на мобилния телефон не е просто „още една точка“ на задния модулно малка, цялостна система, съставена от няколко елемента, които работят заедно, за да получат тази 3D карта на дълбочината.
Първо, това е самият ToF сензор.Това е пикселна матрица, подобна на традиционен CCD или CMOS сензор, но предназначена да записва не само входящата инфрачервена светлина, но и информация за нейната фаза, амплитуда и интензитет. Всяка малка клетка измерва как се е променил светлинният сигнал, излъчван от телефона, след отблъскване от обекти.
До сензора е оптичният модул.Тоест, лещата, която фокусира отразения лъч върху сензора. Въпреки че обикновено е по-проста от оптиката на основната камера, тя изпълнява същата основна функция: насочва светлината от сцената към сензора с подходящ ъгъл и острота.
Третият основен елемент е източникът на инфрачервена светлина., обикновено под формата на светодиод или лазер, който излъчва NIR (близка инфрачервена) светлина с типична дължина на вълната между 850 и 940 nm. В много конструкции сигналът се модулира на честоти около 20 MHz, за да се разграничи ясно от околната светлина и да се приложат техники за фазово изместване, които позволяват много по-прецизно изчисляване на разстоянието.
Накрая, процесорът за дълбочина влиза в действие.Това може да бъде специален чип или блок в процесора за обработка на изображения (ISP) на SoC на телефона. Неговата функция е да преобразува суровите сензорни сигнали (данни от пиксели и фаза) в използваема карта на дълбочината, да филтрира шума, да генерира 2D IR изображение, ако е необходимо, и да подготви данните за използване от операционната система и приложенията.
Как работи ToF стъпка по стъпка
Въпреки че вътре се случва много математическа магия, физическият принцип е прост.ToF сензорът измерва колко време е необходимо на импулс от инфрачервена светлина да напусне емитера, да се отрази от обект и да се върне към детектора. Това „обиколно пътуване“ е известно като време на полет.
Основният процес може да бъде разделен на няколко стъпки които се повтарят постоянно, докато ToF камерата е активна:
- emisión: интегрираният инфрачервен емитер (LED или лазер) изстрелва импулс или поредица от импулси от модулирана инфрачервена светлина към сцената.
- Взаимодействие с обектиСветлината се разпространява, оказва въздействие върху хора, стени, мебели или други налични елементи и част от тази светлина се отразява в посока на телефона.
- ОткриванеToF сензорът улавя отразена инфрачервена светлина. Всеки пиксел записва сигнала, който получава от определена точка в сцената.
- Измерване на времетоСистемата измерва времевата (или фазова) разлика между излъчения и приетия сигнал за всеки пиксел.
- Изчисляване на разстояниетоС формулата разстояние = (скорост на светлината × време на полет) / 2, получавате колко далеч е всяка точка от телефона.
- Генериране на карта на дълбочината: всички тези стойности са организирани в матрица, която представя в 3D сцената, която вижда мобилният телефон.
Ключът е, че процесът се изпълнява за цялата сцена наведнъж.Тоест, в един кадър. Няма нужда да се фокусира последователно върху множество равнини или да се мести камерата: ToF едновременно улавя информация за дълбочината от всичко в зрителното си поле, което води до бързина и много солидна основа за 3D реконструкции.
На практика това прави поведението му по-близко до това на устройства като Kinect.който също така комбинира инфрачервен източник на светлина и специален сензор за разпознаване на хора, жестове и обекти с голяма точност. Същата философия е това, което производителите на мобилни телефони сега прилагат към предната и задната част на своите смартфони.
Предимства на ToF технологията в сравнение с други методи за дълбочина
Отчитането на дълбочината не е единствено за ToFСъществуват и други техники, като стереоскопично зрение (две камери, изчисляващи разликата в паралакса), структурирана светлина (прожектирани модели) или традиционни лазерни далекомери. Но измерването на времето на прелитане има комбинация от предимства, които го правят особено привлекателно за мобилни устройства.
Едно от най-важните е ниската консумация на енергияС един единствен източник на инфрачервена светлина, информацията за дълбочината и амплитудата се получава директно за всеки пиксел, което намалява необходимостта от сложни алгоритми, които натоварват процесора за продължителни периоди. В смартфон, където всеки милиампер е от значение, това е от решаващо значение.
Високата прецизност е друга от силните му страниПравилно калибрирани, ToF камерите могат да предложат много малки грешки в измерването, с точност в милиметров или сантиметров диапазон в зависимост от дизайна и разстоянието. Това е идеално за приложения, при които лошото изчисление на дълбочината би съсипало изживяването, като например взискателен портретен режим или детайлно сканиране на обекти.
Работата в реално време също е от значениеТези сензори са способни да заснемат пълни карти на дълбочината с висока скорост, кадър по кадър, което позволява проследяване на хора, разпознаване на жестове, навигация и изживявания с добавена реалност, които реагират почти мигновено.
Освен това, ToF предлага широк динамичен диапазон и добра толерантност към различни условия на осветление.Използвайки собствена инфрачервена светлина, камерата може да поддържа стабилни измервания както в слабо осветени помещения, така и в среди със силни контрасти, доколкото позволяват смущения от интензивна околна светлина.
Друг интересен фактор е възможността за измерване на дълги разстояния.Разчитайки на специфични лазери или инфрачервени светодиоди, ToF сензорите могат да покриват разстояния от много къси до относително широки, позволявайки откриването на близки обекти за отключване с лице до по-далечни препятствия за добавена реалност или роботика.
И накрая, в сравнение с други 3D технологии, ToF е сравнително евтина. и компактен. В сравнение със структурираните осветителни системи или LiDAR решенията с по-голям обхват, цената и размерът му са по-подходящи за потребителски устройства като смартфони, таблети или екшън камери.
Ограничения и недостатъци на ToF сензорите
Това не са всички предимства, а ToF технологията има и своите недостатъци. които производителите трябва да вземат предвид при проектирането на мобилен телефон или друго устройство.
Първото основно ограничение се крие в резолюциятаКамерите с времеизмерване на времето на полета (ToF), интегрирани в смартфоните, обикновено имат относително нисък брой пиксели в сравнение с конвенционалните сензори на камерите. Това означава, че картата на дълбочината е по-малко детайлна и, макар и достатъчна за размазване при движение или жестове, може да не е достатъчна за много фини 3D реконструкции.
Могат да се появят и артефакти от разсеяна светлина.Много лъскави повърхности или повърхности, разположени много близо до сензора, могат да отразяват твърде много светлина към приемника, причинявайки петна, ореоли или случайни грешки в измерването на дълбочината, които след това трябва да се коригират с помощта на софтуер.
Многобройните отражения създават още едно главоболиеВ ъгли, вдлъбнати повърхности или много сложни среди, светлината може да отскочи няколко пъти, преди да се върне към сензора, което води до несигурност и грешни данни, ако не е правилно филтрирана.
Интензивната околна светлина, особено пряката слънчева светлина, също не помага.При слънчеви условия на открито, пикселите на ToF сензора могат лесно да се наситет от голямото количество инфрачервена светлина, което затруднява точното откриване на излъчения импулс и намалява обхвата или надеждността на системата.
На ниво продуктов дизайн трябва да се вземе предвид и проблемът с физическото пространство.Модулът за измерване на времето на полета (ToF) заема почти същото място като конвенционална камера: той се нуждае от собствена оптика, инфрачервен излъчвател и сензор. В пренаселен интериор като този на съвременен смартфон, запазването на допълнително пространство винаги влияе върху разположението на останалите компоненти.
Разлики между ToF и LiDAR
ToF и LiDAR споделят една и съща основна идея за измерване на разстояние със светлинаВъпреки това, те обикновено се прилагат по различен начин и са насочени към частично различни ниши, въпреки че между двете технологии се появяват все повече сиви зони.
Класическите LiDAR системи почти винаги използват лазери Тези силно фокусирани сензори използват специфични механични решетки или масиви, за да сканират околната среда, постигайки големи разстояния и изключителна точност. Ето защо те са толкова често срещани в автономните превозни средства, картографирането и промишлените приложения, където обхват от метри или десетки метри е от решаващо значение.
За разлика от това, потребителските ToF сензори обикновено са по-компактни.С оптика и емитери, интегрирани в един, много по-малък модул, те са подходящи за мобилни телефони, конзоли, лаптопи или устройства за домашна автоматизация. Обхватът им е по-ограничен, но е повече от достатъчен за типична употреба със смартфон.
Разликата в цената също е от значениеВъпреки че и двата метода се основават на данни за времето на полет, висок клас LiDAR обикновено е много по-скъп от ToF модул, интегриран в телефон, така че в потребителската електроника везните обикновено се накланят към ToF поради съотношението цена/производителност.
Употреба на ToF в камерите на мобилни телефони
В ежедневната употреба, това, което ни интересува най-много, е какво подобрява ToF сензорът в мобилния телефон. срещу това да го нямаш. И тук приложенията са многобройни, въпреки че най-видимите са концентрирани в четири основни области: фотография, видео, биометрия и управление с жестове / добавена реалност.
Фотография: Дълбочина на рязкост и портретен режим
Една от областите, в които ToF блести най-ярко, е портретната фотография.Благодарение на високопрецизната карта на дълбочината, системата знае доста точно какво е на преден план и какво принадлежи на фона, което позволява много по-чист и по-естествен ефект на боке (размазване на фона).
Докато други мобилни телефони само със софтуер или двойни камери са склонни да бъдат объркващи При кичури коса, сложни ръбове или тънки обекти, добре използваният ToF сензор може по-надеждно да изолира обекта. Освен това, като улавя цялата информация за дълбочината в един кадър, процесът е много бърз и подходящ за сцени с известно движение.
Производители като Huawei и HONOR открито се хвалят с това. в модели като например Huawei P30 Pro или HONOR View 20, където ToF е съчетан с набор от камери с висока резолюция, за да осигури онази „допълнителна“ прецизност, която се забелязва и при най-взискателните портрети.
Подобрението не се ограничава само до хоратаСъщо така е полезно при снимане на обекти, домашни любимци или близки планове, където искаме меко размазан фон, без да губим острота във важните детайли на предния план.
Видео и непрекъснат фокус
Във видеото, ToF се превръща в съюзник на автофокуса.Картата на дълбочината в реално време позволява на телефона ясно да различи кой обект трябва да остане на фокус и да го коригира без колебание, когато се движи или друг обект влезе в сцената.
Това е особено полезно в бързо движещи се сценарии.като например тичащи деца, домашни любимци, спортни събития или концерти. Системата може да проследява разстоянието до обекта кадър по кадър и да го държи постоянно отделен от фона.
Някои производители също комбинират тази информация със системи за проследяване на лица или обектипостигане на много по-стабилен подход за проследяване, отколкото когато се разчита единствено на контраст или традиционно фазово откриване.
Разширено разпознаване на лица и сигурност
Друга ключова област за ToF в мобилните устройства е биометричното удостоверяване.Преден сензор за време на полет е способен да сканира лицето в три измерения, като отчита стотици хиляди точки на дълбочина в един кадър, което позволява сравняването му със съхранен модел с много по-голяма сигурност, отколкото с обикновена 2D снимка.
Това прави разпознаването на лица по-бързо и по-трудно за заблуда. със снимки, видеоклипове или други основни методи за подправяне. Марки като Vivo говорят за ToF сензори, способни да четат до 300 000 точки от лицето, предлагайки наистина детайлно картографиране.
Освен това, използвайки инфрачервена светлина, системата работи добре в тъмна среда.Това предлага ясно предимство пред методите, които разчитат на видима светлина. Много съвременни телефони с предни сензори за време на полет (ToF) могат да се отключват през нощта или в слабо осветени помещения, без да е необходимо да осветяват потребителя с много ярък екран.
Някои производители дори са отишли крачка по-далечLG G8 ThinQ, например, използва ToF сензора, за да прочете венозната структура на дланта и да я използва като алтернативен метод за отключване, добавяйки различен слой биометрия, базиран също на дълбочина и инфрачервен отклик.
Управление с жестове без докосване на екрана
Една от най-забележителните характеристики на мобилните телефони с ToF е управлението с жестове чрез въздух.Благодарение на четенето в близка дълбочина, смартфонът може да разпознае позицията на ръката на потребителя, основните му движения и да ги преобразува в команди.
LG, например, дебютира с функцията Air Motion с G8 ThinQ.Тази функция ви позволява да отговаряте на повиквания, да сменяте песни, да регулирате силата на звука или да стартирате приложения с прост жест на екрана, без реално да докосвате стъклото. Предният сензор за време на полет (ToF) интерпретира разстоянието и посоката на движенията на пръстите и дланта.
За да работи, трябва да поставите ръката си на определено разстояние от сензора., обикновено около 15-20 сантиметра, и извършват специфични движения (завъртане, плъзгане, приближаване или отдалечаване). Засега възможните действия са донякъде ограничени, но те полагат основите за по-амбициозен контрол с жестове в бъдеще.
Идеята да контролирате мобилния си телефон, без да го докосвате, има много потенциални приложения.От използване на банка или музикален плейър с мокри или мръсни ръце, до работа с телефона, когато е поставен в държач, без да се налага да се приближавате твърде близо. Всичко това благодарение на прецизното отчитане на позицията на ръката, осигурено от ToF сензора.
Разширена реалност, 3D сканиране и измерване
Времето на полет (ToF) също значително подобрява изживяването с добавена реалност (AR).Чрез надеждна карта на дълбочината, мобилното устройство може по-добре да „разбира“ геометрията на околната среда и да поставя виртуални обекти с по-голяма стабилност, предотвратявайки странното им плаване или преминаването им през стени и маси.
Марки като Oppo и HONOR подчертаха ролята на ToF в AR. в модели като Oppo RX17 Pro или HONOR View 20, показвайки игри и приложения, където потребителят взаимодейства с виртуални елементи, които зачитат реалната дълбочина на стаята.
Друго практическо приложение е измерването на разстояния, площи и обеми.С ToF камерата е възможно да се създават приложения, които изчисляват например височината на човек, размера на кутия или площта на стена със значителна точност, просто като насочите мобилния си телефон и го оставите да си свърши работата.
В областта на 3D сканирането, ToF служи като основа за моделиране на обекти. и пълни сцени: телефонът визуално сканира обекта от различни ъгли и комбинира картите на дълбочината, за да получи триизмерен модел, който след това може да се използва в дизайна, 3D печата, видеоигрите или архитектурата.
Отвъд мобилните телефони: други приложения на ToF камерите
Въпреки че тази статия се фокусира върху смартфоните, ToF технологията далеч надхвърля това. и вече се използва широко в други сектори, възползвайки се от същите предимства като точност, работа в реално време и разумна цена.
В индустриалната роботика, например, 3D карти на дълбочината в реално време Те позволяват на роботите да разбират средата си, да локализират части, да избягват сблъсъци и да си сътрудничат с хората. Робот с камера за измерване на времето на полета (ToF) може по-добре да разпознава обекти и тяхната позиция, да ги хваща прецизно и да ги поставя там, където им е мястото.
В 3D моделирането и виртуалната реалност, ToF камерите се използват за заснемане на пространства. и генерират реалистични реконструкции, които след това се изследват с VR очила или се интегрират в професионални приложения, от производството до строителството.
Има и приложения за домашна автоматизация и сигурносткато например камери, способни да откриват присъствие и движение в 3D, интелигентни врати, които разпознават хора по лицето им с дълбочина, или интерактивни системи, които реагират на жестове във въздуха по телевизори и обществени екрани.
В крайна сметка, мобилният телефон служи като чудесна демонстрация на ToF технологията.Но това, което виждаме в джобовете си, е само една част от много по-голяма екосистема, в която измерването на дълбочина в реално време набира популярност година след година.
Появата на ToF камерите в смартфоните отвори огромна гама от възможности. Това варира от снимки с по-убедително размазване на фона и по-резки видеоклипове до по-сигурно 3D отключване с лице, контрол на жестове и много по-стабилни изживявания с добавена реалност. Въпреки ограниченията на резолюцията им и предизвикателствата, породени от околната светлина или вътрешните пространства, всичко показва, че тези сензори ще продължат да се разширяват и интегрират с по-добри алгоритми, нови приложения и комбинации с други технологии като LiDAR, отбелязвайки повратна точка в начина, по който мобилните телефони „разбират“ света около тях в три измерения.
