A NEURAL NETWORK MODEL FOR HUMAN FACE BOUNDARY DETECTION

Sergiy Bushuyev; Yurii Kulakov; Liudmyla Tereikovska; Ihor Tereikovskyi; Oleh Tereikovskyi

A Neural Network Model for Human Face Boundary Detection

Management of Development of Complex Systems

Abstract

The relevance of the implementation of means of recognition of the emotional state by the image of the face into the personnel management system is well-founded. It is shown that the implementation of such tools leads to the need to adapt the values of architectural parameters of neural network models for detecting the boundaries of target objects on bitmap images to the expected conditions of use. An approach to determining the most effective type of neural network model is proposed, which involves expert evaluation of the effectiveness of acceptable types of models and conducting computer experiments to make a final decision. As a result of the conducted research, it was determined that among the types of neural network models tested in the task of segmentation of raster images, the U-Net model is the most effective for detecting facial borders on small raster images. Using this neural network model provides a mask selection accuracy of 0.88. At the same time, the necessity of imp...

Завдання розпізнавання зображень маски на обличчі людини є актуальним, оскільки це дозволяє виявляти присутність людей без масок в освітніх закладах, транспортних засобах, торгових центрах та в інших приміщеннях. Проте, існуючі методи розпізнавання зображень маски з використанням штучних нейронних мереж потребують складної і тривалої процедури навчання. Застосування методу Віоли-Джонса дозволяє з високою швидкодією детектувати об'єкти на зображеннях, але з відносно низькою точністю. Завдяки використанню нечіткої логіки можливо підвищити точність системи розпізнавання, але це потребує визначення впливу основних внутрішніх і зовнішніх факторів на функціонування такої системи. Розроблено концептуальну та логічну моделі прототипу комп'ютерної системи розпізнавання зображень маски, в якій детектування положення облич та їх елементів на зображеннях виконується методом Віоли-Джонса за допомогою каскадів Хаара. Розпізнавання маски на обличчі виконується засобами нечіткої логіки з використанням бази знань Мамдані. За допомогою логічної моделі засобами пакету Mental Modeler досліджено вплив параметрів системи на точність розпізнавання маски. На основі аналізу логічної моделі системи встановлено, що для забезпечення високої точності розпізнавання обличчя та маски потрібно встановити високі значення роздільної здатності відеокамери, рівня освітлення, кількості каскадів Хаара та кількості значень їх параметрів. З цією ж метою потрібно встановити низькі значення відстані об'єкту до відеокамери та орієнтацію облич в анфас відносно відеокамери. У роботі сформовано концептуальну та логічну моделі системи розпізнавання зображень маски на обличчі методом Віоли-Джонса з використанням нечіткого логічного виведення. Розроблено нечіткі когнітивні карти, які використано для обґрунтування структури системи розпізнавання зображень маски. Описана у роботі послідовність побудови прототипу системи розпізнавання зображень маски та аналізу параметрів такої системи може бути застосована студентами інженерно-педагогічних спеціальностей для побудови різноманітних комп'ютерних систем обробки зображень та з навчальною метою. ключові слова: цифровізація освіти, STEM-освіта, моделювання системи розпізнавання зображень, метод Віоли-Джонса, каскади Хаара, нечітка логіка, нечіткі когнітивні карти, інженерно-педагогічні спеціальності.

Предмет исследования. Исследована проблема распознавания лиц в масках. Показано, что разнообразные по форме, текстуре и цвету реальные маски создают проблемы для современных систем распознавания изображений лиц. Одна из таких причин-отсутствие необходимых реальных наборов обучающих данных. Создание новых данных на базе простых методов формирования масок на изображениях лиц может решить эту проблему. Метод. Предложен оригинальный метод, включающий генерацию различных типов, форм и цветов масок непосредственно на оригинальной текстуре изображений лиц. При этом учитывалось формирование масок на лицах отдельных людей, лицах в групповых фото и в сценах с потоками людей. Основные результаты. На основе 100 оригинальных изображений лиц из базы «СUHK Face Sketch Database» создана тестовая база, которая включает в себя более 20 000 изображений лиц с масками, доступных для использования. Выполнены эксперименты по распознаванию лиц тестовой базы в рамках реализованных четырех систем: трех современных на базе «глубокого обучения» и одной детерминированной-на базе косинус-преобразования. Оценена результативность этих систем, интерпретированы полученные результаты распознавания лиц в масках и отмечены маски, которые были проблемой для выбранных систем. Практическая значимость. Предложенный метод генерации масок может быть использован для создания баз данных и тестовых баз изображений с масками. Полученные результаты будут полезны исследователям и специалистам в области обработки и анализа изображений. Ключевые слова генерация масок, распознавание изображений лиц, антропометрия лица, нейросети, экстрактор признаков, метрика косинусного подобия, критерий минимального расстояния Благодарности Работа выполнена при поддержке проекта фонда РФФИ № 20-04-60529-вирусы, а также частично в рамках бюджетной темы № FFZF-2022-0005.

Представлен аналитический обзор применения методов цифровой лицевой антропометрии в научных и практических задачах. Исследование включает краткую историю появления антропометрии (как описательной и сравнительной науки, предметом исследования которой является человек) и ее трансформацию в современные компьютерные методы. Рассмотрены особенности применения цифровой лицевой антропометрии. Рассмотрены: понятия морфотипа и фенотипа лица; задачи морфологии и морфометрии как базовых средств цифровой лицевой антропометрии; методы количественной и качественной оценки характеристик и параметров лиц; задачи поиска ассоциаций между наборами генов в геноме и чертами лица человека; задачи оценки привлекательности лиц; связь лицевой антропометрии с «лицами Чернова» и когнитивной компьютерной графикой, используемой в практической медицине; проблема определения эмоций, пола и психотипа человека; особые случаи задач распознавания изображений лиц, способы их решения в рамках цифровой лицевой антропометрии и примеры их решения. Определен прогноз тесной связи цифровой лицевой антропометрии и интернета вещей в современном мире. Ключевые слова цифровая лицевая антропометрия, оценка характеристик и параметров лица человека, привлекательность и красота лица, поиск ассоциаций с геномами (GWA), «лица Чернова», когнитивная компьютерная графика, распознавание изображений лиц, интернет вещей

Статтю присвячено дослідженню можливостей криміналістичного (сигналетичного) 3D-сканування зовнішності людини. Охарактеризовано 3D-сканування як перспективний метод наочно-предметного фіксування криміналістично значущої інформації. Криміналістичне (сигналетичне) 3D- сканування людини визначено як процес фіксування розмірно-просторових та кольорових характеристик ознак зовнішності людини за допомогою спеціалізованого програмно-апаратного комплексу задля отримання цифрової тривимірної моделі тіла людини чи окремих елементів її зовнішності. Запропоновано та охарактеризовано основні способи сигналетичного 3D- сканування: з використанням методу поліфотограмметричної фотозйомки, з використанням 3D-сканерів загального призначення та вузькоспеціалізованих комплексів для сканування зовнішності людини, наведено переваги й недоліки кожного способу. Наголошено, що в сучасних умовах найбільш реалістичним є 3D-сканування зовнішності людини з використанням безконтактних 3D- сканерів загального призначення. Залежно від конкретного об’єкта виокремлено криміналістичне 3D-сканування обличчя, погруддя, усього тіла людини, окремих частин тіла (анатомічних елементів зовнішності) та супутніх елементів зовнішності, а також сканування живих людей і трупів. Наведено алгоритми 3D-сканування обличчя, погруддя та всього тіла людини. Описано порядок дій для обробки відсканованих сирих даних та створення 3D-моделі елемента зовнішності людини з використанням програмного комплексу Artec Studio 17. Продемонстровано результати експериментального 3D-сканування погруддя та всього тіла людини. Запропоновано можливі напрямки використання криміналістичного (сигналетичного) 3D-сканування людини в практиці розкриття і розслідування кримінальних правопорушень. The article is devoted to researching the capabilities of forensic (signal) 3D scanning of a person's appearance. 3D scanning is characterized as a promising method of visual-object recording of forensically significant information. Forensic (signal) 3D scanning of a person is defined as the process of recording dimensional, spatial and color characteristics of a person's appearance with the help of a specialized hardware and software complex to obtain a digital three-dimensional model of a person's body or individual elements of their appearance. The main methods of signal 3D scanning are proposed and characterized: using the method of polyphotogrammetric photography, using 3D scanners of general purpose and highly specialized complexes for scanning a person's appearance, the advantages and disadvantages of each method are given. It is emphasized that in modern conditions 3D scanning of a person's appearance using non-contact 3D scanners of general purpose is the most realistic method. Depending on the specific object, forensic 3D scanning of the face, chest, entire human body, individual parts of the body (anatomical elements of the appearance) and accompanying elements of the appearance, as well as scanning of living people and corpses, are distinguished. Algorithms for 3D scanning of a person's face, chest, and entire body are given. The procedure for processing scanned raw data and creating a 3D model of a human appearance element using the Artec Studio 17 software complex is described. The results of experimental 3D scanning of the chest and the entire human body are demonstrated. Possible ways of using forensic (signal) 3D scanning of a person in the practice of uncovering and investigating criminal offenses are proposed.

The paper presents a methods of image local features extraction research in relation to people authentication problem by face thermogram. As a part of the study, there were formed two datasets for methods training and testing: photographic images and face images in the long-wavelength infrared specter (LWIR) with various factors. The novelty of this study is due to the approach to collecting datasets to verify the accuracy of authentication methods. The dataset was collected with more realistic conditions that affect the quality of authentication, such as changing facial expressions, wearing glasses, medical masks, applying make-up/cosmetics, changing the lighting and temperature conditions of the environment, rotating the head. The methods core is based on the idea of constructing a vector of image features while reducing the dimension and highlighting the boundaries. Likewise, the methods of this group cope well with extracting features task on images and are widely used in the tasks of authentication by 2D face image, as well as in other computer vision tasks. In this paper, four classical methods of local feature extraction are considered: the method of locally binary templates, Gabor wavelets, scale-invariant feature transformation, and Weber's local descriptor. The classifiers for the feature vectors comparison in this research are SVM and the simplest Perceptron-the basic methods of machine learning. As part of the study, a comparative analysis of each method was carried out in relation to the collected datasets. The methods were trained and tested on a collected face dataset of over 632,000 images of 152 people. As a result of the comparative analysis, it can be concluded that the method of local binary features demonstrates the best result among the considered methods for both types of data: for face thermograms (for SVM-0,57, for Perceptron-0,58), for photographic images (for SVM-0,71, for Perceptron-0,73). Furthermore, the SIFT method showed similar results: for face thermograms (for SVM-0,58, for Perceptron-0,55), for photographic images (for SVM-0,72, for Perceptron-0,74). Gabor filters and Weber local descriptor application demonstrate a low accuracy rate in the authentication task by both types of data. The results of the work can be used in access control and management systems to increase the fault tolerance of person authentication. The appliance of the considered methods are effective in the tasks such as processing thermograms for authentication a person by so-called "secondary" signs, for example, by the veins and vessels on face patterns, in cases of facial expressions and appearance changes.

Федеральное государственное бюджетное научное учреждение «Иркутский научный центр хирургии и травматологии», г. Иркутск, Россия 2 Государственное бюджетное учреждение здравоохранения «Иркутская ордена "Знак почета" областная клиническая больница», г. Иркутск, Россия Представлено клиническое наблюдение хирургического лечения персистенции вторичного гиперпаратиреоза (ВГПТ) у пациентки с хронической болезнью почек после ранее проведенной паратиреоидэктомии (ПТЭ). Программный гемодиализ начат в 2014 г., а в 2016 г. диагностирован ВГПТ. В ноябре 2018 г. в одной из клиник были выставлены показания к оперативному лечению. По данным сцинтиграфии наблюдалось повышение функциональной активности всех четырех околощитовидных желез (ОЩЖ), по данным УЗИ установлена локализация правой нижней, левой верхней и нижней ОЩЖ. Было проведено удаление 3 ОЩЖ без ревизии рогов тимуса (11.2018), при этом в послеоперационном периоде адекватного снижения паратгормона не наблюдалось. После дообследования по данным ультразвукового исследования, сцинтиграфии и мультиспиральной компьютерной томографии шеи с внутривенным усилением было установлено, что обе нижние ОЩЖ располагаются в верхних рогах тимуса. В июле 2020 г. выполнено повторное оперативное вмешательство в объеме правой нижней и левой нижней ПТЭ с положительной интраоперационной пробой. Ремиссия ВГПТ была достигнута. В настоящее время консенсуса в отношении объема оперативного вмешательства при ВГПТ не достигнуто, поскольку не обнаружено статистически значимых различий в частоте персистенции/рецидива ВГПТ. Необходима полная оценка результатов предоперационных методов визуализации при планировании оперативного вмешательства. Интраоперационный мониторинг ПТГ является эффективной методикой для оценки радикальности оперативного лечения.

Використання систем розпізнавання зображень відіграє вагому роль у процесі навчання магістрів із професійної освіти. Це надає їм широкі можливості для розвитку та поглиблення знань. Основна перевага вивчення таких систем полягає в тому, що це допомагає студентам зрозуміти та освоїти принципи функціонування технологій розпізнавання зображень, які є ключовим елементом їхньої інженерної освіти. У процесі навчання в студентів формуються навички, які є необхідними на сучасному ринку праці. Побудова системи розпізнавання зображень маски на обличчі людини є актуальним завданням, оскільки це дозволяє в умовах карантину виявляти присутність людей без масок у торгових центрах, транспортних засобах, освітніх закладах та в інших приміщеннях. Існуючі методи розпізнавання зображень із використанням штучних нейронних мереж потребують тривалої процедури навчання. Детектувати ділянки облич на зображеннях можливо швидкодіючим методом Віоли-Джонса з використанням каскадів Хаара. Збільшення точності розпізнавання зображень маски на обличчі забезпечується комплексним застосуванням методу Віоли-Джонса та засобів нечіткої логіки. Проте, побудова системи розпізнавання зображень маски на обличчі потребує детального аналізу предметної області, визначення впливу основних зовнішніх та внутрішніх факторів на функціонування системи. Розроблено фізичну модель системи розпізнавання зображень маски на обличчі, в якій детектування облич на зображеннях виконується методом Віоли-Джонса з використанням каскадів Хаара. Розпізнавання маски на обличчі виконується засобами нечіткої логіки з використанням нечітких баз знань Мамдані. На основі аналізу фізичної моделі системи створено програму на мові Python для детектування облич, очей та рота з використанням каскадів Хаара, використано нечітку логіку для розпізнавання облич із урахуванням очей та рота для розпізнавання маски, виконано апаратно-програмну реалізацію системи на мові Python із використанням бібліотеки OpenCV засобами хмарної платформи Google Colab та мікрокомп'ютера Raspberry Pi 3В+. У роботі, з навчальною метою, описана послідовність побудови системи розпізнавання зображень маски на обличчі. Як джерело початкових зображень використано цифрові відеокамери, які можуть розміщуватися у різноманітних приміщеннях, наприклад, в аудиторіях, транспортних засобах, приміщеннях вокзалів, торгових центрах тощо. Система розпізнавання маски на обличчі може бути використана для вивчення принципів побудови комп'ютерних систем обробки зображень, зокрема, систем розпізнавання образів. Ключові слова: цифровізація освіти, система розпізнавання зображень, нечітка логіка, метод Віоли-Джонса, каскади Хаара, інженерно-педагогічні спеціальності, магістри з професійної освіти.

Вінницький національний технічний університет, Вінниця Анотація. В даній роботі проаналізовано технології створення веб-додатків, внаслідок чого обрано Progressive Web App як найбільш відповідну для розв'язання поставлених задач. Досліджено особливості використання інтелектуальних технологій для проблеми розпізнавання зображень. Акцент зроблено на методах, які використовують бібліотеку для нейронних мереж TensorFlow. Створено власну модель згорткової нейронної мережі для розпізнавання зображень. Для навчання моделі було обрано набір даних «The Quick, Draw! Dataset» від корпорації Google. Визначено, що прогресивний веб-додаток надає можливість швидше за аналоги надавати результуючу вибірку користувачеві. Проілюстровано результат порівняння швидкодії розробленого та додатків-аналогів. Ключові слова: Progressive Web App, веб-додаток, згорткова нейронна мережа, розпізнавання зображень. Аннотация. В данной работе проанализированы технологии создания веб-приложений, в результате чего избран Progressive Web App как наиболее подходящая для решения поставленных задач. Исследовано особенности использования интеллектуальных технологий для проблемы распознавания изображений. Акцент сделан на методах, которые используют библиотеку для нейронных сетей TensorFlow. Создана собственная модель сверточной нейронной сети для распознавания изображений. Для обучения модели был выбран набор данных «The Quick, Draw! Dataset» от корпорации Google. Определено, что прогрессивноей веб-приложение предоставляет возможность быстрее аналогов предоставлять результирующую выборку пользователю. Проиллюстрировано результат сравнения быстродействия разработанного и приложений-аналогов. Ключевые слова: Progressive Web App, веб-приложение, сверточная нейронная сеть, распознавание изображений.

Log In

A Neural Network Model for Human Face Boundary Detection

Sign up for access to the world's latest research

Abstract

Related papers

Related topics