The task of "Face Recognition", whe

The task of "Face Recognition", where you want a computer to figure out who a person is from a photo of them, is a very difficult function to do well. But in some cases such as robotics, it may not be so important to figure out exactly who it is, you might just want to get an idea of where the people are, or to notice when the camera sees the same person again after the camera has moved around in the room. These are cases when Shirt Detection can be used as a simple method to keep track of who is in the room. For example, a robot could just keep track that there is a person wearing a red shirt to its left, a person wearing a blue shirt in front, and a person wearing a yellow shirt on its right side, so that it can track where these people are when they move around or when the robot moves around.

Shirt Detection can be performed quite easily compared to Face Recognition, by using OpenCV's very reliable Face Detection. Once the program knows where a person's face is, it can look in a small region below the face (where a person's shirt would be), and determine the approximate color of their shirt in that shirt region. This can be performed even without a complex method of determining the exact contour region of a person's shirt, since all you need to know is the color of a region below their face, as opposed to the color of their entire shirt or body.

Here you can find a program I have created (named "ShirtDetection") that detects the shirt color of multiple people in a photo. As a demo, here is the input photo:

The program will convert each pixel into an approximate color type (eg: Green or Orange or Purple or Black, etc), based on its HSV color components. In the image below, you can see that some pixels are converted to red, some to orange, some to green, etc.

It will then perform Face Detection to find where the faces are within the original image. For each face that it finds, it will look at the approximate color types in a small rectangle region below the detected face. It will then see if there is a certain color type that is most dominant in that small region, such as if 60% of the pixels in the shirt rectangle are detected as purple pixels, then it will classify the person's shirt as Purple, with a 60% confidence rating. You can see the final image below, where the detected shirt colors are overlayed on top of the person's shirt.


In most photos, it is reliable enough for simple uses such as Human-Robot-Interaction, where a false detection is not such a problem. Note that even though it appears as if image segmentation was performed, there was no segmentation or contour detection being done. It is simply the result of converting each pixel into an approximate color type.

Note that if the person is so close to the camera that the shirt region goes below the bottom of the image, you should either ignore that face or try a smaller region (with less confidence) in the hope of atleast seeing the top of the shirt. Remember that this program is trying to do shirt color detection, on the assumption that most of their shirt is in the photo, so don't expect good results if only a tiny part of their shirt is visible, and since the shirt color is converted to just a few possible colors, don't expect good results with more than 3 or 4 people!

Update on 30th Aug 2010:
ShirtDetection v1.1 does try a smaller region (with less confidence) if most of the shirt is cut from the image. For example, if only the collar of the shirt is visible in the image, then instead of looking for the region in the chest area, it will look in the lower-neck area.

Results (Indonesian) 1:

Tugas "Pengenalan wajah", mana Anda ingin sebuah komputer untuk mencari tahu siapa orang yang dari foto mereka, adalah fungsi sangat sulit untuk melakukannya dengan baik. Tapi dalam beberapa kasus seperti Robotika, mungkin tidak akan sangat penting untuk mencari tahu persis yang itu, Anda mungkin hanya ingin untuk mendapatkan ide dari mana orang-orang, atau untuk pemberitahuan ketika kamera melihat orang yang sama lagi setelah kamera telah bergerak di sekitar dalam kamar. Ini adalah kasus ketika Shirt deteksi dapat digunakan sebagai sebuah metode sederhana untuk melacak siapa yang ada dalam kamar. Sebagai contoh, sebuah robot hanya bisa terus melacak bahwa ada orang yang memakai kemeja merah ke kiri, seseorang mengenakan kemeja biru di depan, dan orang yang mengenakan kemeja kuning pada sisi kanan, sehingga dapat melacak di mana orang-orang ini adalah ketika mereka bergerak di sekeliling atau ketika robot bergerak di sekitar.Kemeja deteksi dapat dilakukan dengan mudah dibandingkan dengan pengenalan wajah, dengan menggunakan Deteksi wajah sangat handal OpenCV's. Setelah program tahu mana wajah seseorang, dapat terlihat di wilayah kecil di bawah wajah (dimana seseorang kemeja akan menjadi), dan menentukan perkiraan warna kemeja mereka di wilayah kemeja. Ini dapat dilakukan bahkan tanpa metode yang kompleks penentuan wilayah kontur tepat seseorang kemeja, karena semua yang Anda perlu ketahui adalah warna dari daerah di bawah wajah mereka, dibandingkan dengan warna kemeja seluruh atau tubuh mereka.Di sini Anda dapat menemukan program saya telah menciptakan (bernama "ShirtDetection") yang dapat mendeteksi warna kemeja beberapa orang dalam foto. Sebagai demo, inilah foto masukan:Program akan mengkonversi setiap pixel ke jenis perkiraan warna (misalnya: hijau atau oranye atau ungu atau hitam, dll), berdasarkan komponennya warna HSV. Dalam gambar di bawah ini, Anda dapat melihat bahwa beberapa piksel akan dikonversi ke merah, beberapa oranye, beberapa hijau, dll. Ini kemudian akan melakukan Deteksi wajah untuk menemukan mana wajah dalam gambar asli. Untuk setiap wajah yang menemukan, itu akan melihat jenis perkiraan warna dalam suatu wilayah persegi panjang kecil di bawah wajah terdeteksi. Itu akan melihat jika ada jenis warna tertentu yang paling dominan di wilayah itu kecil, seperti jika 60% pixel dalam persegi panjang kemeja terdeteksi sebagai piksel ungu, maka itu akan mengklasifikasikan kemeja seseorang sebagai ungu, dengan rating keyakinan 60%. Anda dapat melihat gambar akhir dibawah ini, dimana warna kemeja terdeteksi overlayed di atas seseorang kemeja. Dalam kebanyakan foto, hal ini cukup handal untuk kegunaan sederhana seperti manusia-Robot-interaksi, dimana deteksi palsu bukanlah sebuah masalah. Perhatikan meskipun tampaknya seolah-olah segmentasi gambar dilakukan, itu tidak ada segmentasi atau deteksi kontur yang sedang dilakukan. Ini adalah hanya hasil konversi setiap pixel menjadi jenis perkiraan warna.Catatan bahwa jika orang itu dekat dengan kamera yang wilayah kemeja berjalan di bawah bagian bawah gambar, Anda harus mengabaikan wajah itu atau mencoba sebuah wilayah yang lebih kecil (dengan kurang percaya diri) dengan harapan atleast melihat bagian atas kemeja. Ingat bahwa program ini berusaha untuk melakukan deteksi warna kemeja, pada asumsi bahwa sebagian besar kemeja mereka dalam foto, jadi jangan berharap hasil yang baik jika hanya sebagian kecil dari kemeja mereka terlihat, dan karena warna shirt dikonversi menjadi hanya beberapa warna, jangan berharap hasil yang baik dengan lebih dari 3 atau 4 orang!Diperbaharui pada 30 Agustus 2010:ShirtDetection v1.1 coba wilayah yang lebih kecil (dengan kurang percaya diri) jika sebagian besar kemeja dipotong dari gambar. Misalnya, jika hanya kerah baju terlihat dalam gambar, maka bukan mencari wilayah di daerah dada, maka akan terlihat di daerah leher-rendah.

Results (Indonesian) 2:

Tugas "Face Recognition", di mana Anda ingin komputer untuk mencari tahu siapa orang adalah dari foto mereka, adalah fungsi yang sangat sulit untuk melakukannya dengan baik. Namun dalam beberapa kasus seperti robotika, hal itu mungkin tidak begitu penting untuk mencari tahu persis siapa itu, Anda mungkin hanya ingin mendapatkan ide dari mana orang-orang, atau untuk melihat ketika kamera melihat orang yang sama lagi setelah kamera telah bergerak di dalam ruangan. Ini adalah kasus ketika Kaos Deteksi dapat digunakan sebagai metode sederhana untuk melacak siapa yang di dalam ruangan. Misalnya, robot hanya bisa melacak bahwa ada orang yang mengenakan kemeja merah untuk kiri, seseorang mengenakan kemeja biru di depan, dan orang yang mengenakan kemeja kuning di sisi kanan, sehingga bisa melacak di mana ini orang ketika mereka bergerak di sekitar atau ketika robot bergerak di sekitar. Baju Deteksi dapat dilakukan dengan mudah dibandingkan dengan Face Recognition, dengan menggunakan OpenCV sangat handal Face Detection. Setelah program yang tahu di mana wajah seseorang, itu dapat melihat di daerah kecil di bawah wajah (di mana kemeja seseorang akan), dan menentukan warna perkiraan baju mereka di wilayah itu kemeja. Hal ini dapat dilakukan bahkan tanpa metode yang kompleks menentukan daerah kontur yang tepat kemeja seseorang, karena semua yang perlu Anda ketahui adalah warna dari daerah bawah wajah mereka, yang bertentangan dengan warna seluruh baju atau tubuh mereka. Di sini Anda dapat menemukan program saya telah menciptakan (bernama "ShirtDetection") yang mendeteksi warna baju dari beberapa orang dalam foto. Sebagai demo, di sini adalah foto masukan: Program ini akan mengkonversi setiap pixel menjadi jenis warna perkiraan (misalnya: Hijau atau jeruk atau Purple atau Black, dll), berdasarkan komponen warna HSV-nya. Pada gambar di bawah, Anda dapat melihat bahwa beberapa piksel dikonversi ke merah, sebagian untuk jeruk, beberapa hijau, dll Hal ini kemudian akan melakukan Face Detection untuk menemukan di mana wajah berada dalam gambar asli. Untuk setiap menghadapi yang ditemukan, itu akan melihat jenis warna perkiraan di daerah persegi panjang kecil di bawah wajah terdeteksi. Hal ini kemudian akan melihat apakah ada jenis warna tertentu yang paling dominan di wilayah itu kecil, seperti jika 60% dari piksel dalam persegi panjang kemeja terdeteksi sebagai piksel ungu, maka akan mengklasifikasikan kemeja seseorang sebagai Purple, dengan 60% Peringkat keyakinan. Anda dapat melihat gambar akhir di bawah ini, di mana warna kemeja yang terdeteksi overlayed di atas kemeja seseorang. Dalam sebagian besar foto, itu sudah cukup handal untuk keperluan sederhana seperti Manusia-Robot-Interaksi, di mana deteksi palsu tidak seperti masalah . Perhatikan bahwa meskipun tampak seolah-olah segmentasi citra dilakukan, tidak ada segmentasi atau kontur deteksi yang dilakukan. Ini hanyalah hasil dari mengkonversi setiap pixel menjadi jenis warna perkiraan. Catatan bahwa jika orang tersebut begitu dekat dengan kamera yang wilayah kemeja berjalan di bawah bagian bawah gambar, Anda harus baik mengabaikan wajah itu atau mencoba suatu daerah yang lebih kecil ( dengan kurang percaya diri) dengan harapan minimal melihat bagian atas kemeja. Ingat bahwa program ini sedang mencoba untuk melakukan deteksi warna kemeja, dengan asumsi bahwa sebagian besar baju mereka adalah di foto, jadi jangan berharap hasil yang baik jika hanya sebagian kecil dari baju mereka terlihat, dan karena warna baju diubah hanya beberapa warna mungkin, jangan mengharapkan hasil yang baik dengan lebih dari 3 atau 4 orang! Perbarui pada 30 Agustus 2010: ShirtDetection v1.1 tidak mencoba daerah yang lebih kecil (dengan kurang percaya diri) jika sebagian besar kemeja dipotong dari gambar. Misalnya, jika hanya kerah kemeja yang terlihat dalam gambar, maka bukan mencari wilayah di daerah dada, yang akan tampak di bagian bawah leher.