İlk Müdahale Edenlere Yardımcı Olması İçin Kızılötesi Kameralı Otonom Drone: 7 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:18

Bir Dünya Sağlık Örgütü raporuna göre, doğal afetler her yıl yaklaşık 90.000 kişiyi öldürüyor ve dünya çapında 160 milyona yakın insanı etkiliyor. Doğal afetler arasında depremler, tsunamiler, volkanik patlamalar, toprak kaymaları, kasırgalar, seller, orman yangınları, sıcak hava dalgaları ve kuraklıklar yer alır. Hayatta kalma şansı geçen her dakika azalmaya başladığından, zaman çok önemlidir. İlk müdahale ekipleri, hasar gören evlerde hayatta kalanları bulmakta zorlanabiliyor ve onları ararken hayatlarını riske atabiliyor. İnsanların yerini uzaktan tespit edebilen bir sisteme sahip olmak, ilk müdahale ekiplerinin onları binalardan tahliye edebilme hızını büyük ölçüde artıracaktır. Diğer sistemleri araştırdıktan sonra, bazı şirketlerin kara tabanlı robotlar veya insanları takip edebilen ancak yalnızca binaların dışında işlev görebilen dronlar oluşturduğunu gördüm. Derinlik kameralarının ve özel kızılötesi kameraların kombinasyonu, kapalı alanın doğru bir şekilde izlenmesine ve yangını, insanları ve hayvanları temsil eden sıcaklık değişikliklerinin tespit edilmesini sağlayabilir. İnsansız bir hava aracına (İHA) özel bir algoritmaya sahip sensörler uygulayarak, evleri otonom olarak incelemek ve insanları ve hayvanları mümkün olan en kısa sürede kurtarmak için konumlarını belirlemek mümkün olacak.

Lütfen Optik yarışmasında bana oy verin!

Adım 1: Tasarım Gereksinimleri

Mevcut teknolojileri araştırdıktan sonra, tehlikeli alanlarda hayatta kalanları tespit etmek için en iyi yöntemi bulmak için yapay görme uzmanları ve ilk müdahale ekibiyle olası çözümleri tartıştım. Aşağıdaki bilgiler, sistem için gereken en önemli özellikleri ve tasarım öğelerini listeler.

• Görüntü İşleme - Sistemin, sensörler ve Yapay Zeka (AI) yanıtı arasındaki bilgi alışverişi için hızlı bir işlem hızı sağlaması gerekir. Örneğin, sistemin duvarları ve engelleri tespit edip onlardan kaçınması ve aynı zamanda tehlikede olan insanları da bulabilmesi gerekir.
• Özerk - Sistemin, bir kullanıcı veya operatör girişi olmadan çalışabilmesi gerekir. Sistemin kendi kendine taramaya başlaması için İHA teknolojisi konusunda minimum deneyime sahip personel bir veya birkaç tuşa basabilmelidir.
• Menzil - Menzil, sistem ile yakındaki diğer tüm nesneler arasındaki mesafedir. Sistem koridorları ve girişleri en az 5 metre uzaklıktan algılayabilmelidir. İdeal minimum aralık 0,25 m'dir, böylece yakın nesneler algılanabilir. Algılama aralığı ne kadar büyük olursa, hayatta kalanlar için algılama süresi o kadar kısa olur.
• Navigasyon ve Algılama Doğruluğu - Sistem tüm girişleri doğru bir şekilde bulabilmeli ve herhangi bir nesneye çarpmamalı ve aynı zamanda nesnelerin ani görünümünü algılayabilmelidir. Sistemin çeşitli sensörler aracılığıyla insanlarla cansız nesneler arasındaki farkı bulması gerekir.
• Çalışma Süresi - Sistem, kaç odanın taranması gerektiğine bağlı olarak 10 dakika veya daha uzun süre dayanabilmelidir.
• Hız - Tüm binayı 10 dakikadan daha kısa sürede tarayabilmelidir.

Adım 2: Ekipman Seçimi: Hareketlilik Yöntemi

Quadcopter, uzaktan kumandalı bir araba yerine seçildi, çünkü quadcopter kırılgan olmasına rağmen, engellerden kaçınmak için kontrol edilmesi ve yüksekliğinin değiştirilmesi daha kolay. Quadcopter, tüm sensörleri tutabilir ve farklı odalara girerken daha doğru olmaları için onları sabitleyebilir. Pervaneler ısıya dayanıklı karbon fiberden yapılmıştır. Sensörler, kazaları önlemek için doğrudan duvarlardan uzaklaşır.

• Uzaktan Kumandalı Kara Aracı

  • Artıları - Düşmeden hızlı hareket edebilir ve sıcaklıktan etkilenmez
  • Eksileri - Araç, bir seferde daha az alanı kaplayan sensörleri yere indirir ve engeller tarafından engellenebilir

• dört pervaneli helikopter

  • Artıları - Çevrenin 360 derece görüntüsünü elde etmek için sensörleri havaya kaldırır
  • Eksileri - Bir duvara çarparsa düşebilir ve toparlanamaz

Adım 3: Ekipman Seçimi: Mikrodenetleyiciler

Mikrodenetleyiciler için temel iki gereksinim, quadcopter üzerindeki yükü azaltmak için küçük boyut ve bilgi girişini hızlı bir şekilde işleme hızıdır. Rock64 ve DJI Naza'nın kombinasyonu, Rock64'ün insanları hızlı bir şekilde algılamak ve quadcopter'in duvarlara ve engellere çarpmasını önlemek için yeterli işlem gücüne sahip olduğundan, mikro denetleyicilerin mükemmel birleşimidir. DJI Naza, Rock64'ün yapamadığı tüm stabilizasyon ve motor kontrolünü yaparak bunu iyi bir şekilde tamamlıyor. Mikrodenetleyiciler bir seri port üzerinden haberleşir ve gerektiğinde kullanıcı kontrolüne izin verir. Raspberry Pi iyi bir alternatif olabilirdi ama Rock64 daha iyi bir işlemciye ve sonraki tabloda listelenen sensörlere daha iyi bağlantıya sahip olduğundan Pi seçilmedi. Intel Edison ve Pixhawk, destek ve bağlantı eksikliği nedeniyle seçilmedi.

• Ahududu Pi

  • Artıları - Duvarları ve sabit nesneleri algılayabilir
  • Eksileri - Tüm sensörlerden gelen verilere ayak uydurmak için mücadele eder, bu nedenle girişleri yeterince hızlı göremez. Motor sinyalleri çıkışı yapamıyor ve quadcopter için herhangi bir dengeleyici sensöre sahip değil

• Rock64

  • Artıları - Duvarları ve girişleri çok az gecikmeyle algılayabilir.
  • Eksileri - Ayrıca, tüm sensörleri kullanarak herhangi bir şeye rastlamadan sistemi evin her yerinde yönlendirebilir. Motor hızını kontrol etmek için yeterince hızlı sinyal gönderemiyor ve quadcopter için herhangi bir dengeleyici sensöre sahip değil

• Intel Edison

  • Artıları - Duvarları ve girişleri biraz gecikmeyle algılayabilir
  • Eksileri - Daha eski teknoloji, sensörlerin çoğunun oluşturulması çok zaman alan yeni kitaplıklara ihtiyacı olacaktır.
• DJI Naza
  • Artıları - Motor hızında mikro ayarlamalar ile quadcopter'in havada sabit kalmasını sağlamak için entegre jiroskop, ivmeölçer ve manyetometreye sahiptir
  • Eksileri - Herhangi bir görsel işleme yapılamıyor

• Pixhawk

  • Artıları - Genel Amaçlı Giriş Çıkışı (GPIO) kullanılarak projede kullanılan sensörlerle kompakt ve uyumlu
  • Eksileri - Herhangi bir görsel işleme yapılamıyor

Adım 4: Ekipman Seçimi: Sensörler

Tehlikeli bölgelerdeki insanları bulmak için gereken tüm bilgileri elde etmek için çeşitli sensörlerin bir kombinasyonu kullanılır. Seçilen iki ana sensör, Sound Navigation And Rangeing (SONAR) ile birlikte stereo kızılötesi kamerayı içerir. Bazı testlerden sonra Realsense D435 kamerayı kullanmaya karar verdim çünkü küçük ve 20 metreye kadar olan mesafeleri doğru bir şekilde takip edebiliyor. Saniyede 90 kare hızında çalışır, bu da nesnelerin nerede olduğuna ve quadcopter'in hangi yöne yönlendirileceğine karar vermeden önce birçok ölçümün yapılmasına olanak tanır. SONAR sensörleri, quadcopter'ın bir yüzeyle temas etmeden önce ne kadar yükseğe veya alçağa gitmesine izin verildiğini bilmesini sağlamak için sistemin üstüne ve altına yerleştirilir. Ayrıca sistemin, stereo kızılötesi kamera sensörünün algılayamadığı cam gibi nesneleri algılamasını sağlamak için ileriye dönük olarak yerleştirilmiş bir tane de vardır. İnsanlar ve hayvanlar, hareket ve nesne tanıma algoritmaları kullanılarak algılanır. FLIR Kamera, olumsuz koşullarda tarama verimliliğini artırmak için stereo kızılötesi kameranın neyin canlı olduğunu ve neyin olmadığını izlemesine yardımcı olmak için uygulanacaktır.

• Kinect V1

  • Artıları - 3D nesneleri 6 metreye kadar kolayca takip edebilir
  • Eksileri -Yalnızca 1 kızılötesi sensöre sahiptir ve quadcopter için çok ağırdır

• Realsense D435

  • Artıları - 25 metreye kadar yüksek hassasiyetli 3D nesne algılama için 2 kızılötesi kamera ve bir Kırmızı, Yeşil, Mavi, Derinlik (RGB-D) kamerası vardır. 6 cm genişliğinde olup, quadcopter'a kolay uyum sağlar
  • Eksileri - Isınabilir ve bir soğutma fanına ihtiyaç duyabilir

• LİDAR

  • Artıları - Görüş alanı içinde 40 metreye kadar mesafeleri takip edebilen ışın
  • Eksileri - Ortamdaki ısı ölçüm hassasiyetini etkileyebilir

• SONAR

  • Artıları - 15 m öteden takip edebilen ancak cam ve akrilik gibi şeffaf nesneleri algılayabilen ışın
  • Dezavantajları - Yalnızca bir görüş hattındaki noktalar, ancak quadcopter tarafından tarama alanı için hareket ettirilebilir

• Ultrasonik

  • Artıları - 3 m'ye kadar menzile sahiptir ve çok ucuzdur
  • Eksileri - Yalnızca bir görüş hattındaki noktalar ve çok kolay bir şekilde mesafe algılama menzili dışında olabilir
• FLIR Kamera
  • Artıları - Dumanın içinden parazit olmadan derinlikli fotoğraflar çekebilir ve ısı imzalarıyla yaşayan insanları tespit edebilir
  • Eksileri - Sensörlere herhangi bir müdahale olursa, mesafe hesaplamaları yanlış hesaplanabilir

• PIR sensörü

  • Artıları - Sıcaklıktaki değişikliği algılayabilir
  • Eksileri - Sıcaklık farkının nerede olduğu belirlenemiyor

Adım 5: Ekipman Seçimi: Yazılım

Mikrodenetleyici ile tüm sensörler arasında sorunsuz bir entegrasyon oluşturmak için Realsense SDK'yı Robot İşletim Sistemi (ROS) ile birlikte kullandım. SDK, tüm nesneleri ve quadcopter sınırlarını izlemek için ideal olan nokta bulutu verilerinin sabit bir akışını sağladı. ROS, tüm sensör verilerini, oluşturduğum ve Yapay Zekayı uygulayan programa göndermeme yardımcı oldu. AI, quadcopter'ın ortamında hareket bulmasını sağlayan nesne algılama algoritmaları ve hareket algılama algoritmalarından oluşur. Kontrolör, quadcopter konumunu kontrol etmek için Darbe Genişlik Modülasyonu (PWM) kullanır.

• ücretsiz

  • Artıları - Her şeyi kontrol etmek için daha düşük bir erişim düzeyine sahiptir
  • Eksileri - Yalnızca Kinect V1'i destekler

• Realsense SDK'sı

  • Artıları - Realsense Kameradan gelen bilgi akışından nokta bulutu verilerini kolayca oluşturabilir
  • Eksileri - Yalnızca Realsense D435 kamerayı destekler

• FLIR Linux Sürücüsü

  • Artıları - FLIR kameradan veri akışını alabilir
  • Eksileri - Dokümantasyon çok sınırlıdır

• Robot İşletim Sistemi (ROS)

  • Artıları - Kamera işlevlerini programlamak için ideal işletim sistemi
  • Eksileri - Verimli veri toplama için hızlı bir SD karta yüklenmesi gerekiyor

Adım 6: Sistem Geliştirme

Cihazın “gözleri”, esas olarak 3D haritalama gibi robotik uygulamalar için kullanılan, kullanıma hazır bir sensör olan Realsense D435 stereo kızılötesi sensördür (Şekil 1). Bu sensör quadcopter'a takıldığında, kızılötesi kamera, quadcopter'ın özerk bir şekilde hareket etmesine rehberlik edebilir ve izin verebilir. Kamera tarafından üretilen verilere, bir uzaydaki belirli bir nesnenin kameranın görüşündeki konumu hakkında bilgi içeren bir dizi noktadan oluşan bir nokta bulutu denir. Bu nokta bulutu, renkleri farklı derinliklerde gösteren bir derinlik haritasına dönüştürülebilir (Şekil 2). Kırmızı daha uzakta, mavi ise metre daha yakın.

Bu sistemin sorunsuz olmasını sağlamak için genellikle robotlarda kullanılan ROS adlı açık kaynaklı bir işletim sistemi kullanıldı. Düşük seviyeli cihaz kontrolünün gerçekleştirilmesine ve tüm sensörlere erişilmesine ve diğer programlar tarafından kullanılacak verilerin derlenmesine olanak tanır. ROS, nesnelerin sistemden ne kadar uzakta olduğunu izlemek için farklı kameraları açıp kapatmaya izin veren Realsense SDK ile iletişim kuracaktır. İkisi arasındaki bağlantı, bir nokta bulutu oluşturan kameradan veri akışına erişmemi sağlıyor. Nokta bulutu bilgisi, sınırların ve nesnelerin 30 metre içinde nerede olduğunu ve 2 cm'lik bir doğrulukla belirleyebilir. SONAR sensörleri ve DJI Naza denetleyicisindeki gömülü sensörler gibi diğer sensörler, quadcopter'ın daha doğru bir şekilde konumlandırılmasını sağlar. Yazılımım, nokta bulutuna erişmek için AI algoritmalarını kullanır ve yerelleştirme yoluyla cihazı çevreleyen tüm alanın bir haritasını oluşturur. Sistem başlatıldığında ve taramaya başladığında, koridorlarda dolaşacak ve diğer odaların girişlerini bularak daha sonra özellikle insanları aramak için odayı tarayabilir. Tüm odalar taranana kadar sistem bu işlemi tekrarlar. Şu anda, quadcopter tam bir tarama yapmak için yeterli olan yaklaşık 10 dakika uçabiliyor, ancak farklı pil düzenlemeleri ile geliştirilebilir. İlk müdahale ekipleri, insanlar tespit edildiğinde bildirim alacak ve böylece çabalarını belirli binalara odaklayabilecekler.

7. Adım: Tartışma ve Sonuç

Birçok denemeden sonra Tablo 1'de listelenen gereksinimleri karşılayan bir çalışma prototipi oluşturmuştum. Realsense SDK ile Realsense D435 stereo kızılötesi kamera kullanılarak, quadcopter'ın ön tarafının yüksek çözünürlüklü bir derinlik haritası oluşturuldu. İlk başta kızılötesi kameranın cam gibi belirli nesneleri algılayamamasıyla ilgili bazı sorunlar yaşadım. Bir SONAR sensörü ekleyerek bu sorunun üstesinden gelebildim. Rock64 ve DJI Naza'nın kombinasyonu, sistem, OpenCV kullanarak özel olarak oluşturulmuş bilgisayarlı görme algoritmaları aracılığıyla nesneleri ve duvarları tespit ederken, quadcopter'ı stabilize edebildiğinden başarılı oldu. Mevcut sistem işlevsel olmasına ve gereksinimleri karşılamasına rağmen, gelecekteki bazı prototiplerden faydalanabilir.

Bu sistem, insanları daha doğru bir şekilde tespit edebilmek için daha kaliteli kameralar kullanılarak geliştirilebilir. Daha pahalı FLIR kameralardan bazıları, daha doğru algılamaya izin verebilecek ısı imzalarını algılama yeteneğine sahiptir. Sistem, tozlu ve dumanla dolu odalar gibi farklı ortamlarda da çalışabilir. Yeni teknoloji ve yanmazlık ile bu sistem yanan evlere gönderilebilir ve insanların nerede olduğunu hızlı bir şekilde tespit edebilir, böylece ilk müdahale ekipleri hayatta kalanları tehlikeden kurtarabilir.

Okuduğunuz için teşekkürler! Optik yarışmasında bana oy vermeyi unutmayın!