Bölüm 2. Google AutoML ile ThinkBioT Modeli: 8 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:18

ThinkBioT, Edge TPU uyumlu TensorFlow Lite Modelleri ile "Tak ve Çalıştır" olacak şekilde tasarlanmıştır.

Bu dokümantasyonda spektrogramlar oluşturma, verilerinizi biçimlendirme ve Google AutoML'i kullanmayı ele alacağız.

Bu eğitimdeki kod bash ile yazılacağı için çoklu platform uyumlu olacaktır.

bağımlılıklar

• Ancak başlamadan önce, Windows, Mac ve Linux cihazlarıyla uyumlu bir komut satırı ses programı olan Sox'u yüklemeniz gerekecektir.
• Bir Windows cihazındaysanız, bash komut dosyalarını çalıştırmanın en kolay yolu Git üzerindendir, bu yüzden bunu birçok yönden yararlı olduğu için indirmenizi ve yüklemenizi öneririm,
• Kodu düzenlemek için favori düzenleyicinizi kullanın veya Windows için NotePad++ veya diğer işletim sistemleri için Atom yükleyin.

**Mevcut bir TensorFlow modeliniz varsa veya mevcut bir modelle öğrenmeyi aktarmayı denemek istiyorsanız, lütfen Google Coral Documentation'a bakın.

1. Adım: Bir Google Cloud Storage Paketi Kurun

1. Gmail hesabınıza giriş yapın (veya bir Google hesabınız yoksa bir tane oluşturun)

2. Proje seçici sayfasına gidin ve model ve spektrogram dosyalarınız için yeni bir proje yapın. Daha fazla ilerlemek için faturalandırmayı etkinleştirmeniz gerekecek.

3. https://cloud.google.com/storage/ adresini ziyaret edin ve sayfanın üst kısmındaki kova oluştur düğmesine basın.

4. İstediğiniz kova adını girin ve varsayılan ayarları kabul eden kovayı oluşturun.

2. Adım: Verilerinizi Biçimlendirin ve Veri Kümesi Csv'sini Oluşturun

Modelinizi oluşturmak için gereken dataset.csv dosyanızı oluşturmak için yararlı bir komut dosyası tasarladım. Veri kümesi dosyası, paketinizdeki görüntüleri veri kümesindeki etiketlerine bağlar.

1. ThinkBioT deposunu GitHub'dan indirin ve

2. Araçlar dizininden tbt_spect_example.sh dosyasını masaüstünüzdeki yeni bir klasöre kopyalayın.

3. Modelinizde kullanmak istediğiniz ses dosyalarını, etiketlerine sahip klasörlere koyarak ekleyin (yani, bunların sıralanmasını istediğiniz gibi. Örneğin, köpekleri veya kedileri tanımlamak istiyorsanız, bir klasörünüz olabilir. köpek, havlama sesleri ile VEYA kedi sesleri ile cat adlı klasör vb.

4. tbt_spect_example.sh dosyasını Notepad++ ile açın ve 54. satırdaki "yourbucknamename" kısmını Google Storage Bucket'ınızın adıyla değiştirin. Örneğin, kovanız myModelBucket olarak adlandırılsaydı, satır şu şekilde değiştirilirdi:

kova="gs://myModelBucket/spectro-data/"

5. Bash terminalinize aşağıdakini yazarak kodu çalıştırın, kod çalışacak ve etiketler csv dosyanızı ve ortaya çıkan spektrogramlarla masaüstünüzde spectro-data adlı bir dizini oluşturacaktır.

sh tbt_spect_example.sh

3. Adım: Spektrogramlarınızı Kovanıza Yükleyin

Google Storage'a yüklemenin birkaç yolu vardır, en kolayı doğrudan klasör yüklemesi yapmaktır;

1. Google Depolama sayfanızda paket adınıza tıklayın.

2. "DOSYA YÜKLE" düğmesini seçin ve son adımda oluşturduğunuz "spektro-data/" dizininizi seçin.

VEYA

2. Çok sayıda dosyanız varsa, "FOLDER OLUŞTUR" öğesini seçerek "spectro-data/" dizinini manuel olarak oluşturabilir, ardından klasöre gidip "DOSYA YÜKLE" öğesini seçebilirsiniz. Yükleme hızını artırmak için birden fazla bilgisayar kullanarak bile spektrogramları bölümler halinde yükleyebileceğiniz için bu, büyük veri kümeleri için harika bir seçenek olabilir.

VEYA

2. Gelişmiş bir kullanıcıysanız, Google Cloud Shell aracılığıyla da yükleyebilirsiniz;

gsutil cp spektro-verileri/* gs://kepçe-adınız/spektro-verileri/

Artık oldukça güzel spektrogramlarla dolu bir kovaya sahip olmalısınız!

4. Adım: Veri Kümesi Csv'nizi Yükleyin

Şimdi model-labels.csv dosyasını Google Storage'daki "spectro-data/" dizininize yüklememiz gerekiyor, bu aslında son adımla aynı, birçok dosya yerine tek bir dosya yüklüyorsunuz.

1. Google Depolama sayfanızda paket adınıza tıklayın.

2. DOSYA YÜKLE düğmesini seçin ve daha önce oluşturduğunuz model-labels.csv dosyanızı seçin.

Adım 5: Veri Kümesi Oluşturun

1. Öncelikle AutoML VIsion API'sini bulmanız gerekecek, bu biraz zor olabilir! En kolay yol, Google Cloud depolamanızın (resimde) arama çubuğunda "automl vision" ifadesini aramaktır.

2. API bağlantısını tıkladığınızda, API'yi etkinleştirmeniz gerekecektir.

3. Şimdi AutoML Vision Dashboard'da olacaksınız (resimde) yeni veri seti düğmesine tıklayın ve Tek etiket ve 'CSV dosyası seç' seçeneğini seçin. Ardından, depolama paketinize model-labels.csv dosyanızın bağlantısını ekleyeceksiniz. Bu öğreticiyi izlediyseniz, aşağıdaki gibi olacaktır.

gs://yourBucketName/spectro-data/model-labelsBal.csv

4. Ardından veri kümenizi oluşturmak için devam düğmesine basın. Oluşturulması biraz zaman alabilir.

6. Adım: AutoML Modelinizi Oluşturun

Veri kümenizin oluşturulduğunu bildiren e-postanızı aldıktan sonra, yeni modelinizi oluşturmaya hazırsınız.

1. TREN düğmesine basın
2. Model türünü seçin: Edge ve Model gecikme tahminleri: Edge TPU ve diğer seçenekleri başlangıçta varsayılan olarak bırakın, daha sonra denemek isteyebileceğinizden emin olun.
3. Şimdi modeliniz eğitilecek, biraz zaman alacak ve indirmeye hazır olduğunda bir e-posta alacaksınız.

Not: Eğer eğitiyorsunuz düğmesi kullanılamıyorsa, veri kümenizle ilgili sorunlarınız olabilir. Her sınıftan (etiket) 10'dan az varsa, sistem Model Eğitmenize izin vermez, bu nedenle fazladan resim eklemeniz gerekebilir. Açıklamaya ihtiyacınız varsa, Google AutoML Video'ya bir göz atmaya değer.

7. Adım: Modelinizi Test Edin

Model tamamlama e-postanızı aldığınızda, AutoML Vision API'ye dönmek için bağlantıya tıklayın.

1. Şimdi sonuçlarınızı ve modeliniz için karışıklık matrisini görebileceksiniz.

2. Bir sonraki adım, Modelinizi test etmek, 'TEST & KULLAN' veya 'ÖMÜRLE'ye gidin, garip bir şekilde 2 kullanıcı GUI'si var gibi görünüyor, her ikisini de resimledim, ancak seçeneklerin her ikisi de aynı işlevselliğe sahip.

3. Şimdi bir test spektrogramı yükleyebilirsiniz. Tek bir spektrogram yapmak için ThinkBioT Github'dan tbt_make_one_spect.sh programını kullanabilirsiniz. Bir spektrograma dönüştürmek istediğiniz wav ile bir klasöre bırakın, bir Git Bash penceresi (veya terminal) açın ve dosya adınızı değiştirerek aşağıdaki kodu kullanın.

sh tbt_make_one_spect.sh yourWavName.wav

4. Şimdi sadece spektrogramı yükleyin ve sonucunuzu kontrol edin!

Adım 8: Modelinizi ThinkBioT'a Kurun

Yeni parlak modelinizi kullanmak için modeli ve txt dosyasını CModel klasörüne bırakmanız yeterlidir;

pi > ThinkBioT > ClassProcess > CModel

Artık ThinkBioT'u kullanmaya hazırsınız:)

**Not** Modelinizi ThinkBioT çerçevesi dışında kullanıyorsanız, en son tflite yorumlayıcıları yerleşik "okuma etiketleri" işlevi orada olduklarını varsaydığından, etiket belgenizi her satırın başına sayılar ekleyerek düzenlemeniz gerekir. ThinkBioT çerçevesi classify_spect.py'de kendi kodunuzda kullanabileceğiniz bir çalışma olarak özel bir işlev yazdım:)

def ReadLabelFile(dosya_yolu):

counter = 0, open(file_path, 'r', encoding='utf-8') olarak f: satırlar = f.readlines() ret = {} satır içi satırlar için: ret[int(counter)] = satır.strip () sayaç = sayaç + 1 dönüş ret