Kişisel İngilizce Eğitmeni - AI Ses Asistanı: 15 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:19

Bu proje, herhangi bir dil sınavına hazırlanan öğrencilere, Snips AI ile etkileşime girerek eğitim alabilecekleri yardımcı olacaktır.

1. Adım: Öykü

Bunu Neden Kurduk?

Kişisel deneyimlerime göre, GRE, TOEFL, IELTS gibi çeşitli dil sınavlarına hazırlanan birçok insan gördüm. Sözcükleri ezberleme ve anlama konusunda kendilerine yardımcı olacak bir kişiye ihtiyaç duyarlar. Genellikle bir kişi bu tür sınavlara hazırlanırken hata yapıp yapmadığını kontrol edecek ve düzeltecek bir kişiye ihtiyaç duyar. Bu çözümle sesli asistan kullanarak insan gücünü azaltabiliriz.

2. Adım: Donanım Oluşturma

Her şeyden önce, bu projeyi harika Snips Ses Etkileşimi Geliştirme Kiti (Base Kit) ile desteklediği için SNIPS ve SEEED'e teşekkür etmek istiyorum, bu kartı kullanarak gerçekten bilgilendirici hissettim ve bir PCB'ye entegre edilmiş bazı karmaşık projeleri başarabildim.

Snips Ses Etkileşimi Temel Kitini 115 ABD Doları ve Snips Ses Etkileşim Uydu Kitini 85 ABD Doları karşılığında satın alabilirsiniz.

3. Adım: SNIPS'ye Başlarken

Başlamadan önce, neye ihtiyacınız olacağını gözden geçirelim.

• Raspberry Pi 3B/B+ (Önerilir) veya Pi 2 Model B (Desteklenir).
• Raspberry Pi için Mikro USB Kablosu ve Mikro USB güç adaptörü.
• Mikro SD Kart (Minimum 8 GB) - Başlamak için bir işletim sistemi gereklidir. Raspbian Stretch'i indirebilir ve Raspberry Pi web sitesinde Mac OS, Linux ve Windows kılavuzlarını kullanabilirsiniz.
• Bir USB Klavye ve Fare ve harici bir HDMI Monitör - ayrıca kullanışlı bir HDMI monitörün yanı sıra bir USB klavye ve fareye sahip olmanızı öneririz.
• İnternet bağlantısı (Ethernet veya WiFi)

Snips Ses Etkileşimi Temel Kiti

Snips Ses Etkileşimi Geliştirme Kitleri, kullanıcıların ses arabirimleri geliştirmeye hızlı bir şekilde başlamalarını ve Snips AI Ses Platformunu donanımla kolayca entegre etmelerini sağlar. Snips cihazda çalışır, yani tüm sesli komutlarınız ve verileriniz buluta gönderilmek yerine yerel olarak işlenir. Bu cihaz üzerinde işleme, kişisel verilerinizi olması gerektiği gibi gizli tutan tamamen güvenli bir çevrimdışı sesli asistan ile sonuçlanır.

Ses Etkileşimi Temel Kiti, tüm Snips AI Ses Platformunu çalıştırmanıza olanak tanır. Raspberry Pi 3 Model B+ ve ReSpeaker 2-Mics Pi HAT ile güçlendirilmiştir, evinizdeki akıllı hoparlör görevi görebilir. Kitle birlikte bir hoparlör, Grove - Sıcaklık ve Nem Sensörü (SHT31), Grove - Röle ve duvara asmak veya şık bir stand oluşturmak için bir pegboard gelir.

Ama hepsi bu değil! Ses Etkileşim Uydu Kiti, baz istasyonunuzu evinizin her odasına ulaşacak şekilde genişletecek ve komutlarınızı verdiğiniz yere bağlı olarak donanımla etkileşime girmenizi sağlayacaktır!

Bu kit bir Raspberry Pi3 B+ kartı, ReSpeaker 2-Mics Pi HAT, Grove – Röle, Grove - Sıcaklık ve Nem Sensörü (SHT31), Hoparlör 6 Ohm 2W, MicroSD Kart, Mikro USB konektörlü güç adaptörü, Grove kablo x 2, Akrilik Taban içerir panel.

Montaj Adımları: (SNIPS içeriği) Aşağıdaki resim montaj parçalarının genel görünümüdür.

Burada montaj parçaları taban paneline monte edilir.

Daha sonra tüm elektronik parçalar panoya monte edilir.

Bundan sonra Akrilik Koruyucu kapağı Grove -Rölenin üstüne monte edin.

Bu 2 parça, Kit'i bir masa standı haline getirmek için kullanılır.

Sonunda Snips ile oynamaya hazırsınız.

Kit, yerleştirme için iki yol sağlar. Stand gibi yatay bir yüzeye yerleştirilebilir veya tel veya ip kullanılarak duvara asılabilir. Kit açıldığında çalışma voltajı yüksek olacağından lütfen Röleye dikkat edin.

NOT: Raspberry Pi 3B+ yerine Raspberry Pi sıfırına sahip bir Snips Ses Etkileşim Uydu Kitimiz de var.

Adım 4: Snips AI ile Arayüz Oluşturma (Temel Proje)

• Kite, kitteki varsayılan güç adaptörüyle güç verin veya Mikro USB konektörlü 5V-2A DC adaptör kullanın.
• Bir sonraki adım, Snips asistanını Raspberry Pi'ye kurmaktır. Kurulum süresinden tasarruf etmek için, kitteki MicroSD kart, tam işlevsel sistem görüntüsü ile parlatılmıştır, bu, Snips asistanının tetikleyici kelimeleriniz için hazır olduğu anlamına gelir.
• https://docs.snips.ai/getting-started/quick-start… adresini ziyaret ederek adım adım kurulum kılavuzunu incelemenizi ve komut satırında sam aracını öğrenmenizi şiddetle öneririz.
• "Hey-snips" diyerek asistanı tetikleyin ve şu komutu uygulayın:

Snips Voice Interaction temel kitinde önceden yüklenmiş örneğin videosunu aşağıda bulabilirsiniz.

Adım 5: Snips AI ile Arayüz Oluşturma (Project AI)

Yani bu şekilde çalışır. İlk olarak, Snips tanımayı başlatmak için özel kelimeyi kullanırız. Snips NLU kullanarak cümleyi anlar ve amacı belirler. Sonra amacı kullanarak, sırasıyla yuvaları çıkarın. Eylem koduyla, AI yanıtını ilgili yuvalara göre programlıyoruz.

Adım 6: Uygulama ve Amaç Oluşturma

• Bir Asistan oluşturun. Benim durumumda, JARVIS adında ve özel kelime JARVIS olan bir asistan yaratmıştım.
• Bir Özel Uygulama oluşturun veya yeni başlayanlar için kitaplıktan Uygulamayı kullanın.
• Words adında bir Uygulama oluşturmuştum
• Bir Amaç oluşturun ve yapay zekayı eğitmeye başlayın. Bu, AI'nızı sağlam hale getirmede önemli bir rol oynar. Tüm olası girdilerle eğitin.
• Kelimeleri tanımlamak için bir yuva oluşturun. Yuvayı cümlenin beklenen cümlesine yerleştirin. Örneğimde, verilen kelime slot adıdır ve mavi ile vurgulanmıştır.
• Tamamlandığında, özel ASR'niz hazır olacaktır. Girişlerle deneyin. Cevabı sağınızda, asistanın altında bulabiliriz. Bu size ham değerin, amaç adının ve yuvanın çıkarılmasını sağlar.
• Slotları aşağıda verildiği gibi daha fazla örnekle tanımlayın
• Son olarak, kişiselleştirilmiş yapay zekanızı deneyimlemek için asistanınızı görevlendirin.

7. Adım: Raspbian'ı SD Karta Yaz

Raspbian, Raspberry Pi üzerinde çalışan tercih edilen Linux dağıtımıdır. Bu kılavuzda Lite sürümünü kullanacağız, ancak Masaüstü sürümü (grafiksel bir ortamla birlikte gelir) de kullanılabilir.

• Etcher'ı indirin ve kurun.
• İçinde SD kart olan bir SD kart okuyucu bağlayın.
• Etcher'ı açın ve SD karta yazmak istediğiniz Raspberry Pi.img veya.zip dosyasını sabit sürücünüzden seçin
• Resminizi yazmak istediğiniz SD kartı seçin.
• Seçimlerinizi gözden geçirin ve 'Flaş!'ı tıklayın. SD karta veri yazmaya başlamak için

Cihazı ağınıza bağlayın

• Yine SD kartınızdaki önyükleme biriminin köküne yerleştirilmiş boş ssh dosyası ekleyerek SSH erişimini etkinleştirin.
• SD kartı Raspberry Pi'ye takın. Yaklaşık 20 saniye içinde açılacaktır. Artık Raspberry Pi'nize SSH erişiminiz olmalıdır. Varsayılan olarak, ana bilgisayar adı raspberrypi.local olacaktır. Bilgisayarınızda bir terminal penceresi açın ve aşağıdakini yazın:

ssh [email protected]

Varsayılan şifre ahududu

8. Adım: Snips Platformunu Kurun

Henüz yapmadıysanız, Sam Komut Satırı Arayüzünü bilgisayarınıza yükleyin. Bir terminal penceresi açın ve şunu girin:

sudo npm install -g snips-samor npm install -g snips-sam //Windows

Aşağıdakileri çalıştırarak Raspberry Pi'nizi ağda bulun:

sam cihazları

Ardından, cihazla bir bağlantı kurun. Cihaz kullanıcı adı ve şifresi istenecektir (varsayılan sırasıyla pi ve ahudududur):

sam bağlantısı

Artık Raspberry Pi üzerine Snips platformunu kurmaya hazırız. Komutu girin:

Sam init

9. Adım: Donanımı Yapılandırın

Sam, donanım bileşenlerini kolayca kurmak ve yapılandırmak için bazı komutlar sağlar. Bu bölümde bir hoparlör ve bir mikrofon ayarlayacağız. Kurulumunuza bağlı olarak, bazı özel yapılandırmaların yapılması gerekir.

sam kurulum sesi

Hoparlörü test edin

Hoparlörün çalışıp çalışmadığını kontrol etmek için

sam testi hoparlörü

Her şey yolunda giderse, hoparlörünüzde birkaç kelime söyleyen bir ses duymalısınız. Mikrofonu yapılandırın Mikrofonunuzun çalışıp çalışmadığını kontrol edebilirsiniz:

sam testi mikrofonu

Bir hoparlörünüz olduğunu varsayarsak, az önce söylediklerinizi net bir şekilde duyabiliyorsanız, daha fazla mikrofon yapılandırması olmadan ilerleyebilirsiniz.

Donanım kurulumunuzun çalıştığından emin olduğunuzda, ilk yardımcınızı yerleştireceğiniz bir sonraki adıma geçmeye hazırsınız demektir.

Adım 10: Konsoldan AI Modelini İçe Aktarma

Asistanınızı önceki adımlardan oluşturduktan sonra, aşağıdakileri çalıştırarak terminal penceresinden konsola giriş yapın:

sam giriş

Snips Konsolu kimlik bilgilerinizi girmeniz istenecektir.

Ardından, asistanı yükleyin:

sam kurulum yardımcısı

Konsolda birkaç yardımcı oluşturduysanız, listeden hangisini yükleyeceğinizi seçmeniz istenecektir.

Adım 11: İşleyici ve Eylem Kodu

Raspberry Pi'nin yanıt vermesi için bazı işleyici kodları yazmamız gerekecek. Bu, amaç tespit edildiğinde olduğu gibi Snips platformunda belirli bir olay meydana geldiğinde yürütülen bir koddur.

İşleyişe bağlı olarak İşleyici oluşturmak için çeşitli yöntemleriniz vardır.

İşleyici kodunuzu depolamak istediğiniz bilgisayarınızda bir klasör oluşturun. Terminal penceresinden o dizine geçin ve şunu girin:

npm başlangıç

Bu, projenizin açıklamasını, bağımlılıklarını ve daha fazlasını içeren package.json adında bir dosya oluşturacaktır. Ardından, mqtt paket bağımlılığını ekleyin:

npm kurulum mqtt --save

Şimdi index.js adında bir dosya oluşturun ve hostname değişkenini Raspberry Pi'nizin hostnamesiyle değiştirerek aşağıdaki kodu yapıştırın (varsayılan Raspberrypi'den farklıysa):

var mqtt = gerekli('mqtt');

var hostname = "mqtt://raspberrypi.local"; var client = mqtt.connect(hostname); client.on('connect', function () { console.log("[Snips Log] MQTT brokerine bağlandı " + ana bilgisayar adı); client.subscribe('hermes/#'); }); client.on('message', function (konu, mesaj) { if (konu === "hermes/asr/startListening") { onListeningStateChanged(true); } else if (konu === "hermes/asr/stopListening") { onListeningStateChanged(false); } else if (topic.match(/hermes\/hotword\/.+\/detected/g) !== null) { onHotwordDetected() } else if (topic.match(/hermes) /intent\/.+/g) !== null) { onIntentDetected(JSON.parse(message)); } }); function onIntentDetected(intent) { console.log("[Snips Log] Amaç algılandı: " + JSON.stringify(intent)); } function onHotwordDetected() { console.log("[Snips Log] Hotword algılandı"); } function onListeningStateChanged(dinleme) { console.log("[Snips Log] " + (dinleme ? "Başlat": "Durdur") + "dinleme"); }

Düğümü kullanarak bu kodu çalıştırın:

düğüm indeksi.js

Snips MQTT aracısına başarılı bir bağlantı mesajı görmelisiniz. Daha önce olduğu gibi, Raspberry Pi'nizle sesli etkileşim gerçekleştirin:

Hey Snips, Chennai'de hava nasıl?

Günlüklerin güncellendiğini görmelisiniz:

[Snips Log] MQTT komisyoncusuna bağlandı mqtt://raspberrypi.local

[Snips Log] Özel kelime algılandı [Snips Log] Dinlemeye başla [Snips Log] Dinlemeyi durdur [Snips Log] Amaç algılandı: {"sessionId":"c84b5aa5-3f14-4218-975e-8872b9217933", "customData":null, "siteId ": "default", "input":"chennai'de hava nasıl", "intent":{"intentName":"searchWeatherForecast", "olasılık":0.73845243}, "slots":[{"rawValue":" chennai", "değer":{"tür":"Özel", "değer":"Chennai"}, "aralık":{"başlangıç":44, "bitiş":53}, "varlık":"yerellik", "slotName":"forecast_locality"}]}

Adım 12: Sorun Giderme

Varsa önceki yardımcıyı silin

$ sudo rm -rf /usr/share/snips/asistan/

Dizini Asistan olarak değiştirmek için

cd /var/lib/snips/skills/

Deponun içeriğini yerel olarak klonlamak için

git klonu

setup.sh betiğini çalıştırmak için

./setup.sh

Sanal ortamı etkinleştir

kaynak venv/bin/etkinleştir

Eylem kodunu çalıştırın

./action-.py

Python Komut Dosyasına izin vermek için

chmod +x eylem-.py

Adım 13: Muhafaza

• Bu proje için IP dereceli bir muhafaza kullanmıştım
• İlk olarak, Güç kablosu ve HDMI kablosu için devreleri ve yuvaları monte etmek için gerekli delikleri açtım.
• Sonra tüm Raspberry Pi'leri kasanın içine yerleştirdim ve sıkıca vidaladım.
• Hoparlör ve Mikrofon için küçük bir delik açtım ve küçük bir akrilik levha parçasıyla kapladım.
• Hoparlörü ReSpeaker şapkasına sıkıca bağlayın.
• Son olarak, tüm vidalar sıkıca monte edilir ve güç kablosu bir yuva aracılığıyla takılır.
• Yapay zeka sonunda böyle görünüyor:D

Adım 14: Yapay Zekanın Çalışması

Snips-watch kullanılarak izlenen verileri bulabilirsiniz.

Şimdi gösteri zamanı. Basit selamlar AI ile yapmaya başladım. Çalıştığına bir bakın.

Trainer AI, sınırlı kelimeler için programlanmıştır. Bu, küçük değişikliklerle genişletilebilir. Bu, Öğrencilerin anlamı geleneksel yöntemden daha hızlı ezberlemelerine yardımcı olur.

Nazik Dikkat: Bu proje yaklaşık 25 kelime için eğitilmiştir. Eylem kodunda küçük değişiklikler yapılarak daha da genişletilebilir.

Eylem komut dosyalarını ekli Github Depomda bulabilirsiniz.

Selamlar AI için Proje Deposu -

Eğitmen AI için Proje Deposu -

Uygulamamın bağlantısı:

Tüm kurulum maliyeti, SNIPS'den satın alınabilecek yaklaşık 115 $'dır ve bu çözüm, geleneksel yöntemlere kıyasla çok ucuz ve etkilidir. Hindistan'da kabaca 100.000'den fazla test yapılmıştır ve Bu ürün, GRE'ye girenler için en iyi ek olacaktır.

Size gerçekten yardımcı olduysa bir başparmak verin ve ilginç projeler için kanalımı takip edin.:) İsterseniz bu videoyu paylaşın. Abone olmanıza sevindim: https://console.snips.ai/store/en/skill_xBKlxnE5K… Okuduğunuz için teşekkürler!