Multimodal Müzik Sehpası: 9 Adım (Resimli)

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:21

Multimodal Müzik Standı (MMMS), geleneksel bir enstrüman (saksafon, flüt, keman, adını siz koyun) çalarken ses sentezini ve efektlerini kontrol etmenin yeni bir yoludur ve çalarken kullanılabilecek genişletilmiş teknikler için birkaç ekstra olasılık sunar. ! UC Santa Barbara'da MMMS'yi geliştirdiğimiz grup projemiz hakkında zaten bir web sayfası var, bu yüzden bunu burada tekrarlamak yerine, bağlantıyı göndereceğim - kontrol edin!Multimodal Music Stand Web Sitesi MMMS'nin kısa bir klibi eylem halindedir. burada, ancak yukarıdaki sitede daha iyi videolar var… Multimodal, birden fazla modalitede (ses girişi, video girişi ve sensör tabanlı giriş) girişi algılama yeteneğini ifade eder. Normal bir mikrofon ve bilgisayarınıza bağlı bir web kamerasını içeren ses ve video girişi oldukça basittir, ancak sensör girişi biraz daha karmaşıktır, dolayısıyla bu talimat verilebilir… Bir sınıf için geliştirdiğim basit bir devre olan CREATE USB Arayüzünü kullanıyoruz. Burada gösterildiği gibi E-field için ThereminVision II kiti (kapasitif algılama olarak da bilinir) ile birlikte UCSB'de ders veriyorum: USB Arayüzü OLUŞTUR ThereminVisionII kiti Theremin'in ne olduğunu bilmiyorsanız, kendinize bir iyilik yapın ve Youtube'da arama yapın, kazandınız hayal kırıklığına uğrama! MMMS temel olarak 2 Theremin'e eşdeğerdir, çünkü elbette ses/video girişine ek olarak 4 adet E-alan algılama anteni vardır. Bir bilgisayarla etkileşim kurarak enstrümanınızla performans tekniklerinizi genişletmekle ilgileniyorsanız, ancak Basit ayak pedalları kullanmak istemeyin, kendinize bir Multimodal Müzik Standı yapın ve onunla pratik yapmaya başlayın!

1. Adım: CREATE USB Arayüzü Hakkında

CREATE USB Arayüzü (CUI), tamamen kendin yap olarak oluşturulabilen veya önceden oluşturulmuş bir devreyi doğrudan benden 50 $ (+5 nakliye için) karşılığında alabileceğiniz, PIC tabanlı basit bir programlanabilir devredir. sizin için önyükleyiciyi yüklediğimden beri bir PIC programcısı satın almak için… ayrıntılar için web sitesine bakın veya bir tane istemek için bana e-posta gönderin: CREATE USB Interface web sitesi CUI birçok farklı işlev görebilir ve şimdiye kadar yüzlerce programda kullanılmıştır. tüm dünyadan ilginç projeler… UC Santa Barbara'daki öğrencilerden birkaç örnek bu konferans belgesinde (PDF) bulunmaktadır. CUI, önyükleyici kullanılarak USB kablosu aracılığıyla yeniden programlanabilir, bu nedenle bu kadar kolay uyarlanabilir - yalnızca bellenimi değiştirin ve bu başka bir şeydir. Örneğin, CUI'yi aşağıdakilerden birini kullanarak kablosuz bir sensör arayüzüne dönüştürmek kolaydır. kıvılcım eğlencesinden Bluetooth modülleri - herhangi biri bunu yapmakla ilgileniyorsa, başka bir talimat isteyen yorumlara bir not gönderin. CUI, 13 kanal 10-bit analog girişe ve 16 genel amaçlı giriş/çıkış pinine sahiptir. CUI v1.0 kartlarıyla birlikte gelen varsayılan üretici yazılımı, hepsini ana bilgisayara girdi olarak gönderir ve Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, vb. Gibi etkileşimli sanat oluşturma ortamlarıyla iyi çalışır. Bu talimatta Multimodal Müzik Standı oluşturmak için CUI v1.0 panolarından biri. Max/MSP/Jitter'ı ortam olarak kullanıyoruz, ancak bunu Pd'ye veya seçtiğiniz yazılıma uyarlamaktan çekinmeyin. Ben açık kaynağın büyük bir hayranıyım (CUI'nin kendisi açık kaynaktır) ve hepimiz birbirimizin omuzlarında durursak ve yaptığımız şeyleri geliştirirsek çok yardımcı olur!

Adım 2: ThereminVision II Kiti Hakkında

ThereminVision II, satıcı sitesi RobotLand'den hem kit (50 $) hem de önceden oluşturulmuş (80 $) olarak mevcuttur ve ayrıca açık kaynaktır - ThereminVision II kılavuzu (PDF) devre şemalarını içerir. MMMS için kiti satın aldım ve bu sefer önceden oluşturulmuş olanla gitmeye karar verdim (bu yaptığım ikinci MMMS). CREATE USB Arayüzünün kit formu, bunun nedeni, yeni bellenimin USB üzerinden gönderilmeden önce CUI önyükleyicisinin geleneksel bir PIC programlayıcı ile programlanması gerektiğidir - aksi takdirde, yüzeye montaj lehimlemeyi içermesine rağmen kesinlikle bir kit sunardım… ThereminVision II - eğer onu kit formunda satın aldıysanız, pdf'deki (harika!) talimatları izleyin:ThereminVision II kılavuzu Yapmanız gereken birçok güzel kablo şeması var - göstermediği tek şey CREATE USB Arayüzüne bağlantılar, bu yüzden sonraki birkaç adımda çektiğim fotoğrafları yayınlayacağım… oh, All Electronics'ten ThereminVision (dahil değildir) için antenler aldım.

3. Adım: Müzik Standını Hazırlama

Multimodal Müzik Standınızı burada gösterilen "kondüktör standı" gibi güzel bir müzik standından yapın veya elinizde ne varsa onu kullanın - daha da iyisi, kendinizinkini yapın!

Hangi standı kullanırsanız kullanın, standın köşelerinde bulunan dört anten için izole yuvalara ihtiyaç duyacaktır. Köşelerde delikler açarak başlayın - etrafa yerleştirdiğim montaj donanımı 1/4 matkap ucuyla çalıştı, sizinki muhtemelen farklı olacaktır. Notalarla karışmasını önlemek için yüzeyin önünü mümkün olduğunca aynı hizada tutmaya çalışın.

Adım 4: ThereminVision Sensör Modüllerinin Bağlanması

ThereminVision "sensör" modüllerinin (555 zamanlayıcı devresi) ThereminVision "işlemci" modülüne bağlanması da ThereminVision II kılavuzunda daha ayrıntılı olarak tartışılmıştır, ancak işte sürecin birkaç resmi…

Adım 5: ThereminVision'ın CREATE USB Arayüzüne Bağlanması

Son adımda gördüğümüz gibi, sensör modüllerinin her birini ThereminVision işlemci modülüne bağlayan 4 kablo vardır. Ayrıca ThereminVision işlemci modülünü CREATE USB Arabirimine bağlayan 6 kablo vardır - bunlar Güç, Toprak, Sensör Çıkışı, Sensör Seçimi A, Sensör Seçimi B ve Sensör Durdurma'dır.

ThereminVision II, gücünü CREATE USB Arayüzünden (gücünü USB'den alır) alacağı için, ThereminVision sensör modüllerinin her birinin gücünü doğrudan CREATE USB Arayüzüne bağlamaya karar verdim - bu onu biraz daha az yapar TherminVision işlemci kartına giden çok sayıda kablo olduğundan kablolamada kuş yuvası görüntüsü. ThereminVision'daki "+"yı CUI Connect'teki "-"'ye ThereminVision'daki "-" CUI Connect'teki "GND"'ye ThereminVision'daki "4" (4'e bölme çıkışı) CUI Connect'teki "D7"ye bağlayın ThereminVision üzerindeki "SEL B" CUI üzerindeki "D5"e ThereminVision üzerindeki "SEL A"yı CUI üzerindeki "D4"'e ThereminVision üzerindeki "S" CUI üzerindeki "D6"ya bağlayın

Adım 6: Her Şeyi Standa Monte Etme

Elektronikler tamamlandı, şimdi sadece standa monte edin - bunu yapmak için birçok yöntem vardır ve elektroniklerinizi koruyucu bir kutuya vb. koymak isteyebilirsiniz.

İşte en basit montaj yöntemlerinden bazılarının fotoğrafları.

Adım 7: ThereminVision için Bellenimi CUI'ye Önyükleme

ThereminVision, analog çıkışlar (veya I2C veya SPI gibi standart dijital protokollerden herhangi biri) yerine sensörleri için zamanlama sinyalleri gönderir. Bu nedenle, bu sinyallerin zamanlamasını ölçmek için bazı özel aygıt yazılımlarına ihtiyaç duyuldu… Multimodal Müzik Standı aygıt yazılımının ilk sürümü aşağıdaki zip dosyasındadır, hem kaynak kodu hem de derlenmiş hex dosyası dahildir (Max/ için bir test yaması ile birlikte). MSP/Jitter):CUI-ThereminVision üretici yazılımı Aşağıdaki ekran görüntüsü, CUI için bir Macintosh önyükleme yardımcı programı olan Craig Schimmel'in OS X programı Boot Down'u göstermektedir. Windows kullanıyorsanız, en kolay şey Microchip'in kendi web sitesinden indirilebilen veya CREATE USB Arayüzü için bu örnek kodda bulunan PDFSUSB.exe aracını kullanmaktır. CUI'yi "bootloader moduna" geçirmek için basılı tutun program düğmesine basın ve sıfırlama düğmesine basın (veya program düğmesini basılı tutarken sadece USB kablosunu takın). CUI'nin durum LED'i, önyükleyici modunda olduğunu göstermek için sürekli yanıp sönecektir. Artık CUIEfieldBootDown.hex dosyasını CREATE USB Arabirimine göndermek için Boot Down'ı kullanabilirsiniz. CREATE USB Arabirimi için aygıt yazılımını orijinaline geri döndürmek isterseniz, burada ve aygıt yazılımı için başka örnekler de vardır. Burada da CUI.

8. Adım: Multimodal Müzik Standını Maks/MSP/Titreşimde Test Etme

Örnek yamayı Max/MSP/Jitter'da açın (30 günlük bir demo www.cycling74.com adresinden indirilebilir ve yamaların kaydedilmesine izin vermeyen bir "çalışma zamanı" sürümü de mevcuttur) veya Max yamadaki kuralları takip edin ve PureData'da (Pd) kendi yamanızı yapın…Jitter, z ekseninin (standdan uzağa ve standa doğru) 4 antenin tümünün genel yoğunluğuna eşlendiği hareketle girişlerin 3B konumunu görüntülemek için kullanılır - çok bilimsel değil, ama işe yarıyor! Tek tek sensörlerden gelen veriler ayrıca gerekirse diğer uygulamalar tarafından kullanılmak üzere OSC olarak 127.0.0.1'e (yerel ana bilgisayar) gönderilir. Sensör verisindeki ani yükselmeleri filtrelemek için Max/MSP/Jitter'da faydalı bir nesne (elektriksel parazitten kaynaklanan) Tristan Jehan'ın "pürüzsüz", buradan indirilebilir:smoother max objectTristan'ın sitesinde ayrıca Max için Multimodal Müzik Standı girişinin ses analizi kısmı için kullandığımız bir sürü MSP harici öğesi vardır - bunlar arasında perde~, ses yüksekliği~, parlaklık~ bulunur, gürültü~ ve hepsi bir arada analizör~ nesnesi. Max'e veri geldiğinde, ThereminVision sensörlerinin hassasiyetini küçük bir tornavidayla ayrı ayrı ayarlamanız gerekir. Bunu, antenleri sonuna kadar uzatarak, ardından mavi trimpotu "ters algılama" moduna geçene kadar saat yönünün tersine çevirerek yapın - ardından normal algılama aralığına dönene kadar saat yönünde geri çevirin. Antenlerin uzunluğu değiştirilerek küçük ayarlamalar (bir gitarın akort edilmesi gibi hassasiyetin ayarlanması) yapılabilir, böylece küçük tornavidayı konserlerde yanınızda taşımanıza gerek kalmaz.

9. Adım: Multimodal Müzik Standını Performansta Kullanma! (ve Uzatmak)

Unutmayın, Multimodal Müzik Standının sağladığı yeni performans tekniklerinin pratiğe ihtiyacı var ve onunla kontrol etmek istediğiniz şey için yeni haritalamalar ve fikirler geliştirilmesine ihtiyaç var! Ayrıca, MMMS'nizi başka tür sensörleri içerecek şekilde genişletmek istiyorsanız, MMMS belleniminin gelecekteki sürümlerinde ThereminVision sensörlerine ek olarak CUI üzerindeki 13 analog girişi kullanmak mümkün olacaktır, bu nedenle bazı basit sensörler (kaydırıcılar/topuzlar/ayak pedalları) veya diğer sensör tipleri (IR/ultrason/vb.), bunlar bilgisayara ses girişi ve video ile birlikte kullanılabilir. Şu anda ürün yazılımı bir "USB üzerinden seri" protokolü kullanıyor, ancak nihayetinde plan, normalde CREATE USB Arayüzü tarafından kullanılan "HID" (İnsan Giriş Aygıtı) protokolüne geçmek. Lütfen bu çabaya katkıda bulunmaktan çekinmeyin… E-alan algılama için (ayrıca kapasitif algılama olarak da bilinir) CapToolKit adlı aynı devre topolojisini kullanan (TereminVision tasarımına dayalı) benzer bir açık kaynak projesi vardır - "küçük kardeş" kullanır. " PIC18F4550'nin çok fazla analog girişi olmayan PIC18F2550'dir (13 yerine 10). CapToolKit aygıt yazılımı, ThereminVision işlemci kartını kullanmadıkları için biraz farklı olacaktır. Fiziksel hareketlerin optik olarak tanınması ve bakışların algılanması için müzik standının üstüne monte edilmiş basit bir firewire kamera (web kamerası stili) kullanıyoruz. Grubumuzun araştırmasının bilgisayarlı görü veya ses analizi ve sentez yönleriyle ilgileniyorsanız, lütfen Multimodal Müzik Standı web sitesindeki makalelere bakın. Ve lütfen bir Multimodal Müzik Standı kurarsanız deneyimlerinizi paylaşın… Aşağıdaki fotoğrafta gösterildiği gibi şimdi UCSB'de bunlardan iki tanesine sahibiz - bunları kullanan daha fazla beste, performans ve müzisyen olması harika olurdu! JoAnn Kuchera-Morin, Mart 2007'de Eastman Müzik Okulu'nda flütçü Jill Felber tarafından icra edilen MMMS'yi içeren ilk besteyi yazdı.