Dominik: Hallo, liebe Hörerinnen und Hörer. Willkommen im Python-Podcast, Episode 61.
Jochen: Wirklich 61. Wir haben eben noch ein bisschen drüber zu erhalten.
Dominik: Heute geht es um Auphonikin. Hallo, Jochen.
Jochen: Hallo, Dominik. Herzlich willkommen und herzlich willkommen, Johannes.
Jochen: Hi, Johannes.
Jochen: Auch wieder mit dabei.
Jochen: Ja.
Jochen: Hallo zusammen.
Dominik: Wir haben ja schon ein paar Mal hier gehabt, glaube ich. Ihr kennt ihn.
Dominik: Genau.
Dominik: Und wir haben auch einen besonderen Gast heute wieder.
Dominik: Hallo, Georg.
Georg: Hallo, danke für die Einladung.
Georg: Ja, schön, dass du da bist.
Dominik: Eine Vorstellung machen wir vielleicht bestimmt noch später, wenn wir zur Welt kommen.
Dominik: Vielleicht fangen wir mit unserer klassischen Struktur an.
Dominik: Wir haben ja immer besonders viel Struktur im Podcast, habe ich gehört, Jochen.
Dominik: Ja?
Dominik: Ja.
Dominik: Okay.
Dominik: Vielleicht als erstes News. Für alle, die es noch nicht mitbekommen haben, wir planen
Dominik: ein HörerInnen-Treffen.
Jochen: Ja, wir hatten ja letztes Mal da aufgerufen, sich zu melden.
Dominik: In der Region Rheinland. Es haben sich tatsächlich einige Leute schon gemeldet.
Jochen: Genau. Wir haben gesagt, ihr solltet uns auf jeden Fall immer noch eine Mail schreiben,
Jochen: damit wir das dann ordentlich zählen können. Und genau einer hat uns eine Mail geschrieben.
Jochen: Die anderen Leute haben sich über alle Kanäle gemeldet.
Jochen: Manche haben sich auf LinkedIn gemeldet, manche haben sich über
Jochen: Discord gemeldet, manche haben sich einfach nur persönlich gemeldet.
Jochen: Aber wir kriegen das immer wieder.
Dominik: Also, wer Lust hat, sagt auf jeden Fall Bescheid. Wir würden uns freuen.
Johannes: Und ich habe gehört, dass die Stuttgart-Fraktion, die Süddeutschland-Fraktion,
Johannes: die ist gerade stark in Führung.
Johannes: Macht ihr eine Frage?
Dominik: Nein, leider nicht.
Jochen: Diese Gerüchte kann ich nicht bestätigen.
Jochen: Also, auf LinkedIn hat einer gesagt, er würde gerne das lieber in Stuttgart
Jochen: haben als in Düsseldorf. Aber ansonsten, zum Beispiel auf Spotify
Jochen: wollten vier Düsseldorf und keiner Stuttgart.
Dominik: Ja, und bei uns im Discord auch.
Dominik: Ja, also, tut mir leid, du musst leider anreisen.
Jochen: Aber wir müssen uns halt noch überlegen, wie wir das machen wollen und wo.
Johannes: Also, ist jetzt aber letzte Chance für die Süddeutschland-Hörer.
Jochen: Ja, okay, wenn man jetzt wirklich, wirklich will, dass es in Stuttgart stattfindet,
Jochen: könnte man nochmal.
Jochen: Ihr habt noch die Chance.
Jochen: Ja.
Jochen: Stimmen Sie jetzt ab.
Johannes: Die Telefonleitungen sind geschaltet.
Jochen: Die Spuren sind scharf gestellt am Mischpult, mit dem wir nie Probleme haben.
Jochen: Das war es doch schon wieder.
Jochen: Dann bleibt uns gewogen.
Jochen: Hallo at PythonPodcast.com.de.
Jochen: Haben wir Pics?
Jochen: Nein.
Dominik: Wir wollten News machen, glaube ich, noch.
Dominik: Okay, gut.
Jochen: Ich habe, ehrlich gesagt, fast gar nichts.
Jochen: Also, es gibt eine neue Rails-Version, die ein bisschen mehr Deployment dazu kann.
Dominik: Okay, wir waren, glaube ich, erst vor zwei Wochen News gemacht.
Dominik: Und in den letzten zwei Wochen ist nicht so wahnsinnig viel passiert.
Dominik: Ja, und es ist nicht so wirklich viel passiert.
Dominik: Keine Ahnung warum.
Dominik: Dann skippen wir heute die News.
Dominik: Oder hast du mit News mitgebracht?
Jochen: Oder hat jemand von euch irgendwas Interessantes, was in der Python-Welt passiert ist?
Jochen: Nein, ich habe nichts.
Dominik: Dann lassen wir einfach den Georg sich selbst vorstellen und ein bisschen was erzählen.
Dominik: Das ist eine tolle Idee.
Jochen: Obwohl, wir könnten auch einmal noch kurz Werbung machen für uns selber.
Jochen: Das ist eine gute Idee.
Jochen: Willst du für uns selber Werbung machen?
Jochen: Bitte?
Jochen: Willst du für uns selber Werbung machen?
Jochen: Ja, okay.
Jochen: Ja, ganz kurz vielleicht.
Jochen: Miet mich, miet mich, miet mich.
Jochen: Jetzt hier.
Jochen: Ja, wie war das?
Jochen: Ja, man kann uns auch mieten.
Jochen: Und ich habe gehört, das muss man wiederholen.
Jochen: Sonst merken sich die Leute das nicht.
Jochen: Deswegen, wir haben das ja schon einmal gemacht.
Jochen: Aber einmal ist zu wenig.
Jochen: Und deswegen sagen wir das einfach nochmal.
Jochen: Also, wenn ihr interessante Projekte habt oder so.
Jochen: Die meisten von uns sind irgendwie Freelancer.
Jochen: Und auch im Prinzip für schöne Projekte buchbar.
Jochen: Und ich wiederhole das jetzt mal in meiner Stimme auch nochmal.
Jochen: Auch ich bin mietbar.
Johannes: Und immer für interessante Projekte zu haben.
Johannes: Ja, wunderbar.
Johannes: Und Georg, wie ist das bei dir?
Johannes: Bist du auch mietbar oder bist du irgendwo angestellt?
Georg: Wir sind alle mietbar irgendwie, oder?
Georg: Ja, gut.
Dominik: Also, ihr wisst ja schon, dass ihr alle für die Werbung im Podcast erst eine Rechnung bekommt.
Dominik: Von mir.
Dominik: Das zählt.
Dominik: Dominik, das war jetzt deine Überleitung.
Dominik: Damit du dir den Georg vorstellen kannst.
Dominik: Ja.
Dominik: Ja, gut, dann.
Dominik: Okay, genau.
Dominik: Entschuldigung, Georg, bitte.
Georg: Ja, ich bin der Georg, hallo.
Georg: Und, ja, wenn man mich mieten will, ich bin aus Österreich an der slowenischen Grenze, ganz im Süden.
Georg: Da in der Nähe von Graz.
Georg: Und warum bin ich da?
Georg: Also, wir haben so ein Projekt, Afonik nennen sie das.
Georg: Da geht es um Audioverbesserung.
Dominik: Vielleicht noch einmal ganz kurz einhaken darf.
Dominik: Afonik habt ihr auf jeden Fall schon.
Dominik: Schon mal gehört.
Dominik: Also, zumindest, wenn ihr unseren Podcast schon mal gehört habt, habt ihr auf jeden Fall Afonik gehört.
Dominik: Also, den Effekt zumindest.
Dominik: Wir von Anfang an alle unsere Episoden durch Afonik jagen.
Dominik: Ja.
Dominik: Aha, so gehört.
Dominik: Nicht schlecht.
Dominik: Ja.
Georg: Also, zuerst mal zu mir.
Georg: Also, ich habe bei uns da in Graz Toningenieur studiert.
Georg: Das ist eine interessante Studie, weil man so Audiosachen und Informatik und Elektrotechnik-Sachen in Kombination quasi hat.
Georg: Also, du hättest das Audio-Problem.
Dominik: Was wir am Anfang der Episode hatten, heute sehr viel schneller in den Griff bekommen.
Georg: Deswegen habe ich gesagt, warum verwendet ihr einen Mischpuls?
Georg: Dann hat man keine Probleme, wenn man keines verwendet.
Georg: Wie auch immer.
Georg: Und ja, dann mehr so in die Richtung Informatik.
Georg: Also, alles ein bisschen so kombiniert.
Georg: Also, Audio und Informatik und Machine Learning und so weiter.
Georg: Und dadurch war ich sehr viel Podcast-Hörer immer.
Georg: Und dadurch bin ich dann irgendwie zu...
Georg: Da war Phonic gekommen, wo es eben um die Verbesserung von Audio gegangen ist.
Georg: Und was am Anfang auch noch ganz wichtig war, ist, verschiedene Dateien zu erstellen.
Georg: Sei es MP3, AAC.
Georg: Da hat es ja alle möglichen Formate damals noch gegeben.
Georg: Und die Metadaten korrekt zu haben und so weiter und so fort.
Georg: Und so ist das ganze Projekt sozusagen entstanden.
Georg: Warum jetzt im beiden Podcast, wenn Sie einige fragen.
Georg: Also, bei uns ist ja fast alles mit beiden gemacht.
Georg: Weil...
Georg: Allein schon von der ganzen Algorithmen-Seite ist das alles mit beiden.
Georg: Hat das immer...
Georg: War das immer schon auf beiden.
Georg: Dann das ganze Websystem haben wir auch mit beiden gemacht.
Dominik: Da erzählen wir bitte gerne gleich noch ein bisschen ausführlicher drüber.
Dominik: Das interessiert unsere Hörerinnen natürlich sehr.
Dominik: Glaube ich.
Dominik: Vielleicht.
Dominik: Ja.
Dominik: Okay.
Jochen: Ja, das klingt auch gut.
Jochen: Und genau.
Jochen: Ich weiß nicht, wie kommt denn dann...
Jochen: Also, ich habe immer schon...
Jochen: Also, ich höre ja...
Jochen: Ich habe schon ganz lange immer Podcast gehört.
Jochen: Und gefühlt war so...
Jochen: Vor allem auch schon relativ früh mit dabei.
Jochen: Wie...
Jochen: War ein Podcast speziell irgendwie?
Jochen: Auch so eine Motivation dafür, irgendwie das zu machen?
Jochen: Oder ist das halt irgendwie später dazu gekommen,
Jochen: dass das Podcast funktioniert vielleicht?
Georg: Ja, also zuerst...
Georg: Das erste System war quasi explizit für Podcasts, ja.
Georg: Das war der Tim damals, der Tim Britloff,
Georg: der immer gestöhnt hat.
Georg: Er hat gesagt, dass alles so kompliziert ist.
Georg: Und da denkt man sich dann natürlich,
Georg: na okay, da braucht man halt immer so ein Tool.
Georg: Und das hat dann eben so angefangen.
Georg: Zuerst mit dem Leveling,
Georg: dass man eben verschiedene Lautstärken
Georg: von verschiedenen Sprechern
Georg: auf gleiche Levels bringt und so weiter.
Georg: Und dann eben so ein Web-System,
Georg: also so ein Web-Interface dazu.
Georg: Und von dort weg ist es dann halt weiter gewachsen
Georg: in andere Bereiche.
Georg: Der Tim hat das dann eben auch angekündigt.
Georg: Auf seinem Podcast damals.
Georg: Und so sind halt viele andere
Georg: Podcaster auch dazukommen.
Georg: Und dann hat sich das immer sehr schön langsam
Georg: weiter verbreitet.
Jochen: Ja, ich glaube, ich habe es auch daher mal gehört,
Jochen: denke ich, wahrscheinlich, ja.
Jochen: Genau, ja.
Jochen: Ja, das ist ja auch interessant.
Jochen: Ich habe auch den Eindruck,
Jochen: dass ihr da am Anfang
Jochen: relativ viel so Scikit-Learn
Jochen: irgendwie verwendet habt zumindest
Jochen: für irgendwie diese ganzen...
Jochen: Anpassungen.
Georg: Ja, also wir haben ganz am Anfang
Georg: so viel mit NumPy, Scikit-Learn,
Georg: ja, SciPy, also diese ganzen
Georg: Signalfarbe-Docs
Georg: und Machine Learning Packages,
Georg: was es eben damals so gegeben hat.
Georg: Und das war eh...
Georg: Vielleicht kannst du kurz sagen, wann damals war?
Georg: Damals, also gestartet
Georg: sind wir 2013,
Georg: wenn ich das richtig im Kopf habe.
Dominik: Also es ist bald das zwölfte Jahr.
Dominik: Schon ein bisschen was Errotes dort.
Dominik: Ja, das...
Georg: Das waren halt die frühen 2010er-Jahre quasi,
Georg: wo die erste Version entstanden ist.
Georg: Und...
Georg: Ja, was...
Georg: Ich schätze mal, eure Hörer kennen eh
Georg: diese ganzen Packages, also NumPy,
Georg: so Array-Processing
Georg: und SciPy
Georg: setzt eben drauf auf,
Georg: hat ein paar zusätzliche Algorithmen,
Georg: vor allem im
Georg: Signalfarbetungsbereich.
Georg: Und Scikit-Learn,
Georg: ja, waren halt früher hauptsächlich,
Georg: alle möglichen Klassifikations-
Georg: und Clustering-Algorithmen,
Georg: auf denen wir dann halt auch aufgebaut haben.
Georg: Und...
Georg: Ja, vielleicht mal ein Beispiel,
Georg: was wir damals da so machen konnten,
Georg: so...
Georg: Oder geht natürlich jetzt auch noch,
Georg: aber jetzt gibt es halt andere Techniken auch.
Georg: Wir haben halt damals versucht,
Georg: früher hat es ja eigentlich nur so Audio-Plugins gegeben,
Georg: was halt Signalverarbeitungsalgorithmen
Georg: waren, die halt irgendwie abgelaufen
Georg: sind und man hat da Parameter dann eingestellt
Georg: und im Prinzip,
Georg: war das immer noch sehr schwer
Georg: zu bedienen, wie man es am Mischpult sieht.
Georg: Und
Georg: das Ganze haben wir
Georg: versucht eigentlich einmal zu automatisieren.
Georg: Das heißt, wir haben halt
Georg: nicht nur diese DSP-Algorithmen gehabt,
Georg: die man aufs Audio irgendwie anwendet, sondern
Georg: versucht mit Klassifikatoren
Georg: gewisse Sachen im Audio zu erkennen, also wo
Georg: zum Beispiel verschiedene Sprecher sind, oder wo
Georg: Musikteile sind, wo jetzt nur
Georg: Rausch-Teile sind, oder
Georg: eben nur Hintergrundgeräusche,
Georg: oder Hintergrundmusik, Vordergrundmusik und lauter so.
Georg: Und mit diesen
Georg: Ergebnissen, die wir eben von den Klassifikatoren
Georg: dann bekommen haben, dafür haben wir
Georg: zum Beispiel im Scikit-Learn
Georg: Sachen verwendet, wie jetzt
Georg: SVMs oder
Georg: irgendeine Decision-Trees
Georg: mit Feature-Extraction vorher.
Georg: Und aufgrund von diesen
Georg: Analysedaten haben wir dann eben
Georg: die Parameter der ganzen DSP-Algorithmen
Georg: automatisch gesetzt.
Georg: Also zum Beispiel, wenn man
Georg: einen Denoiser hat, haben wir
Georg: das Audio mal segmentiert in verschiedene
Georg: Abschnitte, wo verschiedene Noise-Profile
Georg: sind, also zum Beispiel
Georg: wir reden jetzt hier in einem Raum, dann geht man raus,
Georg: dann hat man natürlich ein anderes Noise-Profil.
Georg: Da haben wir so ein Clustering gemacht, dass das Audio
Georg: segmentiert, und dann in den
Georg: einzelnen Segmenten
Georg: haben wir geschaut, wo
Georg: jetzt Sprecher sind, oder Musikteile, und in den
Georg: stillen Teilen, wo halt eben keiner
Georg: spricht, also wo nur der Noise-Floor
Georg: sozusagen unten überbleibt,
Georg: diese haben wir dann so zusammengestitcht
Georg: und daraus Noise-Profile.
Georg: Und dann haben wir dann auch
Georg: extrahiert und
Georg: diesen Noise dann quasi
Georg: vom Gesamtsignal abgezogen.
Georg: Und wiederum entschieden,
Georg: ob das überhaupt Sinn macht, dass man
Georg: das macht, oder ob das nicht Musik ist,
Georg: und da wollen wir das vielleicht nicht abziehen.
Georg: Also die Grundidee ist halt, dass man so verschiedene
Georg: Klassifikatoren hat und mit denen
Georg: dann die Algorithmen steuert.
Georg: Und für das hat das
Georg: ganz gut funktioniert, ja. Aber diese Algorithmen
Jochen: sind dann quasi noch so die klassischen, ich weiß jetzt
Jochen: nicht, ich hab jetzt so im Hinterkopf, da gibt's
Jochen: irgendwie so Audio-Works,
Jochen: Vibrations und irgendwelche Plugins und so
Jochen: und da kann man dann wahrscheinlich die Parameter einstellen,
Jochen: aber sozusagen die sind dann halt
Jochen: übernommen, aber wie man die einstellt, ist
Jochen: automatisiert über halt
Georg: irgendwie... Übernommen, also die haben wir natürlich
Georg: schon selber entwickelt, aber vom
Georg: Prinzip her ähnlich natürlich, also
Georg: man hat halt bestimmte Filter oder
Georg: Kompressoren, Limiter und
Georg: was gibt's noch,
Georg: FFT-basierten Prozesse,
Georg: so wie das ist, denoising zum Beispiel.
Georg: Ja. Und
Georg: auf diese Weise steuert
Georg: man dann diese
Georg: klassischen DSB-Algorithmen quasi, ja.
Georg: Ja. Aber
Jochen: genau, gibt's da nicht irgendwie,
Jochen: wenn man jetzt zum Beispiel,
Jochen: das ist ja auch ein spezieller Anwendungsfall
Jochen: eigentlich, dass man halt das, dass man
Jochen: so ein fertiges Audio hat, was man dann post-processen
Jochen: will, kann man da nicht
Jochen: auch noch irgendwie vielleicht
Jochen: irgendwie Informationen,
Jochen: mehr Informationen verwerten, wenn man
Jochen: halt das ganze Audio, weil normalerweise
Jochen: diese Audio-Works-Sessions sind ja immer so
Jochen: mehr so drauf ausgelegt, dass man halt
Jochen: irgendwie einen Mix so live
Jochen: erzeugt und
Jochen: da hat man ja gar nicht so viele Informationen.
Georg: Das ist eben das,
Georg: das ist eben das,
Georg: der Unterschied von unserem System
Georg: gewesen zu den anderen Sachen oder zu den
Georg: meisten anderen Sachen, also
Georg: das ist eben, das ist unser
Georg: Konzept, wie es am Computer meistens funktioniert,
Georg: also in Audio-Plugins
Georg: ist es halt
Georg: eigentlich ein Realtime-Konzept, also
Georg: ein Plugin sieht ja nur einen kleinen
Georg: Buffer an Audio, den er prozessiert,
Georg: und der muss ja jetzt auch so
Georg: schnell wie möglich prozessieren und dann spuckt er
Georg: wieder aus, weil das System ja
Georg: auf Realtime ausgelegt ist
Georg: und es hat
Georg: zumindest damals sehr wenig Programme
Georg: gegeben, die jetzt ja wirklich so
Georg: Offline-Audio-Berechnung
Georg: gemacht haben und
Georg: das war
Georg: damals eben der Levelator, den es da
Georg: gegeben hat, das war auch so ein Programm, das
Georg: einfach die Levels quasi gleich geregelt
Georg: hat von Aufnahmen,
Georg: die mich
Georg: BruteForce, also der hat nicht geschaut, ob da irgendwie
Georg: Musik ist, das hat er vollkommen zerstört, aber halt
Georg: einfach versucht, alles irgendwie gleich laut zu machen
Georg: und
Georg: dieses Programm hat
Georg: mich damals ein bisschen fasziniert, weil ich doch
Georg: aus der Audio-Bubble sozusagen gekommen
Georg: bin und das haben mir die Podcaster damals gezeigt
Georg: und ich habe mir gedacht, warum habe ich noch nie
Georg: von dem gehört, das ist ja eigentlich ganz praktisch,
Georg: weil in der ganzen
Georg: professionellen Audio-Welt
Georg: dieses Konzept einfach nicht existent
Georg: war, also wirklich, also
Georg: weil es da halt natürlich die super
Georg: speziellen Plugins geben, die
Georg: von den namhaften Herstellern
Georg: und so weiter, aber
Georg: dieses Konzept haben wir dann auch
Georg: versucht ähnlich zu machen, also weg von dem Plugin-Konzept
Georg: und eben einfach das gesamte
Georg: Audio analysiert, das heißt man hat
Georg: vorher schon mal schauen können, wo was passiert und
Georg: danach eben die Algorithmen dann darauf anpassen
Georg: zusätzlich
Georg: ist es natürlich praktisch, das kann man
Georg: dann als Web-Service anbieten, weil
Georg: da kann man dann das ganze feil hin tun
Georg: und das wird dann halt einfach
Georg: sozusagen im Hintergrund
Georg: äh
Georg: prozessiert und dann bieten sie
Georg: natürlich auch andere Sachen an, dass man
Georg: das feilt dann gleich mal hin
Georg: distributiert, also auf YouTube und auf Soundcloud
Georg: war damals man ziemlich populär
Georg: und alle möglichen anderen Targets
Georg: auf den eigenen Server oder
Georg: verschiedene andere
Georg: Publikations- und
Georg: Encoding-Steps dann
Georg: dazu tun.
Dominik: Darf ich noch so ein paar Fragen stellen, vielleicht zu diesem Audio-Ding?
Dominik: Das würde mich so ein bisschen
Dominik: mehr interessieren, also du hast das aus der
Dominik: Tontechnik-Welt quasi gedacht, ja?
Dominik: Und wenn du sagst, okay, du möchtest
Dominik: die Sachen auspegeln irgendwie, dann
Dominik: guckst du darauf, dass
Dominik: das so ein bisschen harmonisch ist und du
Dominik: guckst, dass das so ein bisschen Raum gibt
Dominik: und du versuchst dann mit
Dominik: den Filtern,
Dominik: die durch das Machine Learning trainiert
Dominik: sind, zu erkennen, was jetzt ein
Dominik: Störgeräusch ist und nicht zur Stimme gehört
Dominik: und
Dominik: ja, also so
Dominik: ich versuch's so ein bisschen einfach darzustellen, ja, weil ich möchte gerne
Dominik: diesen Prozess aus dieser Audio-Perspektive
Dominik: so ein bisschen eher verstehen.
Dominik: Ja,
Georg: naja, ich rede jetzt immer noch aus der Perspektive,
Georg: wie das quasi
Georg: früher war.
Georg: Aber
Georg: nehmen wir vielleicht mal dieses
Georg: Leveling-Beispiel, was muss man da machen?
Georg: Also wenn man jetzt verschiedene Sprecher hat,
Georg: zum Beispiel
Georg: wie wir da, einer ist halt
Georg: viel lauter, einer ist viel leiser
Georg: und das wechselt sich dann ab
Georg: und
Georg: wo war ich jetzt?
Georg: Ja, dann hat man jetzt irgendwelche anderen Sachen noch
Georg: dabei, also Intro-Musik zum Beispiel
Georg: oder dann ist wieder mal
Georg: Pause und dann hört man irgendwelche anderen
Georg: Geräusche.
Georg: Dann
Georg: nennt sich das so
Georg: Voice-Activity-Detection, also man
Georg: detektiert eben, wo jetzt wirklich die
Georg: Sprache aktiv ist und wo jetzt Pausen
Georg: sind, dann detektiert man
Georg: zum Beispiel, wo jetzt Musiksegmente sind
Georg: und dann, wo jetzt irgendwas
Georg: anderes ist, also irgendeine Störgeräusche,
Georg: die jetzt weder Sprache noch
Georg: Musik sind sozusagen
Georg: und dann, wenn man jetzt
Georg: die verschiedenen Sprachsegmente
Georg: hat und da sind große
Georg: Level-Unterschiede, dann versucht man die so schnell
Georg: wie möglich nachzuregeln, dass
Georg: sie möglichst ähnlich laut klingen, also
Georg: relativ schnell
Georg: zu faden. Bei Musik
Georg: muss man das jetzt wieder anders machen, weil wenn man
Georg: in der Musik jetzt so schnell nachregelt, dann würde man
Georg: die ganze innere Dynamik
Georg: der Musik zerstören, weil Musik braucht
Georg: ja viel mehr Dynamik natürlich, sind ja alles
Georg: ziemlich, ziemlich
Georg: wurscht, nicht wurscht in dem Sinn,
Georg: dass alles gleich laut ist und dann nicht mehr gut klingt.
Georg: Das heißt, bei Musik muss man das natürlich
Georg: wiederum anders machen, deswegen muss man das vorher
Georg: klassifizieren, dann hat man wieder irgendwelche anderen
Georg: Geräusche, die jetzt weder Musik noch
Georg: Sprache sind, die wird man wahrscheinlich nicht
Georg: raufregeln wollen, also
Georg: das kennt man von so alten
Georg: Automatik-Gain-Control-Algorithmen
Georg: bei diversen
Georg: Recording-Systemen, wenn man das einstellt
Georg: und dann stehen lässt und dann mal der Zeit lang nichts sagt,
Georg: dann wird auf einmal der Noise-Begel komplett
Georg: hochgezogen vom Hintergrund,
Georg: und dann fängt wieder irgendwer zum Sprechen an,
Georg: dann regelt der Begel
Georg: wieder runter und dann ist der Noise wieder unten
Georg: und die Sprache kommt wieder, also genau
Georg: solche Pumping-Artefakte,
Georg: dass irgendwas hochgezogen wird, was man
Georg: nicht will, will man natürlich
Georg: nicht haben und das kann man natürlich
Georg: viel besser machen, wenn man das ganze
Georg: Pfeil vorher klassifiziert, wo
Georg: welche Events, also so ein
Georg: basierende Relevanz sind für diesen Algorithmus
Georg: jetzt und dann weiß man
Georg: schon, das ist da und das ist da und dann kann man
Georg: diese
Georg: ...
Georg: Dieses Nachregeln natürlich ein bisschen besser machen, ganz einfach. Ich hoffe, das war jetzt deine Frage.
Jochen: Ja, aber ist Musik eigentlich überhaupt jemals sozusagen auch das Ziel gewesen, dass man das halt verbessern kann? Oder ist das auch vor allem nicht eher schon immer irgendwie Sprache, reine Sprache gewesen?
Georg: Ja, aber du musst ja mit der Musik auch irgendwie klar kommen.
Georg: Das Problem ist ja, du kannst ja nicht einfach nichts machen, weil wenn du jetzt die Sprache irgendwie großartig nachregelst und dann ist die Musik wieder ganz woanders, dann passt das ja erst wieder nicht zusammen.
Georg: Also wir versuchen natürlich die Musik so wenig.
Georg: Wie möglich zu verändern, sag ich mal. Also künstlerisch zu verändern, sondern einfach so anzupassen, dass sie zum Rest von der Produktion passt.
Georg: Also dass halt die Lautstärkenverhältnisse zu den Sprechern und der Musik einigermaßen passt, dass die Lautstärkenverhältnisse in der Musik nicht so viel verändert werden.
Georg: Also natürlich werden sie ein bisschen verändert, aber nicht zu extrem. Und spektral wird die Musik jetzt eigentlich auch nicht verändert.
Georg: Also wir...
Georg: Zumindest bis jetzt nicht.
Georg: Vielleicht machen wir das in Zukunft einmal.
Georg: Also, weil wir gehen natürlich davon aus, meistens hat man so ein Einspieler oder sonst irgendwas, das ist schon vorproduziert, das ist künstlerisch meistens so gewollt und da will man jetzt nicht so großartig was ändern dabei.
Georg: Außer vielleicht ein bisschen Noise weglöschen oder eben die Begel anpassen, dass sie zum Rest passen.
Georg: Was man natürlich auch sehr oft an so Musikmixes, da macht es ja schon Sinn, also wenn man jetzt ein Stück hat, das sehr laut ist an sehr leise, das passt dann auch.
Georg: Passen wir schon an, dass das dann wieder zusammenpasst.
Georg: Aber jetzt nicht den spektralen Content in der Musik.
Georg: Ja.
Jochen: Aber genau, ist das denn...
Jochen: Aber inzwischen hat sich ja auch im Machine Learning-Bereich
Jochen: so einiges getan, so in den letzten zehn Jahren.
Jochen: Ich meine, 2013 hat das mit dem Deep Learning
Jochen: und so gerade erst angefangen.
Jochen: Gibt es da inzwischen auch Geschichten,
Jochen: wo man das so mehr so richtig End-to-End,
Jochen: ohne dass man dann noch irgendwelche Blöcke dazwischen hat,
Jochen: die man konfiguriert, sondern einfach quasi,
Jochen: man könnte ja auch das alles irgendwie insgesamt lernen
Jochen: und dann halt Audio rein auf der einen Seite
Jochen: in irgendwie ein neuronales Netz
Jochen: und dann wieder Audio auch wieder raus.
Jochen: Hat sich das da eigentlich in die Richtung schon entwickelt?
Jochen: Weil ich habe da ehrlich gesagt ja keine Ahnung von.
Georg: Ja, so funktioniert es im Moment eigentlich.
Georg: Also, wie gesagt, wenn man jetzt von der Geschichte her kommt,
Georg: von NumPy, SciPy und CKitLearn und so weiter,
Georg: dann sind immer weitere Algorithmen gekommen.
Georg: Also ich habe zum Beispiel meine Diplomarbeit damals
Georg: auch schon mit so neuronalen Netzen gemacht.
Georg: Das war 2007 oder 2008.
Georg: Da war das noch ganz am Anfang, vor allem im Audio-Bereich.
Georg: Und am Anfang von der Phonik haben wir das jetzt noch nicht gehabt,
Georg: weil es ja einfach nur zu aufwendig war zum Rechnen.
Georg: Aber dann sind wir eh gleich in diese Richtung einmal gegangen.
Georg: Also, ich meine, schon in beiden Podcasts,
Georg: zehn, kann man eh von den Tools auch ein bisschen reden.
Georg: Zuerst war dann das Dancerflow sehr, sehr beliebt am Anfang.
Georg: Vor allem mit diesem Keras, dieser Keras-Library.
Georg: Das war damals so ein Wrapper für Dancerflow im Prinzip,
Georg: einfach mit einer einfacheren API, also einfacher zu verwenden.
Jochen: Ja, inzwischen ist es, glaube ich, die offizielle API-Aufwand.
Georg: Ja, die haben es, glaube ich, irgendwie,
Georg: oder der Typ bei Keras ist dann, glaube ich, irgendwann zu Google
Georg: und dann haben sie das gleich dazu einbaut.
Georg: Ja.
Georg: Wie auch immer, zuerst haben wir viel mit Keras eben gemacht
Georg: und dann irgendwann sind wir dann eh so wie alle auch auf PyTorch.
Georg: Mittlerweile machen wir eigentlich alles mit PyTorch,
Georg: also eh schon lang.
Georg: Aber jetzt zu den Algorithmen, wie funktioniert das jetzt?
Georg: Also, eigentlich ziemlich anders.
Georg: Also, wie du gesagt hast, mittlerweile kommt eigentlich
Georg: einfach nur mehr Audio rein und Audio raus dann.
Georg: Also, es ist viel mehr Blackbox als vorher.
Georg: Und wie funktioniert das?
Georg: Das heißt, man ist jetzt natürlich hauptsächlich damit beschäftigt,
Georg: oder mit vielen Sachen beschäftigt, aber ein großer Punkt ist natürlich,
Georg: dass man jetzt die ganzen Datensätze eben zusammenstellt.
Georg: Nehmen wir noch mal den Beispiel mit Denoising, also Störgeräusche weglöschen.
Georg: Dazu braucht man natürlich ganz viele Audio-Sprachfiles,
Georg: die, wenn wir jetzt nur Sprache betrachten, braucht man ganz viele Sprachfiles,
Georg: die gut klingen, also ganz viele Sprecher, verschiedene Sprachen,
Georg: verschiedene Geschlechter.
Georg: Verschiedene Ausdrucksweisen, verschiedene Sprachstile,
Georg: emotionale Sprache, Fadesprache, was auch immer man sich flüstern,
Georg: was immer man sich denken kann, also alles Mögliche, was es dazu gibt.
Georg: Und das natürlich in einer guten Qualität, ohne viel Rauschen.
Georg: Dann braucht man natürlich ganz große Datensätze von verschiedenen Noise-Daten,
Georg: also statisches Rauschen, dann ein Auto, das hinten vorbeifährt,
Georg: oder irgendwelche Klopfgeräusche am Computer und so weiter.
Georg: Alles, was man sich irgendwie vorstellen kann.
Georg: Musik natürlich auch, falls man Musik auch wegrechnen will.
Georg: Baby schreien, Hunde bellen.
Georg: Und dann mischt man diese Daten eben zusammen, also dass man aus diesen schönen Daten
Georg: eben das Rauschen dazurechnet.
Georg: Das ist dann quasi das schlechte Signal, das ist das Input von dem Netzwerk.
Georg: Und als Target hat man dann einfach das schöne Signal.
Georg: Und dann trainiert man eben dieses Model, das Netzwerk an.
Georg: Also ihr kennt das wahrscheinlich ja alle.
Georg: Und dann hat das eben einen bestimmten Lernalgorithmus,
Georg: das die Gewichte in diesem neuronalen Netzwerk eben updatet
Georg: und dadurch versucht es eben zu lernen, wenn man das reinschickt, kommt das raus.
Georg: Und versucht eben zu generalisieren für alle möglichen anderen Sachen,
Georg: die dazwischen sind, die man eben nicht explizit gelernt hat.
Georg: Zusätzlich zu diesen Daten und Model gibt es ja noch so Transformationen,
Georg: also das Audio wird nicht nur durch das Zumischen von Neues schlechter gemacht,
Georg: sondern man kann auch noch alles mögliche andere machen.
Georg: Man kann Filter-Artefakte draufrechnen, die das Netzwerk dann wegrechnen soll
Georg: oder das Audio Clippen zum Beispiel und das versucht es wieder wegzurechnen
Georg: oder irgendwelche Kompressoren am Target oder am Input drauflegen.
Georg: Also alles, was man früher so eigentlich an Signalbearbeitungsalgorithmen gehabt hat
Georg: und direkt angewendet hat, ist jetzt für einen End-User,
Georg: quasi weg, aber die ganzen Algorithmen braucht man trotzdem immer noch,
Georg: weil man damit im Endeffekt jetzt die ganzen Transformationen von den Daten macht,
Georg: damit man sie so zusammenbasteln kann, damit sie eben möglichst variantenreich sind
Georg: und damit man alle möglichen Sachen abbilden kann, die das Model dann eben machen soll.
Georg: Aber man wendet die Algorithmen nicht mehr direkt auf die Daten an,
Georg: sondern einfach auf den Trainingsdaten und damit modelliert man sozusagen die Trainingsdaten,
Georg: so wie es dann eben fürs Model sein soll.
Jochen: Mhm. Ja, interessant. Ich hätte mir schon mal überlegt, irgendwie, keine Ahnung,
Jochen: ob man nicht sowas machen könnte, wie wenn man jetzt, angenommen man hätte irgendwie ganz viel hochqualitatives Audio irgendwo her,
Jochen: keine Ahnung, hat ein Archiv von einem Radiosender gefunden oder irgendwelchen Medien
Jochen: und man spielt das jetzt irgendwie in einem Raum ab und legt dann irgendwie ein Handy irgendwie in die Mitte oder sowas
Jochen: und nimmt das dann auf, dann könnte man ja eigentlich sozusagen, kann man dann nicht ein gutes Audio
Jochen: aus irgendwie einer Handy-Mikrofon-Aufnahme generieren? Könnte man nicht ein neuronales Netz trainieren,
Jochen: das halt irgendwie quasi dann halt auch, wenn ich dann selber wieder das Handy nehme oder reinspreche,
Jochen: dann quasi da einen guten Klang draus macht?
Jochen: Das ist, glaube ich, das, was Georg versucht, diese Folge.
Jochen: Genau das. Genau das machen wir.
Jochen: Aber da lernst du doch nur einen Filter, oder?
Georg: Genau. Im Prinzip gibt es genau so Datensätze von, du meinst jetzt zum Beispiel Impuls-Responses,
Georg: also Impuls-Antworten von Räumen zum Beispiel, wo eben, keine Ahnung, 100.000 Impulse,
Georg: Impuls-Responses von verschiedenen Geometrien von Räumen, das heißt in dem Fall,
Georg: in dem Fall hättest du ein Handy halt immer an einem anderen Punkt, in einem anderen Raum liegen,
Georg: das sind eben genau diese Transformations, in dem Fall rechnet man dann so eine Impuls-Response drauf auf das Input-Signal
Georg: und am Target soll das dann eben wieder weggerechnet werden.
Georg: Dann, in deinem Fall, hättest du noch so nicht-lineare Verzerrungen drinnen vom Handy-Mikrofon zum Beispiel,
Georg: das kann man natürlich auch mit so einem nicht-linearen,
Georg: also Verzerrungen ganz einfach simulieren, zusätzlich hast du noch Rauschen dabei,
Georg: also man kann da noch ein neues dazu mischen und mit diesen ganzen Dingen,
Georg: dann hat es vielleicht noch spektrale Effekte drinnen, also man kann noch so EQ-Dinger auf den Input drauflegen
Georg: und wenn man diese ganzen Effekte zusammen mischt, dann kommt halt irgendein schlechtes Audio sozusagen raus,
Georg: das man dann verwenden kann.
Jochen: Ja, ja und das kann man natürlich dann deutlich flexibler machen, als wenn man das jetzt irgendwie tatsächlich physisch
Jochen: irgendwie machen müsste, ja. Man braucht ja auch viele Daten irgendwie wahrscheinlich, nehme ich mal an.
Jochen: Was heißt denn viele Daten? Wie viele Daten braucht man denn? Braucht man da 10 Stunden oder 100 Stunden oder 1000 Stunden oder 100.000 Stunden?
Georg: Naja, mehr wie 1000, also es kommt drauf an, wie gut das sollte oder welcher Algorithmus jetzt und wie gut das funktionieren soll.
Georg: Also für so ein neues Redaction-Sachen brauchst du schon einige Tausend Stunden an Audio-Material, sage ich mal.
Johannes: Okay, also so ein, sage ich mal, Podcast-Archiv aus 150 Stunden Audio kommt nicht weit.
Georg: Naja, vor allem, wenn du jetzt ein Podcast-Archiv hast, das ist halt sehr einseitig.
Georg: Ja, okay, das ist zu gleich für mich.
Georg: Du hast natürlich verschiedenste Podcast-Archive von verschiedenen Ländern, von verschiedenen Ausdrucksweisen.
Georg: Dann kommt natürlich noch die Qualität vom Audio dazu.
Georg: Also es ist ja nicht so leicht, wirklich gute Sprache zum Beispiel zu finden, wo jetzt kein Rauschen drin ist,
Georg: weil sonst trainierst du dich auch erst wieder an, dass du Rauschen dabei hast.
Georg: Okay, klar.
Georg: Also wir machen das meistens so ein bisschen rekursiv.
Georg: Also man hat natürlich einmal ein Modell, dann findet man wieder neue Daten, die ein bisschen verrauscht sind,
Georg: die neueste man mit dem alten Modell, damit trainiert man dann das neue Modell und so weiter,
Georg: damit man die Daten auch ein bisschen besser aufbereiten kann.
Georg: Weil, was ja ganz interessant ist, welche Effekte wir immer gehabt haben, also wenn man natürlich schon mal Daten gehabt hat,
Georg: mit denen man ein Modell trainiert hat und da will man dann danach noch einmal die Neues mit dem gleichen Modell,
Georg: dann funktioniert das natürlich nicht, weil das Modell hat ja schon gelernt, dass in den Daten Neues drinnen ist
Georg: und das reproduziert das Neues ganz einfach wieder.
Georg: Also irgendwie ist das wirklich drinnen gespeichert dann.
Georg: Na gut, aber was bei uns auch noch so ein Ding ist, weil wir ja vorher von der klassischen DSB-Welt,
Georg: Maschinen-Learning-Welt gekommen sind, also der Vorteil dort ist natürlich, dass man Parameter zur Kontrolle hat,
Georg: was oft ein Vorteil, oft ein Nachteil ist, weil es komplizierter werden kann.
Georg: Ein Vorteil, weil man verschiedene Use Cases damit abbilden kann.
Georg: Und dieses Prinzip wollten wir jetzt halt auch nicht ganz aufgeben in der ganzen neuen Deep-Learning-Welt sozusagen,
Georg: weil man kann natürlich auch so ein Modell machen, das jetzt auch,
Georg: alle diese Transformationen und was auch immer drinnen hat und da kommt dann irgendwas raus
Georg: und mit dem kann man dann leben oder nicht, aber oft will man halt auch mehr Kontrolle haben,
Georg: was genau man mit dem Audio machen will.
Georg: Man will zum Beispiel nur gewisse Störgeräusche rausrechnen oder man will Musik auch rausrechnen
Georg: oder Atmer wegrechnen oder gewisse Sachen wegschneiden oder Lautstärken labeln,
Georg: Lautstärken nicht labeln, Filtering anwenden oder nicht.
Georg: Also insofern haben wir da jetzt, es ist unser Weg,
Georg: dass wir verschiedene Stemmodels haben, die wir dann kombinieren.
Georg: Also zum Beispiel haben wir so ein Modell, das im Filtering macht.
Georg: Das nennt sich der Auto-EQ-Model, was auf das Filtering spezialisiert ist.
Georg: Dann haben wir verschiedene denoising Models, die verschiedene Teile von Audio weglöschen können oder überlassen können,
Georg: damit man dann die so kombinieren kann, um noch ein bisschen eine Kontrolle darüber zu haben.
Georg: Um auch verschiedene Use Cases, was ist das zum Beispiel?
Georg: In einem Radio-Play, also in einem Hörspiel im Radio will man natürlich alle möglichen Soundeffekte hinten haben.
Georg: Also in einem Wasserfall, der plätschert oder der Knall, wenn die Tür aufgeht.
Georg: Oder in einem Yoga-Video will man natürlich das ganze Atmen im Hintergrund haben und nicht rauslöschen.
Georg: Jetzt in einem reinen Sprach-Podcast will man viel mehr natürlich rauslöschen.
Georg: Also alles, was Tippen ist oder das Plätschern vom Bach im Hintergrund oder der Vögel oder Atmen von mir aus,
Georg: kann man auch rauslöschen, alle Pausen rauslöschen, wenn man es ganz extrem machen will.
Georg: Insofern.
Jochen: Also es ist quasi sehr kontextabhängig, also sehr auch davon abhängig.
Jochen: Also man kann nicht ein Modell für alle Sachen verwenden oder das Modell muss er halt selber erkennen, was jetzt.
Jochen: Eigentlich müsste man ihm das ja sagen, das kann er ja gar nicht wissen, ob jetzt das Atmen oder schwierig wahrscheinlich.
Jochen: Ob das Atmen jetzt erwünscht ist oder nicht.
Jochen: Ja, klar.
Jochen: Ja, das Multitracking.
Jochen: Das Multitrack-Interface.
Jochen: Ich meine, das ist ja auch schön, dass das alles geht, genau.
Jochen: Aber ja, das ist nicht so ganz einfach einzustellen, das stimmt.
Jochen: Ja.
Georg: Ja, Multitrack ist nochmal besonders komplex, vor allem vom Interface.
Georg: Weil für jede Track kannst du alle Settings halt einstellen und dann wird es halt natürlich gleich einmal viel.
Georg: Ja.
Jochen: Ja, gar nicht so einfach.
Jochen: Oder.
Johannes: Ja, ich glaube, wir sind so ein bisschen überfahren, oder?
Johannes: Von diesen ganzen Möglichkeiten, die es da gibt und von den ganzen coolen Sachen, die jeder macht.
Johannes: Und als Außenstehender, also so ich als, sag ich mal, Feld, Wald und Wiesen-Informatiker, mir fehlt da so ein bisschen der Bezug dazu.
Johannes: Also für mich ist es so ein bisschen so, ja, ich habe hier eine Audiodatei und da gibt es irgendwelche magischen Tools, die irgendwelche magischen Sachen machen und hinterher hört es sich besser an.
Georg: Ja, aber es ist ja auch okay, oder? Als User willst du eh nicht mehr wissen im Endeffekt.
Georg: Klar.
Georg: Jetzt hast du ja alles auf den User degradiert.
Georg: Idealerweise möchte ich nicht mehr wissen, das stimmt natürlich.
Johannes: Aber wir wollen ja da schon gerne einen Blick reinwerfen und das ist irgendwie so eine ganz eigene Welt, diese Audiosachen.
Johannes: Ich meine, da gibt es spezielle Hardware und dann sehen die Knöpfe alle anders aus und dann sind die Interfaces so kompliziert, dass wir nicht damit klarkommen.
Johannes: Und ich finde es total faszinierend, wie tief das so ist, weil das so auf der Ebene, die der User damit interagiert ist, ist ja wirklich nur so.
Johannes: Ich habe eine Datei und die soll besser klingen und jetzt ist es so.
Georg: Das war natürlich auch der Punkt, warum wir angefangen haben mit Affonic überhaupt.
Georg: Weil Audiothechnik einfach vor allem vor 10, 15 Jahren sehr kryptisch war.
Georg: Das ist ja heute schon total anders.
Georg: Also früher hast du echt wissen müssen immer, was ein Kompressor ist, was ein Limiter ist, wie du den einstellst, wie du die ganzen Filterparameter einstellst.
Georg: Wo man, wenn man eigentlich nicht wirklich Ahnung davon hat, viel leichter, viel besser ist.
Georg: Was man mehr schlecht machen kann, als gut machen kann.
Georg: Und das war eigentlich der Ausgangspunkt von uns.
Georg: Weil wir halt gedacht haben oder ich damals gedacht habe, dass man kann einfach einem normalen Menschen unter Anführungszeichen sowas einfach nicht zumuten.
Georg: Der, wie du sagst, nur ein besseres Audio haben will.
Georg: Das war einfach alles viel zu kompliziert.
Johannes: Ja, ganz oft ist es ja auch so, dass gerade in dieser Audio-Welt,
Johannes: dass man als normaler Benutzer viele Dinge gar nicht hört oder gar nicht versteht.
Johannes: Man hat ja da gelegentlich Kontakt dazu.
Johannes: Und wenn man dann so sieht, da sitzt einer hier an seinem Mischpult und dann dreht er an irgendwelchen Reglern und es passiert eigentlich gar nichts.
Johannes: So erster Eindruck.
Johannes: Aber dann am Ende hört es sich doch irgendwie wesentlich besser an, als es sich vorher angehört hat.
Johannes: Und diese Intransparenz ist so für mich als Benutzer.
Johannes: Ich zähle mich da durchaus zu den Benutzern.
Johannes: Super interessant, weil ich verstehe überhaupt gar nicht, was es da für, ich verstehe noch nicht mal, was es für Parameter gibt.
Johannes: Und dann gibt es aber Experten, die gucken sich das an und sagen, ja, nee, so kannst du es nicht machen.
Johannes: Und hier musst du diesen das hochdrehen und das runterdrehen.
Johannes: Und dann am Ende denkst du ja, verrückt.
Johannes: Und ich habe einmal so eine Erfahrung gemacht.
Johannes: Da haben wir bei einem ehemaligen Arbeitgeber, wir haben ein Marketingvideo gedreht.
Johannes: Es war ein großer Spaß für einen Programmiertwettbewerb.
Johannes: Und der war auch so ein Audio-Wettbewerb.
Johannes: Und der war so ein Fan.
Johannes: Da hat er sich selber in seinem Wohnzimmer ein kleines Studio reingebaut.
Johannes: Auch mit so Schallschutzwänden und so Zeugs.
Johannes: Und da hat er dann mit seiner Band, was man halt so macht.
Johannes: Und dann hat er da so ein Stück Audio von mir aufgenommen.
Johannes: Und ich meine, jeder, der schon mal Audio von sich selber gehört hat, der weiß, dass das ganz schrecklich ist, wenn man sich das anhört.
Johannes: Weil die eigene Stimme, die hört sich gruselig an.
Johannes: Aber dann hat er das da so reingetan und hat so ein paar Knöpfe gedreht.
Johannes: Und auf einmal habe ich mich angehört wie ein Radiomoderator.
Johannes: Und so eine richtig sonore Stimme.
Johannes: Mit Volumen drin.
Johannes: Und er hat das Reverb aufgedreht.
Johannes: Ja, und vielleicht auch ein bisschen die Bässe hochgedreht.
Johannes: Und, keine Ahnung, einen Kompressor reingemacht.
Johannes: Weiß ich, was das bedeutet.
Johannes: Jedenfalls einige magische Regler.
Johannes: Und auf einmal war es viel, viel, viel besser.
Johannes: Und ich finde das super faszinierend, dass es so eine Welt gibt, die eigentlich so intransparent ist.
Johannes: Aber die doch irgendwie jeder hört.
Johannes: Weil man hört ja schon, ob sich Audio gut anhört oder nicht.
Dominik: Und wer meint es jetzt, wenn du das Audio auffällig hörst?
Dominik: Wenn du es auf dem Telefon als Podcast hörst?
Dominik: Oder wenn du das bei deiner Serienanlage hörst?
Dominik: Oder im Auto?
Johannes: Wenn ich das in meinen Bluetooth-Lautsprechern 10 Meter von meinem Handy anhöre.
Dominik: Entschuldigung, ich wollte gerade, weil ich finde nämlich, dass die Sachen alle auf unterschiedlichen Geräten immer ganz anders klingen.
Dominik: Und das ist total nicht rausgekommen.
Dominik: Ja, das ist natürlich so.
Johannes: Aber ich meine, so die ganz alten Sachen waren ja alle für Radio.
Johannes: Und auch da hat es sich sehr gut angehört.
Johannes: Also besser als ohne.
Johannes: Ja.
Jochen: Ja, wobei ich glaube, das muss man auch so ein bisschen lernen.
Jochen: Also ich habe jedenfalls irgendwie,
Jochen: zum Beispiel bei den ersten Podcast-Episoden jetzt hier,
Jochen: dachte ich auch, das klingt ja eigentlich ganz gut.
Jochen: Und wenn ich mir die heute anhöre, denke ich mir so, ah, das klingt aber eigentlich ganz schön schlecht.
Jochen: Und das war auch so ein Lernprozess.
Jochen: Das ging nicht von Anfang an.
Dominik: Und dann hat der Jochen sich ein ganz großes Mischpult gekauft, das wir immer noch nicht ordentlich bedienen können.
Dominik: Und damit ist es viel besser geworden.
Dominik: Ja, nee.
Dominik: Viel einfacher.
Dominik: Ja.
Dominik: Aber ich höre jetzt auch...
Johannes: Was die Hörer nicht wissen, ist ja, dass wir vorher eine Dreiviertelstunde gebraucht haben, um die Aufnahme zu starten.
Johannes: Das war tatsächlich das Nächste zum Vorbereiten.
Johannes: Was wir selber hatten, ja.
Johannes: Matrix.
Jochen: Ja, aber es ist auch irgendwie so ein gewisserweise gebührender Einstieg, ob man es nicht schon mal...
Jochen: In die Audio-App.
Jochen: Ja, dass man dann schon mal so nicht denkt, dass es zu einfach wäre alles.
Johannes: Ich finde es auch sehr schön, Georg, dass du gleich als Profi gesagt hast,
Johannes: wisst ihr was, diese ganze Audio-Technik, alles weg, einfach nur ein Mikrofon, ein Kabel.
Johannes: Sehr sicher.
Georg: Aber nochmal zu deinem Punkt, dass es besser geklungen hat.
Georg: Weil der hat ein paar Regler gedreht und dass es besser geklungen hat.
Georg: Das stimmt natürlich.
Georg: Aber man muss ja immer vor, in dem Fall vor Ohren führen, dass das natürlich sehr subjektiv ist und eigentlich von deiner Wahrnehmung vom Radio her geprägt ist.
Georg: Da gibt es natürlich ganz unterschiedliche Stile in unterschiedlichen Ländern, auch wie man das handhabt.
Georg: Also du bist ja, du bist jetzt einem bestimmten Radiosound vielleicht gewohnt, was deine Radiosender da bei dir in Deutschland jetzt haben.
Georg: In Amerika ist es meistens ganz anders oder in anderen Ländern.
Georg: Das heißt, wenn jetzt irgendwer deine Stimme so regelt, dass er möglichst ähnlich an deiner Referenz sozusagen ist,
Georg: was du als guten Sound verstehst oder gewohnt bist zu hören, ganz einfach, dann klingt es für dich gut.
Georg: Wenn der jetzt zum Beispiel, wenn das jetzt ein Südamerikaner gemacht hätte und die haben eine andere Referenz,
Georg: dann hätte es vielleicht für dich gar nicht so gut geklungen.
Georg: Also das ist auch sehr subjektiv.
Georg: Das ist auch sehr subjektiv.
Georg: sehr subjektiv natürlich
Georg: diese Übernehmung.
Georg: Das kommt immer auf die Referenz drauf an.
Dominik: Diese Bilder, wenn man das zwar über Ton
Dominik: spricht, aber vom Klangbild auch redet,
Dominik: schon auch ein bisschen
Dominik: einordnen, oder?
Dominik: Es gibt schönere Bilder
Dominik: von besseren Künstlern und es gibt
Dominik: ästlichere Bilder vielleicht.
Dominik: Selbst wenn sie unterschiedlich sind und wenn es
Dominik: verschiedene Stilrichtungen gibt,
Dominik: kann man schon, glaube ich,
Dominik: eine Qualität
Dominik: eines Stückes hören.
Dominik: Es ist auch ein bisschen bei Musik, ja, ich höre
Dominik: relativ einseitige Musik,
Dominik: obwohl ich auch von vielen Genres
Dominik: durchaus anerkennen kann, wenn es da gute
Dominik: Musik gibt, die man gut hören kann, die man nicht so gut hören kann.
Dominik: Und ich höre auch, ob eine Musik einfacher
Dominik: produziert ist oder komplexer, unabhängig jetzt von
Dominik: meinem Geschmack vielleicht dafür.
Dominik: Wenn ihr wisst, was ich meine, ja?
Dominik: Und ich finde, das ist auch bei Audio so.
Dominik: Insbesondere halt bei dem, was du gesagt hast,
Dominik: wie du dieses Signal bearbeitest,
Dominik: was halt der Tontechniker,
Dominik: also ich weiß nicht, kann man das so sagen?
Dominik: Ist Harphonik ein virtuelles Ton
Dominik: Technik-Instrument?
Dominik: Ist das so?
Georg: Virtueller Ton-Techniker, ja.
Dominik: Und ja, was er dann tut, was er da machen kann,
Dominik: um
Dominik: ich weiß nicht, wie die Bildsprache bleibt,
Dominik: den Pinsel zu führen, ja, also tatsächlich
Dominik: diesen Ton zu skypen und
Dominik: ja, also klar,
Dominik: gibt es da vielleicht verschiedene Meinungen oder
Dominik: ich weiß nicht, ob du sowas hast wie Presets,
Dominik: die du sagen kannst, Harphonik, hey, das ist
Dominik: jetzt Taste,
Dominik: du hast eben Südamerika erwähnt
Dominik: und das ist Taste Europe oder
Dominik: so oder das ist Taste Radio und
Dominik: das ist Taste Big Cinema.
Dominik: Kann ja sein, dass du das auch machen kannst, aber
Dominik: der Trick wäre ja, genau das
Dominik: auch bauen zu können, als Tontechniker
Dominik: sich quasi dieses Zielbild
Dominik: oder diesem Stil anzupassen
Dominik: und das dann halt auf einen gewissen
Dominik: Qualitätsgrad zu bringen. Und das
Dominik: aus Algorithmen zu denken, finde ich spannend, weil ich versuche
Dominik: auch überhaupt erstmal zu verstehen, wie das
Dominik: überhaupt geht, weil dieses
Dominik: Klang zu
Dominik: visualisieren, ist halt da wieder auch
Dominik: der falsche Begriff, ja, aber sich das so
Dominik: vorstellen zu können, wie man einen Klang überhaupt
Dominik: schafft, das ist irgendwie, also eine der großen
Dominik: Herausforderungen, die ich jetzt persönlich habe, wenn ich jetzt
Dominik: an Musik denke, auch
Dominik: was ich höre, überhaupt umzusetzen, dafür
Dominik: muss ich relativ viel üben
Dominik: oder so, ja, dass ich
Dominik: das hinkriege oder halt auch in die Musikschule gehen
Dominik: und Theorie lernen und so und das ist
Dominik: durchaus, glaube ich, die spannende
Dominik: Sache dahinter vielleicht.
Dominik: Und warum es so einem Nutzer wie dir, Johannes,
Dominik: dann vielleicht schwerfällt, weil du sonst nicht so viel mit
Dominik: Ton machst. Absolut, blutiger Nutzer.
Johannes: Ich habe da überhaupt
Johannes: gar keinen Connect dazu. Ich bin, ich habe
Johannes: da, glaube ich, eine sehr visuelle Ansicht.
Johannes: Sobald man mir eine FFT
Johannes: zeigt, dann komme
Johannes: ich damit klar, aber solange nur die Geräusche
Johannes: da sind oder die Wellen formen, dann
Johannes: bin ich völlig
Johannes: verloren. Ja,
Jochen: ich weiß es nicht genau.
Jochen: Ich habe mal irgendwann auch ein Podcast
Jochen: Episode gehört mit
Jochen: Rick Rubin und der meinte so,
Jochen: ach, das mit dem
Jochen: irgendwie produzieren und so,
Jochen: eigentlich kann man es immer nur kaputt machen und
Jochen: wenn man das nicht kaputt macht, dann ist das schon
Jochen: sehr, sehr, dann ist das schon sehr, sehr gut.
Jochen: Ich weiß gar nicht, ob man tatsächlich so viel
Jochen: an Mastering
Jochen: kann man damit tatsächlich prägen.
Jochen: Ja, also ich
Dominik: bin jetzt ja totaler Amateur, was
Dominik: Musik auch angeht und so, aber wenn ich jetzt
Dominik: mit einem Kumpel jetzt Musik mache
Dominik: und ich schaffe es halt schon, bestimmte Sachen
Dominik: da rauszuholen oder bestimmte Töne
Dominik: an der richtigen Stelle leiser oder lauter zu machen
Dominik: oder halt Raum zu schaffen für den
Dominik: Bass oder so, irgendeinen Ducking hinzukriegen, das ist ja schon,
Dominik: das sind ja eher so Basics, ja, aber
Dominik: das, also ich kann das
Dominik: überhaupt nicht vorstellen mit Sprache, weil ich damit überhaupt gar keine
Dominik: Erfahrung habe, ja, mit Podcasts oder
Dominik: sowas, also wir machen jetzt Vereine, aber
Dominik: als Hohentechniker jetzt würde ich sagen, würde ich mich jetzt auch
Dominik: nicht bezeichnen und das ist halt
Dominik: schon nochmal eine andere Herausforderung und wenn man
Dominik: gerade diese Klangbilder vor Uhren
Dominik: hat, ja,
Dominik: da kommt man vielleicht so ein bisschen näher
Dominik: dran, also das ist das, was Johannes meinte.
Dominik: Er hat genauso geklungen, wie er dachte, dass er im Radio
Dominik: steht und wenn ich jetzt weiß, okay, ich möchte
Dominik: das Audio-Klangbild
Dominik: haben, dann kann ich das auch so machen.
Dominik: Wenn ich das so haben, wie
Dominik: das hier mal so im Radio steht, dann weiß ich vielleicht
Dominik: in welche, vielleicht wenn ich das Klang
Dominik: habe, das richtige Wort dafür, ich weiß nicht,
Dominik: ich das Ganze bringen möchte,
Dominik: ob ich jetzt, welche Frequenzen
Dominik: ich bewege und
Dominik: was ich jetzt spannend finde, ist, was kann ich denn noch machen
Dominik: eigentlich als Audio-Tontechniker
Dominik: außer Frequenzen
Dominik: bewegen und Lautstärke
Dominik: mit, was ist das, Envelopes
Dominik: modifizieren?
Jochen: Sie ausleveln.
Dominik: Ja, das ist ja, der Envelope ist ja
Dominik: quasi, okay.
Georg: Im Endeffekt ist alles
Georg: Frequenzen und Lautstärken, mehr gibt es ja nicht.
Dominik: Ja, genau, aber ja.
Georg: Ich frage jetzt nur, wie man diese
Georg: Regeln hat.
Georg: Grafiks sind auch nur ein paar Pixel, das ist jetzt
Georg: zu kurz geschaut.
Georg: Ja, ein paar Farben
Georg: an die richtige Stelle getan.
Georg: Na, du meinst jetzt, welche
Georg: Algorithmen es jetzt sozusagen
Georg: noch gibt, oder was?
Georg: Da können wir vielleicht gleich noch drauf eingehen, ich finde es gar nicht so unangenehm.
Jochen: Ich glaube, der Dominik möchte einfach in dem
Jochen: komplizierten Interface
Jochen: noch ein paar mehr Knöpfe haben, wo er dann
Jochen: sagen kann, jetzt lieber irgendwie
Jochen: Radio-Style oder lieber
Jochen: Musik. Nee, er möchte wissen, welche Knöpfe
Jochen: mehr er drehen muss um den Radio-Style.
Dominik: Ja, also ich würde tatsächlich, also ich würde gerne,
Dominik: wenn ich jetzt so ein perfektes
Dominik: Tonstudio-Ding mir vorstelle, wo es
Dominik: diese ganzen einzelnen Regelungen gibt,
Dominik: ja, dann möchte ich gerne wissen, welche Regelung ich denn überhaupt
Dominik: machen möchte.
Jochen: Aber das ist jetzt halt ein neuronales Netz mit
Jochen: einer Milliarde Knöpfe, die du drehen kannst.
Jochen: Die kannst du gar nicht mehr selber drehen,
Jochen: da musst du es vorher drehen.
Dominik: Ungefähr zu wissen, welche Richtung ich da möchte,
Dominik: ist vielleicht ja schon mal der
Dominik: erste Schritt.
Dominik: Also ich glaube, es ist schon klar, dass jetzt die
Dominik: Spur nicht... Habt ihr euch selber neuronale
Dominik: Netze trainiert, Georg?
Georg: Wie meinst du, ob wir unsere
Georg: Netze selber trainieren? Ja.
Georg: Ja, sicher. Wir benutzen ja irgendwas
Georg: Vorgefertigtes und... Nein, nein, bei uns ist
Georg: alles selber gemacht.
Georg: Alles selber gemacht?
Georg: Also alles natürlich nicht, aber
Georg: die Algorithmen, so muss man sagen.
Georg: Sci-Pi und NumPy.
Georg: Und wie viele
Georg: Parameter habt ihr da
Georg: drin? Über welche Größe
Georg: sprechen wir da? Also ich meine, das ist ja eine dieser
Johannes: Kenngrößen, die man so sagt. Hier, GPT-X
Johannes: hat eine Milliarde Parameter.
Johannes: Ja,
Georg: das kann ich dir so gar nicht sagen,
Georg: weil... Also
Georg: diese Netze im
Georg: Audi-Bereich funktionieren ein bisschen anders,
Georg: weil
Georg: ich meine, im Prinzip
Georg: hat es schon ähnliche Elemente.
Georg: Also man hat halt meistens
Georg: irgendwelche rekursiven
Georg: Elemente oder Transformers drinnen, also
Georg: bei uns meistens
Georg: LSDMs oder
Georg: Transformer eben, oder beides meistens
Georg: und dann noch so Convolution-Layer
Georg: natürlich und alle
Georg: die Elemente sind eh ähnlich,
Georg: aber es gehen
Georg: einfach viel mehr Daten rein und raus
Georg: natürlich, weil Audio eine viel höhere
Georg: Sampling-Rate hat und in einer
Georg: kürzeren Zeit viel mehr Daten
Georg: rein und raus müssen.
Georg: Aber was wir jetzt eigentlich
Georg: raus, Anzahl Parameter, Größe,
Georg: also wir haben natürlich
Georg: verschiedene Models, also von
Georg: manche Gigabyte
Georg: bis zu
Georg: ein paar hundert Megabyte, also
Georg: in der Größenordnung.
Georg: Also nicht so riesige Models wie irgendeine
Georg: Sprachmodelle, aber doch
Georg: schon ein bisschen was.
Georg: Und ja, die Herausforderung
Georg: ist natürlich auch, wie man
Georg: die alle trainiert, weil es
Georg: natürlich viel Rechenleistung braucht.
Georg: Insofern, wir
Georg: bauen uns halt hauptsächlich unsere eigenen
Georg: Trainingserver auf,
Georg: beziehungsweise mieten teilweise eben
Georg: an, was aber leider halt sehr
Georg: teuer ist, wenn man da versucht auf Amazon
Georg: oder sonst irgendwo anzumieten.
Georg: Bei den eigenen Rechnern
Georg: ist wieder die Herausforderung, dass man die
Georg: Kühlung halt hinbekommt,
Georg: dass man im Büro das
Georg: irgendwie aushaltet oder sonst wo
Georg: die entsprechende Kühlung schafft
Georg: und natürlich die Kosten
Georg: von der Anschaffung,
Georg: weil die GPUs sind
Georg: natürlich heiß begehrt im Moment
Georg: und jeder will die kaufen.
Georg: Aber, ja, das ist natürlich
Georg: zusätzlich zu den Daten eben,
Georg: dass man gute Daten
Georg: bekommt und vor allem
Georg: im Audi-Bereich sind die Daten
Georg: ja auch sehr subjektiv, wie wir
Georg: vorher schon geredet haben und das muss man
Georg: irgendwie einordnen trotzdem
Georg: und das ist nicht immer so ganz klar.
Georg: Also man kann dieses
Georg: Data Labeling jetzt nicht einfach nach Indien
Georg: auslagern und da gibt es jetzt ein paar
Georg: Clickworker, die das einfach
Georg: kategorisieren, sondern da muss man
Georg: wirklich ein gutes Gehör haben dafür
Georg: und zusätzlich eben
Georg: die ganze Computer-Hardware
Georg: ist eine Herausforderung,
Georg: dass man diese eben beschafft.
Georg: Okay, aber
Johannes: trotzdem betreibt ihr ja ein System,
Johannes: wo ich als Endkunde
Johannes: eine Audiodatei hochladen kann
Johannes: und die wird in 10-facher
Johannes: Geschwindigkeit verarbeitet.
Johannes: Allein
Johannes: das ist ja schon eine massive Leistung,
Johannes: dass ihr
Johannes: da einen Service hinstellt, der einfach
Johannes: so funktioniert und dann auch noch
Johannes: ungeheuer schnell ist. Also ich meine, wenn man
Johannes: sich die Leistung
Johannes: von solchen Systemen vor 5 oder vor 10
Johannes: Jahren anschaut, würde man erwarten, dass es 10-mal so
Johannes: lange dauert, wie das Audio ist. Aber jetzt ist es
Johannes: gerade umgekehrt, es ist 10-mal so schnell,
Johannes: wie das Audio ist.
Johannes: Wie kriegt ihr das hin, Georg? Ich habe mir das vorhin auf eurer
Johannes: Webseite durchgeschaut und habe mir gedacht, wie kriegt
Johannes: ihr das hin?
Georg: Naja, also du redest jetzt natürlich nicht vom
Georg: Training, sondern von der Influenz, also
Georg: das, was dann
Georg: anwendet wird. Aber trotzdem.
Georg: Ja, trotzdem.
Georg: Es gibt halt mittlerweile gute
Georg: GPUs, um das kurz zu fassen.
Georg: Okay.
Johannes: Ihr habt ein paar horizontal
Johannes: skaliert. Dicke Rechner.
Georg: Naja, geht halt in dem Fall
Georg: leider nicht anders, weil du musst
Georg: die Models halt auf GPUs ausführen,
Georg: weil GPUs sind halt einfach zu langsam.
Georg: Bei uns, wir sind
Georg: in einer glücklichen Lage, dass wir eben nicht so riesige
Georg: Modelle haben, wie die ganzen Language Models.
Georg: Also wir können das auch auf einzelne GPUs,
Georg: ausführen und brauchen dann nicht GPU-Cluster
Georg: für ein Modell.
Georg: Das ist schon mal viel einfacher.
Georg: Aber das Schwierige ist natürlich
Georg: die Rechenleistung beim Training, weil du halt da
Georg: wochenlang das System
Georg: rechnen lassen musst und
Georg: ja, da brauchst du halt einfach viel mehr
Georg: Rechenleistung. Die Influenz ist jetzt
Georg: eh okay. Also es gibt
Georg: die Standard-Anbieter
Georg: wie Hetzna und so weiter, die bieten eh
Georg: GPU-Server auch an mittlerweile
Georg: und da kann man sich einfach einmieten und
Georg: das war es dann im Endeffekt. Wie viel musst du mieten bei
Dominik: Hetzna für dein Modelltrainieren-Training?
Dominik: Ist das einfach den einen? Kostet das 200 Euro oder was?
Georg: Für das Trainieren haben wir nichts bei Hetzna, das wäre
Georg: zu teuer.
Georg: Nur für die Influenz, würde ich sagen.
Georg: Okay.
Georg: Da haben wir keine Ahnung.
Georg: So, zwischen 10 und 20 herum.
Georg: Ja, das ist schon eine ganz schön
Johannes: ordentliche Operation, was ihr da betreibt.
Johannes: Ja.
Johannes: Ist auch vom Betrieb her eine
Johannes: gewisse Herausforderung, weil
Johannes: da werden dann doch die Datenmengen
Johannes: auch, also ich meine, Audio
Johannes: ist jetzt nicht so schlimm wie Video,
Johannes: aber trotzdem kriegst du ja doch
Johannes: Dateien, die eine gewisse Megabyte-Größe
Johannes: haben und die du dann verarbeiten musst
Johannes: und
Johannes: auch, soll ich mal, richtig
Johannes: verarbeiten musst.
Johannes: Also höchster Respekt
Georg: hier. Und vor allem, man braucht
Georg: halt natürlich auch Rechenleistung.
Georg: Das kostet halt auch.
Georg: Das ist dann der Punkt im Endeffekt.
Georg: Ja.
Georg: Das war halt früher schon viel günstiger.
Georg: Also da haben wir das nur auf
Georg: CPUs sozusagen laufen gehabt.
Georg: Hat natürlich auch ähnlich
Georg: lange gedauert, also weil
Georg: die Algorithmen halt auch für damalige
Georg: Verhältnisse relativ aufwendig waren.
Georg: Aber war halt um einiges günstiger.
Georg: Ja, das ist so ein bisschen
Johannes: die Kehrseite, oder, von dieser ganzen
Johannes: neuronale Netze-Geschichte.
Johannes: Auf der einen Seite
Johannes: muss man wesentlich weniger
Johannes: manuelle Arbeit reinstecken,
Johannes: wobei das vielleicht auch gar nicht stimmt.
Johannes: Ja, das ist auch nicht wahr.
Johannes: Aber auf der anderen Seite muss man wesentlich weniger manuelle Arbeit reinstecken, wobei das vielleicht auch gar nicht stimmt.
Johannes: Auf der anderen Seite bezahlt man es halt
Johannes: mit Rechenzyklen.
Jochen: Ach, dazu fällt mir
Jochen: ein, genau, da war ich jetzt überrascht.
Jochen: Ich habe jetzt letztens irgendwie so ein bisschen
Jochen: mit Transkripten-Dicke gemacht.
Jochen: Also, genau,
Jochen: wir waren ja beide auf der
Jochen: Subscribe, aber, und
Jochen: da habe ich dann auch mit anderen
Jochen: Leuten so geredet, wie die das mit
Jochen: Transkripten machen,
Jochen: Podcast-Hosting-Software.
Jochen: Und ich habe mich dann mal so ein bisschen
Jochen: vorgedrückt, weil ich dachte so, oh, das ist aber so viel
Jochen: Arbeit, da weiß ich nicht genau, ob ich das
Jochen: wirklich machen will. Und dann
Jochen: meinten aber alle anderen, ach so, ja,
Jochen: das war jetzt auch nicht so schlimm, das
Jochen: ging schon. Und dann bin ich da rausgegangen
Jochen: mit, okay, ich muss es wohl doch mal machen.
Jochen: Und habe dann jetzt auch mal angefangen.
Jochen: Und dabei...
Jochen: Das ist ganz gut geworden, ne?
Jochen: Ja, also tatsächlich irgendwie mit Whisper
Jochen: hat man jetzt ein Modell, das tatsächlich
Jochen: wirklich ganz gut
Jochen: sozusagen, ja...
Dominik: Also beim Pice-Spin hast du da
Dominik: so ein paar Sachen ja gezeigt.
Dominik: Ja, auf dem Heps-Spin.
Dominik: Genau.
Dominik: Du hast sogar einen Blog-Eintrag dazu geschrieben.
Dominik: Ja.
Dominik: Und man kann es in der CLI benutzen, um
Dominik: Transkripte zu machen für Audio.
Jochen: Genau, aber weswegen ich
Jochen: das jetzt gerade erwähnt habe, ist,
Jochen: wenn man das lokal laufen lässt, dann wird
Jochen: auch das Laptop heiß und der Akku wird alle
Jochen: und das funktioniert alles nur sehr langsam.
Jochen: Und es macht keinen Spaß.
Jochen: Aber es gibt da
Jochen: einen Dienstleister
Jochen: Drog, ich weiß gar nicht, wie man die ausspricht,
Jochen: und die
Jochen: machen ja, die haben sich irgendwie auf
Jochen: Inferenz spezialisiert und machen das irgendwie
Jochen: schnell. Die haben auch, sagen sie
Jochen: jedenfalls, ich habe keine Ahnung, was sie wirklich machen, aber
Jochen: dass sie da halt eigene Hardware
Jochen: haben, die da
Jochen: irgendwie,
Jochen: wo man dann Modelle halt
Jochen: für Inferenz drauflaufen lassen kann,
Jochen: die dann halt noch schneller ist als, weiß ich nicht,
Jochen: GPUs oder so. Und da
Jochen: war es tatsächlich, also irgendwie Whisper V3
Jochen: Large, also was halt
Jochen: auf meinem Laptop echt
Jochen: fies langsam ist, da geht
Jochen: halt so zwei Stunden Episode, geht da halt so
Jochen: in einer Minute ungefähr durch und ist
Jochen: fertig. Und das hat mich schon
Jochen: so, oh krass, also
Jochen: das ging schon ganz gut.
Georg: Naja, es gibt ja jetzt diese schnellere Whisper-Model, das
Georg: Whisper Turbo. Ja, das habe ich, genau,
Jochen: das habe ich auch probiert, das geht
Jochen: schon ganz gut, aber
Jochen: bei Drog,
Jochen: die machen wohl das wirklich, das große
Jochen: Whisper V3 Large.
Jochen: Und das ist aber so schnell. Ja, wir haben ja auch das
Georg: V3 Large.
Georg: Ja, das haben wir auch,
Georg: das haben wir auch.
Georg: Auf den GPUs
Georg: kann es einfach laufen.
Georg: Ah ja, ja.
Georg: Ja, genau. Das ist super, ja.
Jochen: Ja, weil das hat auch, ich habe auch die so ein bisschen
Jochen: verglichen,
Jochen: V2 versus V3 und
Jochen: tatsächlich für Deutsch macht es, bei Englisch macht es gar nicht
Jochen: so einen Riesenunterschied, oder dachte ich jedenfalls jetzt so,
Jochen: aber bei Deutsch macht es halt noch schon einen Unterschied.
Jochen: Also V3 ist nochmal ein gutes Stückchen besser.
Jochen: Also bei Namen
Jochen: oder auch bei Python oder auch
Jochen: das geht eigentlich,
Jochen: da oft das V2
Jochen: versteht es halt nicht so richtig
Jochen: und V3 meistens
Jochen: dann schon, es sind auch immer noch Fehler drin, aber
Jochen: also merkbarer Unterschied für mich.
Jochen: Ja.
Georg: Ja, ich weiß jetzt nicht mehr, welche Version, aber
Georg: ob irgendeine Version ist dann
Georg: auf einmal immer auf Phonic richtig erkannt worden.
Georg: Ja, auch.
Georg: Weil wir haben immer so ein Test-File
Georg: und auf Phonic war zuerst
Georg: immer falsch und dann auf einmal hat es funktioniert.
Georg: Dann werden sich wohl die Daten geändert haben.
Georg: Ja.
Georg: Ihr seid einfach so bekannt, dass ihr jetzt in den Referenzen
Georg: ganz datenvoll kommt.
Georg: Ja, genau.
Jochen: Ich finde das auch total komisch, dass man
Jochen: einem Street-to-Text-Model, dem kann man
Jochen: ja dann auch ein Prompt geben, dass man
Jochen: dem sagen kann, was es tun soll
Jochen: und wie Leute heißen und das funktioniert dann plötzlich.
Jochen: Das fand ich auch sehr eigenartig.
Jochen: Ich weiß jetzt auch noch nicht, dass man das wirklich einstellen
Jochen: kann, aber ich verwende jetzt immer das gleiche Prompt
Jochen: oder muss es halt umkonfigurieren, aber
Jochen: das geht ja auch und das ist auch ganz eigenartig.
Jochen: Also, ja.
Jochen: Ist irgendwie anders als früher.
Georg: Ja, das hat beim Whisper leider
Georg: Seiteneffekte, also
Georg: der, sagen wir mal so,
Georg: das fördert
Georg: Halluzinationen. Ja,
Georg: das kann natürlich sein, ja.
Georg: Deswegen verwenden wir die Prompt im Moment
Georg: eigentlich nicht. Ah, okay.
Jochen: Ja, ich habe mir auch die Transkripte
Jochen: nicht so komplett durchgelesen.
Jochen: Wer weiß, was da jetzt so komische Sachen
Jochen: für Dinge
Jochen: auf die Kontrast-Seite noch schreiben.
Jochen: Es gilt das gesprochene Wort.
Jochen: Liebe Zuhörer, schauen Sie
Jochen: jetzt die Untertitel an.
Jochen: Ja, könnte auch sein, dass das
Jochen: vielleicht nicht so...
Jochen: Ja.
Jochen: Müssen wir jetzt ein paar exotische Wörter sagen, um das,
Johannes: um deine Transkriptionen zu verwirren.
Johannes: Ja.
Georg: Nein, es ist gar nicht so bei Wörtern. Es ist meistens eben,
Georg: wenn nicht gesprochen wird
Georg: oder wenn Pausen sind,
Georg: dass sie dann irgendeine Halluzinationen
Georg: bilden und dann Wörter für Wörter
Georg: abgespult werden, sozusagen.
Georg: Ah.
Johannes: Das hört sich so ein bisschen an, als ob das Modell nur erotisch
Johannes: wäre, oder?
Dominik: Dann machen wir jetzt eine kurze Schweigeminute
Dominik: für...
Dominik: Eine Schweigeminute für Whisper V3.
Dominik: Wisst man auch mal,
Jochen: genau, das Mikrofon hier.
Jochen: Jetzt kommt Whisper zu Wort.
Jochen: Mal schauen, was da so rauskommt, wenn man das einfach mal
Jochen: so vor sich hin
Jochen: generieren lässt.
Jochen: Ja, schon
Jochen: interessant.
Jochen: Ja, ich befürchte aber, Jochen,
Johannes: dass wir die nächste Episode einfach eine komplette
Johannes: Episode machen müssen, wo wir die ganzen
Johannes: Abkürzungen erklären, die wir heute...
Johannes: Abkürzungen, haben wir gehört haben.
Dominik: Wir können auch einfach die ganze Zeit schweigen in der nächsten Episode
Dominik: und dann lassen wir bis bei den Texten...
Dominik: Ja, das geht auch.
Georg: Und dann den Text wieder viel delizieren.
Georg: Ja, genau.
Georg: Mit unseren Stimmen.
Johannes: Und das ein paar Mal im Kreis.
Johannes: Und dann schauen wir mal, was rauskommt.
Johannes: Ja.
Jochen: Ja, ansonsten, genau, ich weiß nicht,
Jochen: haben wir, genau, jetzt haben wir schon
Jochen: eine ganze Weile über so Modelle und Dinge.
Jochen: Der Rest der Infrastruktur
Jochen: ist ja vielleicht auch ganz interessant.
Jochen: Was so Web-Geschichten
Jochen: zum Beispiel angeht.
Jochen: Django, ja, natürlich. Ja, machen wir auch.
Jochen: Nein, wir machen Django wirklich?
Jochen: Ja.
Georg: Ja, wie gesagt, wir verwenden Django.
Georg: Das ist schon
Georg: seit 2013,
Georg: wann das halt gestartet ist.
Georg: Und was verwenden wir dann oft dabei?
Georg: Ja, so Frontend-mäßig.
Georg: Ein paar Sachen haben wir mit Vue gemacht.
Georg: Das ist ein Audio-Inspektor,
Georg: nenne ich das, oder Transcript-Editor,
Georg: der ist mit Vue gemacht.
Georg: Dann, prinzipiell,
Georg: verwenden wir so HTMX
Georg: und solche Sachen mittlerweile
Georg: für so einfachere Interface-Elemente.
Georg: Also für alles, was jetzt nicht
Georg: der Audio-Editor ist.
Georg: Und am Frontend verwenden wir noch
Georg: Tailwind-CSS.
Georg: Was gibt's noch?
Georg: Ja, Alpine teilweise
Georg: für so kleine Charts.
Dominik: Das hört sich genau nach dem an, was wir auch machen.
Georg: Ja, machen jetzt alle, gell?
Georg: Ja, machen irgendwie auch alle.
Jochen: Wahrscheinlich gibt's einen Grund,
Jochen: dafür, warum es so ist.
Jochen: Ja, weil man sich halt nicht
Georg: die geholfenen Frameworks einhandeln will.
Georg: Ja, natürlich.
Georg: Gut, was gibt's noch
Georg: zum Erzählen? Dann
Georg: Backend-mäßig verwenden wir eben
Georg: so eine Task-Queue,
Georg: die diese ganzen Audit-Protesting
Georg: und Encoding-Tasks verteilt.
Georg: Dafür verwenden wir Celery.
Georg: Und die Celery
Georg: läuft dann eben auf verschiedene
Georg: Server verteilt.
Georg: Das sind unsere Worker,
Georg: Rechner.
Georg: Wir haben einen Hauptrechner, wo das Websystem läuft und der verteilt die ganzen Jobs dann auf die Worker-Rechner.
Dominik: Und magst du Celery? Funktioniert es gut?
Georg: Mögen ist übertrieben, aber es funktioniert seit 13 Jahren.
Georg: Aber mittlerweile gibt es auch modernere Tools, schätze ich mal.
Dominik: Wir hoffen, dass Django das Native kann, aber ich weiß nicht, ob das mit dem Distributed da gut geht.
Jochen: Ja, da kommt jetzt was, aber das kann nicht so viel wie Celery.
Jochen: Wenn man wirklich da Last hat und da viele Dinge macht, dann ist es wahrscheinlich.
Jochen: Wenn für einen Celery funktioniert, dann sollte man das wahrscheinlich so lassen.
Jochen: Aber ich glaube auch, es gibt sonst nicht viel Konkurrenz da.
Jochen: Das ist irgendwie für komplexere Geschichten in Celery immer noch.
Jochen: Inzwischen gibt es ja schon einige Task-Queues.
Jochen: Ja, auch mit Django.
Johannes: Mit der Integration, aber Celery ist halt so der bekannte alte Platzhirsch.
Jochen: Ja, aber es ist auch schwer zu benutzen. Das ist so ein bisschen wie das Mischpult hier.
Jochen: Nein.
Jochen: Das liegt doch in der Natur der Sache, oder?
Jochen: Wenn man nicht hinguckt, dreht sich das immer so mit dem Lauf Richtung Fuß.
Jochen: Ja, da braucht man doch noch eine Ausrede. Das ist die Kinderwahn oder jemand anders.
Jochen: Genau.
Jochen: Und dann war man es doch selber. Vielleicht, das kann schon sein.
Jochen: Ja, vor allem.
Dominik: Weil eigentlich musste man ja klicken in deiner DAW.
Dominik: Oder es riecht bei einer DAW, ich weiß nicht.
Dominik: Ja, das hat gar nichts mit dem Mischpult zu tun.
Dominik: Na ja, egal.
Dominik: Na, Task-Queues sind kompliziert.
Georg: Ja, wir haben dann auch verschiedene Task-Queues.
Georg: Das macht es mal komplizierter.
Georg: Also einerseits diese ganzen CPU-Server, die funktionieren eben über Celery.
Georg: Dann haben wir eben noch GPU-Server, die funktionieren dann wiederum,
Georg: die werden dann wiederum von den CPU-Servern angesprochen mit den ganzen Audioabstellungen.
Georg: Die haben so ein, das nennt sich so ein NVIDIA Triton, das ist so ein NVIDIA-System,
Georg: wo man eben so Models hosten kann am GPU, der verteilt das relativ effizient im Speicher,
Georg: weil der hat wiederum eine eigene Task-Queue integriert, wie so kleine GPU-Jobs verteilt werden.
Georg: Weil das Problem bei den Models ist, dass man kann jetzt nicht für jeden Request das Model,
Georg: oder es wäre nicht sehr effizient, wenn man für jeden Request das Model jetzt neu ladet,
Georg: in den Speicher, also in den GPU-Rahmen, weil das Laden an sich von so ein paar Gigabyte-Models
Georg: dann schon mal ziemlich lang dauert.
Georg: Deswegen gibt es eben zum Beispiel das NVIDIA Triton, der versucht, das eben möglichst effizient zu managen,
Georg: dass die Models halt immer im V-Rahmen sind, beziehungsweise nur wenn notwendig halt ein anderes Laden und so weiter.
Georg: Und das ist dann sozusagen die zweite Task-Queue hinter der ersten Task-Queue.
Georg: Und dann kommt das von den GPU-Servern eben wieder Druck zur Celery-Task-Queue auf den CPU-Servern.
Georg: Und dort gibt es dann, dort wird dann noch verschiedene Files, also wenn das Audio-Processing fertig ist,
Georg: gibt es dann File-Encoding-Tasks und dann Speech-Recognition-Tasks, dann wird es wiederum zum GPU-Server, zum anderen geschickt.
Georg: Dann, was gibt es noch, dann eben so ein Verteil-Task, der das auf verschiedene Server dann schickt,
Georg: also Netzwerk-Tasks oder auf YouTube oder was auch immer.
Georg: Und so sickert das von Task zu Task dahin.
Georg: Im Celery und im Nvidia Triton.
Dominik: Und den Status erfasst du irgendwie in einem Dango-Modell.
Dominik: Genau, ja.
Georg: Die Tasks rufen sich dann eben so seriell auf.
Georg: Also es gibt ja bei Celery also Chord-Tasks, nennen sie das.
Georg: Also da kann man verschieden, wenn jetzt zum Beispiel ein Audio-Processing fertig ist
Georg: und man will daraus fünf verschiedene File-Formate erstellen, dann kann man so ein Chord-Task machen.
Georg: Der macht dann diese fünf File-Formate parallel und dann sagt man,
Georg: wenn jetzt alle von diesen fünf fertig sind, dann ruft er den nächsten Task auf.
Georg: Also das ist zum Beispiel dann der Finish-Task.
Georg: Der wird dann aufgerufen, wenn diese ganzen Tasks fertig sind.
Georg: Oder der Distribution-Task.
Georg: Und so kann man so Ketten bauen, die sich dann also quasi parallel verbreiten
Georg: und dann wieder irgendwann zusammenführen, hoffentlich.
Georg: Ja.
Georg: Bis das irgendwann fertig ist.
Jochen: Ja, man hat dann so ganze Task-Grafen oft irgendwie.
Jochen: Ja.
Jochen: Ist dann manchmal so ein bisschen schwierig, wenn man es testen will.
Jochen: Und manchmal hat man so komische Probleme, wenn das an einer unerwarteten Stelle schief geht.
Jochen: Aber ja, man kann damit viel machen.
Georg: Aber testen ist auch nicht so schlimm.
Georg: Also man kann natürlich die Tasks einzeln testen.
Georg: Mit Unit-Tests ganz einfach.
Georg: Das Gesamtsystem ist wieder ein bisschen komplexer zum Testen, ja.
Georg: Ja.
Dominik: Ich hatte immer das Hauptproblem, was ich mal hatte,
Dominik: das war irgendwie aufzuräumen, wenn da irgendwas kaputt gegangen ist.
Dominik: Dass da irgendwelche Geister-Tasks irgendwann waren,
Dominik: weil irgendwie noch irgendwas geklickt hat und dann nicht genau klar war,
Dominik: wo jetzt welcher Task in welchem Status hing oder so.
Dominik: Ja, klar.
Dominik: Und da war das im Ganzen echt so ein Ding, das ist irgendwie schwierig zu verstehen
Dominik: und dann irgendwo noch so Reste drum hängen, wo die dann prozessiert werden wollen.
Dominik: Aber ich glaube, wenn man so ein stabiles System hat,
Dominik: vielleicht raucht das ja gar nicht so oft ab.
Georg: Nein, das ist eigentlich relativ stabil.
Georg: Außer wir machen wieder irgendwas Komisches oder so,
Georg: was ja manchmal passiert.
Georg: Diverse Updates oder Features.
Georg: Aber prinzipiell läuft das eigentlich sehr stabil.
Georg: Das läuft bei uns jetzt natürlich auch sehr lang.
Georg: Also wir haben alle möglichen Dinge drinnen,
Georg: wie das Fail-Checking und so weiter.
Georg: Aber das funktioniert ganz gut.
Johannes: Ja, ich glaube, das ist einfach auch so ein Thema, was man lernen muss.
Johannes: Das ist halt einfach noch eine weitere Ebene von dieser Async-Sache.
Johannes: Ja, das ist immer ein Abspiel.
Johannes: Es gibt viele Ebenen inzwischen.
Johannes: Ganz unten hast du Async, dann hast du Threads,
Johannes: dann hast du Multiprocessing und oben drüber.
Georg: Ja, wir verwenden es gar nicht Async,
Georg: wir verwenden das wirklich Multiprocessing.
Georg: Also du kannst das Sellerie mit Multiprocessing auch verwenden.
Georg: Ja, ja, klar.
Johannes: Das ist halt über mehrere Rechner verteilt.
Johannes: Das ist die nächsthöhere Ebene von diesen ganzen Parallel-Compute-Sachen.
Johannes: Und die sind alle kompliziert und dann kann man eigentlich irgendwie nicht erwarten,
Johannes: dass das auf der Ebene auf einmal simpel wird.
Johannes: Aber, ja gut.
Johannes: Es ist halt was, was man lernen muss oder was man lernen kann.
Johannes: Und ich habe da eigentlich ganz gute Erfahrungen gemacht.
Johannes: Aber es hängt auch von der Systemart ab.
Johannes: Und es hängt auch davon ab, wie man die Bauteile benutzt.
Johannes: Die Bauteile an sich sind ja sehr, sehr stabil.
Johannes: Wenn man jetzt ein Redis oder ein, was weiß ich, was ihr verwendet,
Johannes: RabbitMQ oder ZeroMQ oder was auch immer.
Johannes: Die sind ja extrem stabil.
Johannes: Also bei einem anderen Kundenprojekt haben wir einen RabbitMQ-Server.
Johannes: Der läuft seit, keine Ahnung, acht Jahren unterbrechungsfrei.
Johannes: Und die Bauteile an sich sind schon stabil.
Johannes: Nur, wie wir das alle wissen,
Johannes: ich kann in jeder Programmiersprache schlechte Programme schreiben
Johannes: und ich kann auch schlechte verteilte Programme schreiben, wenn es sein muss.
Johannes: Auf alle Fälle, ja.
Johannes: Ja.
Jochen: Ja, vielleicht, genau.
Jochen: Wie ist das eigentlich mit Benutzerfeedback?
Jochen: Im Grunde, wenn man jetzt irgendwie Dinge verbessern will,
Jochen: dann ist man ja darauf angewiesen,
Jochen: diese ganzen subjektiven Geschichten, die wir eben auch schon da angesprochen hatten,
Jochen: die spielen da ja auch eine große Rolle.
Jochen: Und wenn jetzt, jetzt weiß man aber vielleicht gar nicht so genau,
Jochen: wenn jetzt aus quasi Leute Feedback geben,
Jochen: weil sie das anders gewohnt sind oder so,
Jochen: wie man das unterscheidet von, da hat irgendwas nicht richtig funktioniert oder so.
Jochen: Da muss man ja wahrscheinlich,
Jochen: ich weiß auch gar nicht, in welchen Märkten oder wo Aufforderung überall benutzt wird.
Jochen: Das ist ja dann wahrscheinlich auch unterschiedlich.
Jochen: Auch je nach Kontext nochmal unterschiedlich.
Jochen: Das ist wahrscheinlich gar nicht so einfach,
Jochen: das dann wieder einfließen zu lassen.
Georg: Ja, bei solchen Sachen ist es natürlich schwierig.
Georg: Aber deswegen versuchen wir eigentlich natürlich,
Georg: möglichst wenig subjektive oder künstlerische Sachen zu machen.
Georg: Auch wenn das natürlich nicht wirklich geht.
Georg: Aber gewisses Feedback ist natürlich leicht zu verstehen,
Georg: wenn der sagt, okay, da ist da ein neues nicht rausgelöscht worden
Georg: oder da ist irgendwas falsch rausgelöscht worden.
Georg: Dann kann man das natürlich leicht nachvollziehen.
Georg: Dass irgendwer subjektiv ein anderes EQing haben will,
Georg: das kann es immer geben.
Georg: Da werden wir auch nie was dagegen machen können.
Georg: Wahrscheinlich, man kann nur eine gewisse Anzahl an Varianten anbieten
Georg: und irgendwann ist halt einmal Schluss.
Georg: Dann muss man es halt selber filtern.
Georg: Und das geht ja bei uns auch, dass wir halt einfach,
Georg: dass man das Filtering deaktiviert und man hat halt selber das gefiltert,
Georg: wie man sagen will.
Georg: Aber das kommt jetzt auch nicht so extrem oft vor, muss ich sagen.
Jochen: Also es ist schon eher eindeutig dann quasi,
Jochen: wenn Leute, ja, okay.
Georg: Und aus dem Feedback, das ist für uns natürlich extrem wichtig.
Georg: Also da lernen wir halt extrem viel.
Georg: Wenn wir Fehler haben, dann führt man das wieder zu den Trainingsdaten dazu
Georg: und so weiter.
Georg: Können die Klassifikatoren wieder damit trainieren.
Georg: Warum habt ihr das?
Dominik: Warst du noch nicht live im Einsatz eigentlich?
Georg: Warst du live im Einsatz?
Dominik: Also jetzt beispielsweise auch von mir als Plugin in meiner DAW irgendwie.
Jochen: So, den Weg können wir auch gehen, ja.
Georg: Ja, weil wir eigentlich vom Offline-Konzept her kommen
Georg: und unsere Algorithmen halt alle drauf aufgebaut sind,
Georg: dass es offline funktioniert.
Georg: Bei live bräuchtest du natürlich eine viel kleinere Latenz.
Georg: Wäre mit einigen Algorithmen eh möglich.
Georg: Also zum Beispiel, ja,
Georg: zum Beispiel denoising oder solche Sachen.
Georg: Oder Filtering natürlich.
Georg: Aber, ja, alles können wir auch nicht machen.
Georg: Das Problem ist eigentlich,
Georg: das Problem ist eigentlich,
Georg: dass du halt spezielle Hardware dafür brauchst.
Georg: Wenn du es jetzt live machen willst,
Georg: kannst du jetzt entweder einen Webservice anbieten,
Georg: der das live macht,
Georg: was wahrscheinlich nicht so interessant ist.
Georg: Das heißt, wenn, dann müsstest du eine Standalone-Lösung haben.
Georg: Die muss dementsprechend gut funktionieren,
Georg: jetzt auf allen Systemen.
Georg: Mit der beschränkten Hardware, die man dort eben hat.
Georg: Oder man hat spezielle Systeme mit GPUs oder M3-Chips, was auch immer,
Georg: wo das sicher ein bisschen besser geht.
Georg: Aber es ist halt vor allem in der momentanen Phase noch ein bisschen schwieriger.
Georg: Also im Moment entwickeln sich die Modelle ja so schnell weiter.
Georg: Also man braucht so viel Hardware dafür.
Georg: Das wird in ein paar Jahren sicher wieder anders ausschauen, glaube ich mal.
Georg: Weil dann wird sich das so ein bisschen eingependelt haben.
Georg: Dann wird da mehr Hardware dafür verfügbar sein auf normalen Stand rechnen.
Georg: Dann wird sicher irgendwann wieder die Welt,
Georg: wo diese ganzen Modelle dann auf den Personal Computer wieder überschwemmen.
Georg: Oder überschwappen.
Georg: Aber im Moment ist es halt noch ein bisschen schwierig.
Jochen: Ja, also was ich schon gerne hätte, wäre sozusagen in den AirPods.
Jochen: Da gibt es ja auch so einen Transparenzmodus.
Jochen: Da jetzt, statt einfach nur, dass das ein bisschen lauter oder leiser wird,
Jochen: wenn es Nebengeräusche gibt,
Jochen: dass das dann so richtig schön klar wird.
Jochen: Das wäre natürlich toll.
Jochen: Man könnte ja auf dem Handy das auch irgendwie...
Jochen: Podcast-Modus.
Jochen: Ja, genau.
Jochen: Da kann man natürlich auch die Modelle laufen lassen.
Jochen: Aber ja gut, wahrscheinlich ist das alles nicht so ganz einfach.
Dominik: Da tauscht man bestimmt auch von Nose-Canceling auch wieder, ne?
Dominik: Wenn du es halt dann einfach umdrehst.
Dominik: Ja, Hörgeräte.
Georg: Ich meine, die sind voll in dieser Entwicklung dabei.
Georg: Ja, Hörgeräte sind genau daraus.
Georg: Die machen eh das.
Georg: Aber halt, ich meine, da ist halt die Arbeit,
Georg: dass du die Modelle, die es gibt,
Georg: meistens so effizient wie möglich hinkriegst.
Georg: Also da geht es halt eher mehr um Effizienz-Tuning
Georg: für eine bestimmte Plattform.
Georg: Und dann im Endeffekt für den Chip,
Georg: was halt der in seinem Hörgerät hat.
Georg: Und natürlich Akku schonen und so weiter,
Georg: weil das ist natürlich wichtig für Hörgeräte.
Georg: Aber ja, im Moment sind wir halt mehr so in einer Phase,
Georg: dass wir gerade noch dabei sind.
Georg: Also jetzt nicht nur wir persönlich,
Georg: sondern generell schätze ich halt,
Georg: dass man mehr dabei ist, die Modelle weiterzuentwickeln.
Georg: Irgendwann wird es eh saturieren,
Georg: weil dann werden ja alle einmal gut genug sein
Georg: für die meisten Tasks, sage ich mal.
Georg: Und dann wird sicher wieder die andere Welle kommen,
Georg: wo das wieder zurückgeht, glaube ich.
Georg: Aber wir werden sehen.
Jochen: So Exploration versus Exploitation.
Jochen: Und momentan sind wir im Exploration-Modus,
Jochen: wo wir versuchen rauszufinden,
Jochen: was man überhaupt alles denn noch damit machen kann.
Georg: Und wenn es dann einmal gut genug ist,
Georg: wird es abgespeckt,
Georg: dass es auf allen möglichen Plattformen läuft wahrscheinlich.
Johannes: Ja, also ich bin so ein, wie gesagt,
Johannes: so ein bisschen erschlagen von diesem ganzen Thema.
Johannes: Da gibt es irgendwie so viele Sachen,
Johannes: wo man in die Tiefe gehen könnte,
Johannes: wo ich aber jetzt gar nicht den,
Johannes: wo ich gar nicht weiß,
Johannes: wie man da in die Tiefe gehen könnte,
Johannes: weil sie mir sich nicht erschließen.
Johannes: Und ich finde es super spannend,
Johannes: dass das einfach so ein ganzes Riesenfeld ist,
Johannes: was es gibt und was man braucht
Johannes: und wo es auch viele Leute gibt,
Johannes: die da dran arbeiten
Johannes: und auch viele Profis gibt,
Johannes: die da dran arbeiten.
Johannes: Ich habe selbst,
Johannes: mein Cousin hat eine Konzertagentur,
Johannes: also die machten da auch ganz viel im Live-Bereich
Johannes: und im Analog-Bereich, sage ich mal.
Johannes: Und ich habe,
Johannes: ich habe da überhaupt keine Ahnung.
Johannes: Ich habe so wenig Ahnung davon,
Johannes: dass ich keine sinnvollen Fragen stellen kann.
Johannes: Und ich glaube,
Johannes: an dem Punkt sind wir jetzt irgendwie so, oder?
Johannes: Dass wir so die grobe Form abgetastet haben
Johannes: von diesem System
Johannes: und dann haben wir uns schon mal mit der Task-View beschäftigt,
Johannes: weil wir da alle was dazu sagen können.
Johannes: Aber so die richtigen Fragen
Johannes: kann man gar nicht mehr stellen.
Johannes: So geht es mir jetzt gerade.
Johannes: Ich weiß nicht, wie es euch geht.
Jochen: Ja, also genau.
Jochen: Ich würde dann eher so etwas fragen,
Jochen: wie vielleicht,
Jochen: wie,
Jochen: was,
Jochen: würdest du denn denken,
Jochen: sind die interessanten Entwicklungen
Jochen: in diesem ganzen Audio-Bereich,
Jochen: in welche Richtung könntest du da gehen?
Jochen: Oder gibt es irgendwelche,
Jochen: wird es jetzt erstmal noch eine Weile
Jochen: quasi
Jochen: mehr Modelle
Jochen: geben?
Jochen: Ja, ich weiß nicht genau.
Jochen: Ja.
Jochen: Oder wird das,
Jochen: ja,
Jochen: wird das irgendwann
Jochen: sowieso alles,
Jochen: naja,
Jochen: das,
Jochen: ja, also,
Jochen: ja, keine Ahnung.
Jochen: Ich weiß gar nicht,
Jochen: welche Frage ich stellen wollte.
Jochen: Na, gerne.
Jochen: Also,
Jochen: ja, klar,
Jochen: es gibt jetzt natürlich,
Jochen: viele,
Georg: alle möglichen neuen Modelle
Georg: von vielen Firmen.
Georg: Was natürlich ein großes Thema ist,
Georg: was wir jetzt gar nicht angegangen sind,
Georg: bis jetzt,
Georg: oder wahrscheinlich auch nicht klären,
Georg: ist eben Audiosynthese,
Georg: wie ihr sicher alle wisst.
Georg: Ja.
Georg: Eleven Labs und so weiter.
Georg: Oh ja.
Georg: Also,
Georg: funktioniert ja schon echt extrem gut.
Georg: Und,
Georg: ja,
Georg: wird sicher viel,
Georg: viel Content
Georg: über solche Wege produziert werden.
Georg: Dann,
Georg: ein anderes großes Thema ist,
Georg: natürlich Musik.
Georg: Da gibt es relativ wenig im Moment.
Georg: Also, im Moment stürzen sich alle
Georg: auf die Sprachanwendungen.
Georg: Bei Musik gibt es echt sehr wenig.
Georg: Was es gibt,
Georg: sind so,
Georg: so Stem Separation Musikmodelle,
Georg: also,
Georg: wo man verschiedene Instrumente
Georg: von einem Mix extrahiert.
Georg: Funktioniert meistens auch nur gut,
Georg: wenn man,
Georg: wenn man so vier Instrumente extrahiert,
Georg: oder vielleicht ein bisschen mehr,
Georg: also Bass,
Georg: Schlagzeug,
Georg: Gesang,
Georg: Klavier oder Gitarre halt.
Georg: Das sind die klassischen,
Georg: klassischen Setups.
Georg: Dann auch,
Georg: gibt es noch sehr wenig
Georg: in der Richtung von Musik Restoration
Georg: oder Musikaufbereitung.
Georg: Ich meine,
Georg: es gibt so Online Mastering Services
Georg: schon sehr lang.
Georg: Einige,
Georg: die machen natürlich ein bisschen was
Georg: in diese Richtung.
Georg: Aber,
Georg: jetzt so spezialisiertere Sachen,
Georg: also im Prinzip das,
Georg: was wir da bei Afonik machen,
Georg: wirklich auf Musik umgelegt,
Georg: gibt es eigentlich noch nicht so wirklich.
Georg: Vielleicht gehen wir auch
Georg: mal ein bisschen mehr in die Richtung.
Georg: Mal schauen,
Georg: dann bei Musik,
Georg: was auch komisch ist,
Georg: was es nicht so wirklich noch gibt,
Georg: ist wiederum bei Sprache,
Georg: ist ja Transkription natürlich
Georg: das heiße Thema.
Georg: Es ist jetzt sehr viel weitergegangen
Georg: in den letzten Jahren.
Georg: Analog dazu für Musik,
Georg: Transkription gibt es wiederum
Georg: sehr wenig.
Georg: Also Noten erzeugen.
Georg: Genau.
Jochen: Macht ja nicht einer,
Jochen: der ursprünglich
Jochen: Entwickler von Django.
Jochen: Der Jacob.
Jochen: Nee, nee,
Jochen: der Adrian Holowaty.
Jochen: Ah, der Adrian.
Jochen: Der macht OCR, glaube ich,
Jochen: für Noten.
Georg: Ja, OCR ist wieder ein anderes Thema.
Georg: Ist nochmal ein anderes Thema,
Jochen: aber möglicherweise auch Noten aus Musik.
Jochen: Das weiß ich aber gar nicht,
Jochen: ob sie das auch machen.
Jochen: Ja.
Jochen: Ich glaube nicht.
Jochen: Ich glaube, das ist nur OCR.
Jochen: Ah, okay.
Jochen: Ja, dann habe ich es nur so quer gelesen,
Jochen: aber ich glaube,
Jochen: es ist hauptsächlich OCR.
Jochen: Also ihr habt es jetzt
Jochen: wieder mal getestet,
Jochen: weil,
Jochen: ich glaube,
Jochen: einfach nur
Georg: Band, Privat und so weiter
Georg: habe ich gedacht,
Georg: mal ein bisschen was
Georg: transkribieren lassen,
Georg: aber
Georg: da habe ich irgendwie
Georg: nichts Gescheites gefunden.
Georg: Obwohl es ja ähnliche
Georg: Techniken gibt.
Georg: Packt der Jochen diesen Link
Georg: in die Shownotes?
Georg: Ja.
Georg: Ja, das macht er sowieso.
Georg: Ja.
Georg: Ja, ich meine,
Georg: genau,
Georg: ich brauche mir ja nur
Georg: irgendwie
Georg: Eingabe, Ausgabe
Georg: und ein bisschen GPU.
Georg: Dann kann das
Georg: Jochen,
Georg: kann das sein?
Georg: Ja.
Georg: Der Schwergewichtige ist nur,
Georg: was du da gesagt hast.
Georg: Was du gerade gesagt hast.
Georg: Und Noten mit Aufnahmen dazu
Georg: sollte es eigentlich auch geben.
Georg: Sollte es auch eine Menge geben, ja.
Georg: Aber ja.
Georg: Ja.
Georg: Insofern.
Georg: Ja.
Georg: Spannend.
Georg: Kann der ein neues Projekt machen.
Dominik: Herzlichen Dank,
Dominik: lieber Georg.
Dominik: Ja, ich weiß nicht,
Dominik: wollten wir noch irgendwie
Dominik: was picken oder so?
Dominik: Oder sparen wir uns das diesmal?
Dominik: Wir sparen uns das diesmal.
Dominik: Wir sind eh schon spät.
Dominik: Genau.
Dominik: Ach doch, nee,
Dominik: ich mache noch ganz kurz.
Dominik: Ich habe gesehen,
Dominik: es gibt das Update von,
Dominik: von,
Dominik: ähm,
Dominik: Django,
Dominik: äh,
Dominik: irgendwie,
Jochen: Boost Your Django Developer Experience
Jochen: von Adam Johnson.
Jochen: Die E-Mail habe ich auch gekriegt.
Jochen: Ja, ja, genau.
Jochen: Und jetzt,
Jochen: wenn man sich,
Jochen: äh,
Jochen: quasi da denkt,
Jochen: äh,
Jochen: irgendwie,
Jochen: haben wir vielleicht mal
Jochen: eine kurze Zeit nochmal,
Jochen: das lohnt sich,
Jochen: weil da ist doch einiges
Jochen: dazugekommen.
Jochen: Also es war ein großes Update.
Jochen: Da ist jetzt auch so viel
Jochen: Debugging drin und so.
Jochen: Und, ähm,
Jochen: ja,
Jochen: das Buch fand ich,
Jochen: ja,
Jochen: hilft auch.
Jochen: Und der verkauft auch gerade,
Jochen: der macht gerade,
Jochen: gibt es das Sonderangebot noch,
Jochen: wo er irgendwie drei
Jochen: solche Pakete zusammen hat?
Jochen: Ja.
Jochen: Stand in dieser E-Mail drin.
Jochen: Keine Ahnung,
Jochen: aber wenn man die Episode
Jochen: im halben Jahr hört,
Jochen: dann ist es wahrscheinlich nicht mehr.
Jochen: Ja, gut.
Jochen: Wenn,
Jochen: wenn es das noch,
Jochen: das jetzt für die schnellen Hörer,
Jochen: das ist jetzt ein Anreiz,
Johannes: unsere Episoden immer sofort zu hören.
Johannes: Immer sofort.
Johannes: Wir werden diesen Link finden,
Johannes: sofern es ihn noch gibt.
Johannes: Ja,
Johannes: vielen Dank Georg
Johannes: für deine Einblicke
Johannes: in Auphonic.
Johannes: Ja,
Johannes: war großartig.
Johannes: Vielen Dank, Georg.
Georg: Vielen Dank für die Einladung, ja.
Georg: Alles klar.
Georg: Bleibt uns gewogen.
Georg: Hallo at peisenpodcast.de
Georg: für alles Feedback
Georg: und kommt,
Georg: zu unserem Treffen.
Georg: Ja,
Georg: wo wir noch ein bisschen rausfinden,
Georg: wann und wo wir das machen,
Georg: aber das machen wir dann.
Georg: Nein,
Dominik: es bleibt hier bei uns im Rheinland.
Dominik: Tut mir leid,
Dominik: die wollen uns anreisen.
Dominik: Eine gute Gelegenheit,
Dominik: deine alte Heimat kennenzulernen.
Dominik: Aufruf an alle Hörer,
Johannes: jetzt sofort abstimmen für Stuttgart.
Johannes: Ja,
Dominik: ihr könnt eine Mitfahrgelegenheit
Dominik: und eine Fahrgemeinschaft
Dominik: für den Gras anbieten.
Dominik: Ja,
Dominik: okay.
Dominik: Dann kommen wir auch direkt
Dominik: an die Adria.
Dominik: Na gut,
Dominik: viel Spaß,
Dominik: hört uns,
Dominik: bis bald.
Dominik: Tschüss.
Dominik: Ciao.
Dominik: Tschüss.