Data Science

[Evilken]

jimmy1138 schrieb vor 7 Minuten:

Die Lösung ist übrigens y=x1

EDIT:
Und viel besser als du das jemals mit der logistischen Funktion hinbekommst, weil 0 und 1 kriegst dort bei plus bzw minus Unendlich.

D.h. deine Lösung wird im Endeffekt sein, daß der Bias gegen minus Unendlich geht w1 gegen plus Unendlich und w2 irgendeinen Wert annimmt, weil eh schon wurscht.

 

Sollte eh nur irgendein Datensatz ohne auf die Sinnhaftigkeit zu achten einfach nur irgendwas, was man ins neuronale Netz bzw. in die Logik reinschmeißen kann die Zahlen können beliebig geändert werden

[Pimmi]

ich find es noch immer spannend dass ihr mit knn herumfuhrwerkt ohne vorher regression und andere dinge gemacht zu haben. aber sei's drum

 

ein interessanter bog-beitrag zum thema bias in ai:

https://blog.mostly.ai/2020/05/05/10-reasons-for-bias-in-ai/

[Evilken]

Pimmi schrieb vor 47 Minuten:

ich find es noch immer spannend dass ihr mit knn herumfuhrwerkt ohne vorher regression und andere dinge gemacht zu haben. aber sei's drum

 

ein interessanter bog-beitrag zum thema bias in ai:

https://blog.mostly.ai/2020/05/05/10-reasons-for-bias-in-ai/

Logistische Regression haben wir letztens gemacht

[Pimmi]

Evilken schrieb vor 9 Minuten:

Logistische Regression haben wir letztens gemacht

interessant - log. vor linearer? bei euch läuft wohl alles in die gegenrichtung - ich kenn's so dass man von wahrscheinlichkeitstheorie über regression zum machine learning aufbaut. aber gut - wenn's funktioniert, wieso nicht.

[Evilken]

Pimmi schrieb vor 2 Minuten:

interessant - log. vor linearer? bei euch läuft wohl alles in die gegenrichtung - ich kenn's so dass man von wahrscheinlichkeitstheorie über regression zum machine learning aufbaut. aber gut - wenn's funktioniert, wieso nicht.

Hmm, vermutlich haben wir uns die lineare Regression gespart, weil das im Bachelor in Statistik erledigt wurde. Das ist bei mir allerdings schon wieder ca. 8 Jahre her, also kann ich dazu nichts genaueres sagen

Mein 2-Semester-Projekt war auch schon Deep Learning, obwohl ich noch nicht mal wusste, wie das mit Data Science überhaupt grundlegend funktioniert

[Pimmi]

Evilken schrieb Gerade eben:

Hmm, vermutlich haben wir uns die lineare Regression gespart, weil das im Bachelor in Statistik erledigt wurde. Das ist bei mir allerdings schon wieder ca. 8 Jahre her, also kann ich dazu nichts genaueres sagen

Mein 2-Semester-Projekt war auch schon Deep Learning, obwohl ich noch nicht mal wusste, wie das mit Data Science überhaupt grundlegend funktioniert

ich seh das schon als problem auch wegen der tollen medienberichten. jetzt meinen manche firmenbosse sie wollen unbedingt "machine learning" haben - eh schön wenn man so motiviert ist. nur ist das halt ein sahnehäubchen und macht oft noch (!) keinen sinn. erstens musst die daten mal erzeugen (z.b. durch sensoren), zweitens gibt's noch genug das man erreichen/verbessern kann in den betrieblichen aufgaben und das auf basis des vorhandenen zahlenmaterials und drittens (wie man auch in dem von mir geposteten link nachlesen kann) gibt's einige gefahren denn nur weil ein modell richtig klassifiziert muss das ergebnis noch nicht "gut" sein.

aber ja - wird sich wahrscheinlich wieder einspielen, vor ein paar jahren wollte jeder "big data" - wenn man dann nachgefragt hat stellte sich oft heraus dass es "normale" data analytics aufgaben sind. aber heutzutage glaub halt jeder weil er "viele daten" hat dass er jetzt einen auf "big data" macht.

[Evilken]

Pimmi schrieb vor 1 Minute:

ich seh das schon als problem auch wegen der tollen medienberichten. jetzt meinen manche firmenbosse sie wollen unbedingt "machine learning" haben - eh schön wenn man so motiviert ist. nur ist das halt ein sahnehäubchen und macht oft noch (!) keinen sinn. erstens musst die daten mal erzeugen (z.b. durch sensoren), zweitens gibt's noch genug das man erreichen/verbessern kann in den betrieblichen aufgaben und das auf basis des vorhandenen zahlenmaterials und drittens (wie man auch in dem von mir geposteten link nachlesen kann) gibt's einige gefahren denn nur weil ein modell richtig klassifiziert muss das ergebnis noch nicht "gut" sein.

aber ja - wird sich wahrscheinlich wieder einspielen, vor ein paar jahren wollte jeder "big data" - wenn man dann nachgefragt hat stellte sich oft heraus dass es "normale" data analytics aufgaben sind. aber heutzutage glaub halt jeder weil er "viele daten" hat dass er jetzt einen auf "big data" macht.

Wir haben eh zumindest mal mit simpler Feature Generation und ausführlichem Preprocessing gestartet. Und da kam von unseren LBAs auch immer die Info, dass die meiste Arbeit Preprocessing ist.

Jetzt gibts noch zusätzliche Erweiterungen, dass man Overfitting gibt, möglichst viel Generalisierung erreichen soll. Da sinds bei uns schon relativ darauf bedacht, dass man nicht nur coole Sachen macht, sondern da auch wirklich der Fokus drauf liegt, wie die spätere Arbeit wirklich ist.

Ja, Big Data, da bin ich nächstes Semester auch gespannt, hab ich als Wahlfach

[mazunte]

Ihr *coder^|^;
Sensationell! Da darf man sich wundern wenn es mal schirch hergeht ...

[Evilken]

Kennt sich jemand von euch mit GANs bzw. sogar CycleGANs aus?

Habe die Problematik, dass ich einen Style-Transfer durchführen möchte, beim einen Style allerdings die Datenlage recht mau ist. Sind etwa 800 Datensätze zu 35

Jetzt hab ich eben das Problem, dass der Loss beider Diskriminatoren relativ schnell auf 0 runtergeht, das hat dann den Einfluss auf die Generatoren, dass sich diese nicht mehr großartig verbessern.

Ich habe in der Hinsicht schon eine Änderung angepasst, dass die Adam-Lernrate bei den Diskriminatoren um einiges kleiner ist als die der Generatoren. Dadurch konnte ich jedenfalls den Abstieg schon um einiges verlangsamen, allerdings habe ich immer noch grundsätzlich das gleiche Problem. Ich werds jetzt noch einige Epochen weiterlaufen lassen, vielleicht wird es ja über einen längeren Zeitraum besser.

Bei den Generatoren hätte ich noch eine Möglichkeit, dass ich ein paar zusätzliche ResNet-Layer einfüge, um das Modell etwas komplexer zu gestalten. Ich vermute, dass das unter Underfitting fällt und das Modell einfach zu simpel ist und sich nicht an die Daten fitten kann. Dadurch könnte ich versuchen, ein paar zusätzliche Dimensionen bzw. Layer einzufügen.

Hat von euch sonst noch jemand einen Ansatz?

Edit: werd morgen mal versuchen, die Adam-Lernrate des Generators etwas zu erhöhen, vielleicht lernt er dann besser, hoffentlich schießt er dann nicht übers Ziel hinaus

bearbeitet 25. Mai 2020 von Evilken

[Pimmi]

hat schon mal wer von euch mit apache airflow gearbeitet?

ist ja noch relativ neu und da ich gerade vor der tool-entscheidung stehe (und open source grundsätzlich bevorzugt wird, im spezielle apache weil da natürlich die kompatibilität mit anderen projekten gegeben ist) wäre das interessant. allerdings ja noch etwas "neu" der spass

[Pimmi]

na - der herinnen herrscht ja auch schon lang ein lockdown

[Evilken]

Pimmi schrieb am 7.12.2021 um 21:46 :

na - der herinnen herrscht ja auch schon lang ein lockdown

Hast in letzter Zeit ein paar interessante neue Themen in dem Bereich gelesen?  

[Pimmi]

Evilken schrieb vor 3 Minuten:

Hast in letzter Zeit ein paar interessante neue Themen in dem Bereich gelesen?  

ich lese dauernd zeugs

airflow ist ziemlich lässig, wohl das beste tool für datastreams und orchestrierung mit dem ich bislang gearbeitet hab weil man voll flexibel ist und so viel mehr machen kann als etl/elt ... und natürlich ist's open source. sonst bin ich derzeit eher im analytischen/deskriptivem bereich unterwegs ... die machine learning tasks kommen dann wenn wir die relevanten attribute vollständig zerlegt/aufbereitet haben

[Evilken]

Pimmi schrieb vor 1 Minute:

ich lese dauernd zeugs

airflow ist ziemlich lässig, wohl das beste tool für datastreams und orchestrierung mit dem ich bislang gearbeitet hab weil man voll flexibel ist und so viel mehr machen kann als etl/elt ... und natürlich ist's open source. sonst bin ich derzeit eher im analytischen/deskriptivem bereich unterwegs ... die machine learning tasks kommen dann wenn wir die relevanten attribute vollständig zerlegt/aufbereitet haben

Interessant, werd ich mir mal näher ansehen. Aber soweit ich gelesen habe, ist das eine Cloud-Lösung? Dann ist es für uns sowieso nicht relevant  für ML brauchst eh erst mal eine korrekte bzw. brauchbare Datenbasis, das ist eh schon Arbeit genug... in welche Richtung gehen denn eure ML-Tasks bzw. mit was beschäftigt ihr euch da so?

[Pimmi]

Evilken schrieb vor einer Stunde:

Interessant, werd ich mir mal näher ansehen. Aber soweit ich gelesen habe, ist das eine Cloud-Lösung? Dann ist es für uns sowieso nicht relevant  für ML brauchst eh erst mal eine korrekte bzw. brauchbare Datenbasis, das ist eh schon Arbeit genug... in welche Richtung gehen denn eure ML-Tasks bzw. mit was beschäftigt ihr euch da so?

nein - Airflow läuft dort wo du's installierst, braucht halt Linux aber ich hab's für erste Tests auf der Ubuntu-VM von Windows installiert.

Puh - verschieden. Definitiv Segmentierung/Clustering allerdings bin ich da mit den Fachexperten noch in Diskussion .Grad weil wir auch einige Tasks offen haben welche die Datenqualität/Prozesse betreffen und div. Checks gegen andere Datenquellen. Aber grundsätzlich gilt halt dass ML dann der Zuckerguss ist - in erster Linie ist der Fokus auf Analytics bzw. deskriptiver Statistik.