Q:
Kokie yra pagrindiniai duomenų mokslo procesų automatizavimo ir optimizavimo būdai?
A:Duomenų mokslo procesus mašininio mokymosi ir PG kontekste galima suskirstyti į keturis skirtingus etapus:
- duomenų rinkimas ir tyrinėjimas,
- modelio pastatas,
- modelio diegimas ir
- internetinis vertinimas ir tobulinimas.
Remiantis mano patirtimi, kliūtys yra duomenų gavimo ir modelio diegimo fazės bet kuriame mašininiu mokymu paremtame duomenų mokslo procese. Štai šie du būdai:
1. Sukurkite lengvai prieinamą duomenų saugyklą.
Daugelyje organizacijų duomenys nėra saugomi vienoje centrinėje vietoje. Paimkime tik informaciją, susijusią su klientais. Jei jūsų įmonė yra žiniatinklio programa, turite klientų kontaktinę informaciją, klientų aptarnavimo el. Laiškus, klientų atsiliepimus ir klientų naršymo istoriją. Visi šie duomenys yra natūraliai išsibarstę, nes jie naudojami skirtingais tikslais. Jie gali būti skirtingose duomenų bazėse, kai kurie gali būti visiškai susisteminti, o kai kurie nestruktūruoti ir netgi gali būti saugomi kaip paprasto teksto failai.
Deja, šių duomenų rinkinių išsklaidymas labai riboja duomenų mokslo darbą, nes visų NLP, mašininio mokymosi ir AI problemų pagrindas yra duomenys . Taigi visus šiuos duomenis vienoje vietoje - duomenų saugykloje - yra svarbiausia spartinant modelio kūrimą ir diegimą. Atsižvelgiant į tai, kad tai yra labai svarbus elementas visuose duomenų mokslo procesuose, organizacijos turėtų pasamdyti kvalifikuotus duomenų inžinierius, kad padėtų jiems sukurti savo duomenų bazes. Tai gali lengvai prasidėti, nes paprasti duomenys sudedami į vieną vietą ir lėtai perauga į gerai apgalvotą duomenų saugyklą, visiškai pagrįstą dokumentais ir nuskaitytą naudojant naudingąsias priemones, kad būtų galima eksportuoti duomenų pogrupius į skirtingus formatus įvairiems tikslams.
2. Pateikite savo modelius kaip sklandžios integracijos paslaugą.
Svarbu ne tik suteikti prieigą prie duomenų, bet ir sugebėti integruoti duomenų mokslininkų sukurtus modelius į produktą. Gali būti nepaprastai sunku integruoti „Python“ sukurtus modelius su interneto programa, veikiančia „Ruby“. Be to, modeliai gali turėti daug priklausomybių nuo duomenų, kurių jūsų produktas gali nepateikti.
Vienas iš būdų tai išspręsti yra sukurti stiprią savo modelio infrastruktūrą ir atskleisti tik tiek gaminiui reikalingų funkcijų, kad modelis būtų naudojamas kaip „žiniatinklio paslauga“. Pavyzdžiui, jei jūsų programai reikia sentimentalios klasifikacijos pagal produktų apžvalgas., viskas, ką ji turėtų padaryti, yra iškviesti žiniatinklio paslaugą, jei pateikiamas atitinkamas tekstas ir paslauga grąžina atitinkamą sentimentų klasifikaciją, kuria produktas gali tiesiogiai naudotis. Tokiu būdu integracija yra tiesiog API skambučio forma. Atsiejus modelį ir jį naudojantį gaminį, tikrai lengva naujiems gaminiams, kuriuos sugalvojote, naudoti šiuos vargus.
Dabar infrastruktūros sukūrimas aplink jūsų modelį yra visai kitas dalykas, todėl inžinierių komandos reikalauja didelių pradinių investicijų. Įdiegus infrastruktūrą, reikia tik sukurti modelius, kurie atitiktų infrastruktūrą.
