Waarom is schaalbaar machine learning belangrijk?

Q:

Waarom is schaalbaar machine learning belangrijk?

Schaalbare machine learning is een belangrijk modewoord in de machine learning-industrie, deels omdat het op schaal brengen van machine learning-processen een belangrijk en uitdagend aspect is van veel machine learning-projecten.

Sommige kleinere machine learning-projecten hoeven bijvoorbeeld niet zoveel te schalen, maar wanneer ingenieurs verschillende soorten productieve modellering overwegen, proberen de analyse van gigantische gegevenssets te stimuleren, of proberen machine learning toe te passen op verschillende hardware-omgevingen, kan schaalbaarheid alles betekenen.

Schaalbaar machinaal leren is belangrijk als het duidelijk is dat de omvang van het project de oorspronkelijke opzet overtreft. Verschillende algoritme-benaderingen kunnen nodig zijn om machine-leerprocessen te helpen matchen met andere data-analyseprocessen. Voor machinaal leren zijn mogelijk meer bronnen nodig voor dezelfde set gegevens.

Wat de gebruikte hulpmiddelen betreft, wordt Apache Hadoop vaak gebruikt voor extreem grote gegevenssets, bijvoorbeeld ongeveer 5 TB. Onder deze markering zijn er andere mid-level tools die het werk goed kunnen doen, zoals Panda's, Matlab en R. IT-professionals zullen de tools afstemmen op de benodigde schaalbaarheid. Ze zullen begrijpen hoeveel programma's voor machinaal leren moeten worden uitgevoerd en hoe ze moeten worden uitgerust om die doelen te bereiken.

Naast de mogelijkheid om te schalen naar veel grotere gegevenssets in de orde van verschillende terabytes, is een andere uitdaging met schaalbare machine learning het ontwikkelen van een systeem dat op meerdere knooppunten kan werken. Sommige standaard machine learning-systemen kunnen alleen worden ingesteld om te worden uitgevoerd op een individuele computer- of hardwarecomponent. Maar wanneer machine-leerprocessen met meerdere knooppunten moeten communiceren, vereist dat een andere aanpak. Machine learning laten werken in een gedistribueerde architectuur is een ander belangrijk onderdeel van schaalbaar machine learning. Overweeg een situatie waarin machine learning-algoritmen toegang moeten hebben tot gegevens van tientallen of zelfs honderden servers - dit zal aanzienlijke schaalbaarheid en veelzijdigheid vereisen.

Een andere drijfveer voor schaalbare machine learning is het proces van diep leren, waarbij ingenieurs en belanghebbenden mogelijk meer resultaten behalen door dieper in te gaan op gegevenssets en deze op meer diepgaande manieren te manipuleren. Diepgaande leerprojecten zijn een uitstekend voorbeeld van hoe bedrijven mogelijk een schaalbare strategie voor machine learning moeten volgen om de capaciteit te bereiken die ze nodig hebben. Naarmate diep leren zich blijft ontwikkelen, zal het druk uitoefenen op machine learning-systemen om efficiënter te schalen.