MLlib
در حقیقت API های استانداردی هشتند که برای الگوریتم های یادگیری ماشین برای ساده تر شدن فرایند ترکیب چند الگوریتم با یکدیگر در مرحله های کاری از یک جریان کاری متداول در پروژه های هستند.
Dataframe:
این ای پی آی یادگیری ماشین از اسپارک اس کیو ال به عنوان یه مجموعه داده یادگیری ماشین استفاده میشود که می تواند انواع داده ای گوناگونی را شامل شود. یک دیتا فریم میتواند ستون هایی را از متون ذخیره شده، وکتور های ویژگی ها، برچسب ها و پیش بین ها شامل شود.
Transformer
الگوریتمی است که می تواند یک دیتا فریم را به دیتا فریم دیگری تبدیل کند. یک مدل یادگیری ماشین ترنسفورمر است که دیتا فریم را همراه ویژگی هایش به دیتا فریم دیگری که شامل پیش بینی ها میشود تبدیل میکند.
Estimator:
یک الگوریتم که میتواند بروی دیتا فریم ها برای fit کردن برای تولید یک ترنسفورمر به کار گرفته شوند. یک الگوریتم یادگیری که در ارزیاب ها آموزش دیتا فریم ها را برای مدل ها انجام میدهند.
Pipeline:
زنجیره ای از چند ترنسفرمر و ارزیاب که با یکدیگر چرخه ای از یادگیری ماشین را می سازند.