خبير معتمد في علم البيانات (متقدّم)

الأصناف والكائنات

الصنف مخطّط؛ والكائن شيء مبنيّ منه. ويجمع الصنف البيانات (السمات) مع الدوال التي تعمل عليها (الطرق). فبدل متغيّرات ودوال متفرّقة، تعيش الحالة والسلوك المترابطان معًا.

class Account:
    def __init__(self, owner, balance=0):
        self.owner = owner          # attribute
        self.balance = balance

    def deposit(self, amount):      # method
        self.balance += amount
        return self.balance

acc = Account("Sara", 100)
acc.deposit(50)                     # 150

الأركان الأربعة

• التغليف — ضمّ البيانات مع طرقها وإخفاء التفاصيل الداخلية.
• الوراثة — يمكن لصنف أن يوسّع آخر، فيعيد استخدامه ويخصّصه.
• تعدّد الأشكال — أصناف مختلفة تستجيب لاسم الطريقة نفسه كلٌّ بطريقته.
• التجريد — أظهِر واجهة بسيطة وأخفِ التنفيذ المعقّد.

لماذا يهمّ لعلم البيانات

scikit-learn و PyTorch و Pandas كلها مبنية بالبرمجة كائنية التوجّه — فكل نموذج كائن له .fit() و .predict(). وفهم الأصناف يتيح لك بناء محوّلات مخصّصة، وتوسيع أصناف المكتبات، وهيكلة المشروع ليبقى قابلًا للصيانة مع نموّه.

كيف يعمل الاستخلاص

تطلب HTML الصفحة، ثم تحلّله لاستخراج الأجزاء التي تريدها. فـ requests تجلب HTML؛ و BeautifulSoup يتنقّل في شجرة الوسوم لاستخراج النصوص والروابط حسب وسومها أو أصنافها أو معرّفاتها.

import requests
from bs4 import BeautifulSoup

html = requests.get("https://example.com/jobs").text
soup = BeautifulSoup(html, "html.parser")
titles = [h.text.strip() for h in soup.select("h2.job-title")]

الصفحات الساكنة مقابل الديناميكية

إن كانت البيانات في HTML الأولي، فـ requests + BeautifulSoup يكفيان. أما إن كانت الصفحة تبني المحتوى بـ JavaScript بعد التحميل (تمرير لا نهائي، لوحات)، فتحتاج أداة أتمتة متصفّح مثل Selenium أو Playwright تشغّل الصفحة كمتصفّح حقيقي أولًا.

دوال النوافذ

تحسب دالة النافذة عبر مجموعة صفوف مرتبطة بالصف الحالي — دون طيّها كما يفعل GROUP BY. وبهذا تحصل على المجاميع التراكمية والترتيب والمقارنات بين الصفوف مع إبقاء كل صف ظاهرًا.

SELECT name, city, total,
       RANK() OVER (PARTITION BY city ORDER BY total DESC) AS city_rank,
       SUM(total) OVER (PARTITION BY city) AS city_total
FROM   customers;

تعبيرات CTE تجعل الاستعلامات المعقّدة مقروءة

يمنح تعبير الجدول العام (WITH …) اسمًا لاستعلام فرعي لتبني الاستعلام بخطوات واضحة متراكمة بدل أقواس متداخلة بعمق. فتصير التحليلات المعقّدة مسارًا مقروءًا — بل يمكن أن تكون CTE تكرارية للتسلسلات الهرمية (الهياكل التنظيمية، الفئات).

WITH monthly AS (
  SELECT DATE_FORMAT(created, '%Y-%m') AS m, SUM(total) AS rev
  FROM orders GROUP BY m
)
SELECT m, rev, rev - LAG(rev) OVER (ORDER BY m) AS growth
FROM monthly;

المنطق المخزَّن والأداء

• الإجراءات والدوال المخزَّنة تحفظ منطقًا قابلًا لإعادة الاستخدام داخل قاعدة البيانات.
• المُحفّزات تعمل تلقائيًا عند INSERT/UPDATE/DELETE (سجلّات التدقيق، التحقّق).
• الفهارس تسرّع البحث؛ واقرأ خطة EXPLAIN للاستعلام لإيجاد النقاط البطيئة.

المشكلة: الذاكرة ونواة واحدة

يحمّل Pandas مجموعة البيانات كاملة في الذاكرة ويستخدم نواة معالجة واحدة. فملف 50 غيغابايت على حاسوب بذاكرة 16 غيغابايت لن يُفتح ببساطة، والعمليات الكبيرة بطيئة. وأدوات البيانات الضخمة تحلّ الأمرين بتقسيم العمل.

كيف يساعد Dask

إطار بيانات Dask هو عدّة إطارات Pandas تحت واجهة واحدة. يقسّم البيانات إلى أجزاء ويعالجها بالتوازي، محمّلًا ما يحتاجه فقط. وواجهته تحاكي Pandas، فتنتقل مهاراتك الحالية دون تغيير يُذكر تقريبًا.

import dask.dataframe as dd
df = dd.read_csv("huge/*.csv")          # lazy — nothing loaded yet
result = df.groupby("city").amount.mean()
result.compute()                        # now it runs, in parallel

الفئات غير المتوازنة: SMOTE

حين تكون فئة نادرة (1% احتيال)، قد يسجّل النموذج نتيجة عالية بتجاهلها. و SMOTE و ADASYN يعالجان ذلك بتوليد أمثلة أقلية جديدة معقولة بين الموجودة — فيوازنان الفئات ليتعلّم النموذج النمط النادر فعلًا. وأعد أخذ العيّنات لمجموعة التدريب فقط، لا الاختبار أبدًا.

تحويل النص إلى أرقام

تحتاج النماذج أرقامًا، فيجب تحويل النص إلى متّجهات. و TF-IDF يزن الكلمات حسب تميّزها في المستند. و Word2Vec يذهب أبعد — يتعلّم تضمينات كثيفة تجلس فيها الكلمات المتقاربة المعنى قريبةً من بعضها، فيلتقط دلالاتٍ يفوّتها نموذج «حقيبة الكلمات».

خصائص السلاسل الزمنية

• خصائص الإزاحة — قيمة الأمس كمتنبّئ بقيمة اليوم.
• النوافذ المتحرّكة — المتوسّطات/الانحرافات المتحرّكة تُنعّم الضجيج وتُبرز الاتجاه.
• خصائص التقويم — يوم الأسبوع والشهر وعلامات العطلات تلتقط الموسمية.

النماذج التجميعية: حكمة الجماعة

قد يكون نموذج واحد منحازًا أو مشوّشًا؛ لكن عدّة نماذج متنوّعة يُؤخذ متوسطها تكون عادةً أدقّ وأكثر استقرارًا. فـ Bagging (مثل الغابة العشوائية) يدرّب النماذج بالتوازي على عيّنات عشوائية فرعية ويأخذ متوسطها. و Boosting يدرّب النماذج بالتتابع، كلٌّ يصلح أخطاء سابقه.

XGBoost — المفضّل في المسابقات

التعزيز التدرّجي — وتطبيقه السريع XGBoost (مع LightGBM و CatBoost) — يهيمن على مشكلات البيانات الجدولية. يبني أشجار قرار ضحلة واحدة تلو الأخرى، كلٌّ يصحّح الأخطاء المتبقّية للتجميع حتى الآن. وغالبًا هو أقوى نموذج تلجأ إليه على البيانات المهيكلة.

تحليل المكوّنات الرئيسية وقواعد الاقتران

• PCA يختزل خصائص كثيرة مترابطة إلى «مكوّنات رئيسية» قليلة تحفظ معظم التباين — ممتاز للتصوير والسرعة.
• DBSCAN يجمّع حسب الكثافة، فيجد أشكالًا اعتباطية ويميّز القيم الشاذّة (بخلاف k-means).
• قواعد الاقتران (Apriori / FP-Growth) تجد «من يشتري X يشتري أيضًا Y» — تحليل سلّة السوق.

Docker: «يعمل على جهازي» — حُلّت

تحزم الحاوية كودك مع اعتمادياته وبيئته بالضبط، فيعمل بالطريقة نفسها على حاسوبك وحاسوب زميلك والخادم. لا مزيد من تعارض الإصدارات. تكتب Dockerfile مرّة؛ ويستطيع أي أحد بناء الصورة نفسها وتشغيلها.

# Dockerfile
FROM python:3.11-slim
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "app.py"]

# build & run
docker build -t my-model .
docker run -p 8000:8000 my-model

السحابة والتوسّع

انشر الحاوية إلى سحابة (AWS أو Azure أو GCP). ولحركة المرور المتذبذبة، يشغّل مُنسّق مثل Kubernetes نُسخًا كثيرة ويوزّع الحمل بينها، مضيفًا النُسخ أو مزيلًا لها تلقائيًا. وهذا هو العمود التشغيلي لمنتجات تعلّم الآلة الحقيقية.