KAHIBARO Bookshelves
Discord Login Register

16. فصل ۱۶: علم داده با پایتون

مرور کلی فصل و هدف آن

در این فصل با یکی از مهم‌ترین و محبوب‌ترین کاربردهای پایتون آشنا می‌شوید: علم داده.
هدف این فصل این است که:

  • بفهمید علم داده چیست و چه مسائلی را حل می‌کند.
  • با شکل کلی کار یک «دانشمند داده» آشنا شوید.
  • مسیر کلی کار با داده را بشناسید: از گرفتن داده تا تحلیل و مصورسازی.
  • با سه کتابخانهٔ بسیار مهم برای علم داده در حد مقدماتی آشنا شوید:
    • NumPy
    • pandas
    • matplotlib
  • چند مثال سادهٔ تحلیل داده را ببینید تا تصویر روشنی از کاربرد عملی پایتون در علم داده داشته باشید.

جزئیات دقیق هر کتابخانه در زیرعنوان‌های همین فصل خواهد آمد؛ اینجا تصویر کلی را می‌سازیم و ارتباط بخش‌ها را توضیح می‌دهیم.

علم داده چیست و چه مشکلی را حل می‌کند؟

علم داده (Data Science) یعنی استفاده از:

  • داده‌ها
  • روش‌های آماری
  • برنامه‌نویسی
  • و گاهی هوش مصنوعی / یادگیری ماشین

برای:

  • پاسخ‌دادن به سؤال‌ها
  • گرفتن تصمیم‌های بهتر
  • پیش‌بینی آینده
  • خودکارسازی تصمیم‌گیری‌ها

علم داده در عمل یعنی:

  1. جمع‌آوری داده
    مثلا گرفتن داده از فایل‌های متنی، Excel، پایگاه‌داده، وب‌سایت‌ها و …
  2. تمیز کردن و آماده‌سازی داده
    دادهٔ واقعی معمولا ناقص، کثیف و نامنظم است.
    مثال:
    • مقادیر خالی (missing values)
    • خطای تایپ در نام‌ها
    • فرمت‌های مختلف تاریخ‌ها
  3. بررسی و تحلیل اکتشافی داده (EDA)
    پیدا کردن الگوها و روابط ساده:
    • میانگین‌ها، حداقل و حداکثر
    • نمودارها برای دیدن توزیع داده
    • کشف داده‌های عجیب و پرت
  4. مدل‌سازی و پیش‌بینی (در مراحل پیشرفته‌تر)
    مثلا:
    • پیش‌بینی فروش ماه بعد
    • پیش‌بینی این‌که کدام مشتری احتمال ترک دارد
  5. گزارش و مصورسازی نتایج
    • ساخت نمودار
    • جدول‌های خلاصه
    • داشبوردها و گزارش‌ها برای افراد غیر فنی

در این فصل ما روی مراحل ۲، ۳ و ۵ تمرکز مقدماتی داریم؛ یعنی:

  • کار با داده
  • تمیز کردن و خلاصه‌کردن داده
  • ساخت نمودارهای ساده

چرا پایتون برای علم داده محبوب است؟

پایتون یکی از محبوب‌ترین زبان‌ها برای علم داده است، چون:

  • ساده و خواناست
    برای تحلیل‌گر و دانشمند داده مهم است که سریع ایده را پیاده کند، نه این‌که درگیر پیچیدگی‌های زبان شود.
  • کتابخانه‌های قدرتمند دارد:
    • NumPy برای کار با آرایه‌ها و محاسبات عددی
    • pandas برای کار با جدول‌ها و داده‌های ردیفی/ستونی (مثل Excel)
    • matplotlib و کتابخانه‌های دیگر برای رسم نمودار
    • و در مراحل پیشرفته‌تر:
      • scikit-learn برای یادگیری ماشین
      • seaborn برای نمودارهای آماری زیبا
      • statsmodels برای تحلیل آماری
  • اجتماع (Community) بزرگ و فعال
    مثال:
    • جوابِ بسیاری از مشکل‌ها در Stack Overflow، وبلاگ‌ها و دوره‌ها موجود است.
    • مثال‌های فراوان آماده برای تحلیل داده‌ در GitHub وجود دارد.
  • امکان ترکیب با حوزه‌های دیگر
    مثل:
    • وب (برای ساخت داشبوردها و APIها)
    • خودکارسازی (گزارش‌گیری خودکار روزانه/هفتگی)
    • یادگیری ماشین و هوش مصنوعی

در این فصل روی سه کتابخانهٔ NumPy, pandas, matplotlib تمرکز می‌کنیم که پایهٔ کار علمی داده با پایتون هستند.

مسیر معمول یک پروژهٔ کوچک علم داده

برای درک بهتر، یک «سناریوی ساده» را تصور کنید:

می‌خواهیم داده‌های فروش یک فروشگاه را بررسی کنیم:
- داده در یک فایل sales.csv ذخیره شده است.
- می‌خواهیم بدانیم:
- مجموع فروش هر ماه چقدر بوده؟
- بهترین ماه فروش کدام بوده؟
- یک نمودار سادهٔ خطی از فروش ماهانه بکشیم.

گام‌های معمول:

  1. وارد کردن کتابخانه‌ها
   import numpy as np
   import pandas as pd
   import matplotlib.pyplot as plt
  1. خواندن داده (معمولا با pandas)
   df = pd.read_csv("sales.csv")
  1. نگاه سریع به داده
   print(df.head())       # چند ردیف اول
   print(df.info())       # اطلاعات کلی ستون‌ها
   print(df.describe())   # آمار عددی ستون‌ها
  1. تمیز کردن/آماده کردن داده
    مثال:
    • حذف ردیف‌هایی که مقدار فروش در آن‌ها خالی است
   df = df.dropna(subset=["amount"])
  • تبدیل ستون تاریخ به نوع تاریخ
   df["date"] = pd.to_datetime(df["date"])
  1. گروه‌بندی و خلاصه‌کردن
    مثلا مجموع فروش در هر ماه:
   df["month"] = df["date"].dt.to_period("M")
   monthly_sales = df.groupby("month")["amount"].sum()
   print(monthly_sales)
  1. مصورسازی
   monthly_sales.plot(kind="line")
   plt.xlabel("ماه")
   plt.ylabel("مجموع فروش")
   plt.title("فروش ماهانه")
   plt.show()

این مثال، تصویر کلیِ «کار با داده با پایتون» را نشان می‌دهد.
در زیربخش‌های بعدی فصل، هر کدام از ابزارهای استفاده‌شده (NumPy, pandas, matplotlib) را جداگانه و با مثال‌های ساده‌تر یاد می‌گیرید.

داده در دنیای واقعی چگونه است؟

وقتی از «داده» صحبت می‌کنیم، منظور فقط یک فایل تمیز و آماده نیست.
چند نوع دادهٔ رایج که در علم داده با آن‌ها کار می‌کنید:

  • داده‌های جدولی (Tabular)
    • مثل Excel، CSV
    • ردیف‌ها = رکورد (مثلا هر ردیف یک خرید، یک کاربر، یک تراکنش)
    • ستون‌ها = ویژگی‌ها (مثلا تاریخ، مبلغ، نام مشتری)
  • داده‌های زمانی (Time Series)
    • مثل قیمت روزانهٔ یک سهام
    • تعداد بازدید روزانهٔ یک وب‌سایت
  • داده‌های متنی (Text)
    • پیام‌های شبکه‌های اجتماعی
    • نظرات کاربران روی محصولات
    • ایمیل‌ها
  • داده‌های تصویری، صوتی، ویدئویی
    که معمولا در مراحل پیشرفته‌تر و در ترکیب با یادگیری عمیق بررسی می‌شوند.

در این دورهٔ مقدماتی، تمرکز روی داده‌های جدولی و عددی/متنی ساده است، چون:

  • هم رایج‌ترند
  • هم با pandas و NumPy به‌خوبی مدیریت می‌شوند
  • و هم برای یادگیری پایه‌ها مناسب‌اند

نقش کتابخانه‌های این فصل در کنار هم

در این فصل با سه کتابخانهٔ اصلی آشنا می‌شوید. هر کدام چه نقشی دارد؟

NumPy

  • برای کار عددی سریع و آرایه‌های چندبعدی استفاده می‌شود.
  • وقتی می‌خواهید با مجموعه‌های بزرگ عددی (مثلا هزاران یا میلیون‌ها عدد) محاسبات انجام دهید، NumPy بسیار سریع‌تر از لیست‌های معمولی پایتون است.
  • پایهٔ بسیاری از کتابخانه‌های دیگر است (از جمله خود pandas).

نمونهٔ ساده (نمایش ایده، توضیح کامل در بخش مخصوص NumPy می‌آید):

import numpy as np
a = np.array([1, 2, 3, 4])
print(a * 10)   # هر عنصر در 10 ضرب می‌شود

pandas

  • روی NumPy ساخته شده و برای کار با داده‌های جدولی طراحی شده است.
  • دو ساختار دادهٔ اصلی دارد:
    • Series (ستون یک‌بعدی)
    • DataFrame (جدول دو‌بعدی شبیه Excel)

استفادهٔ معمول:

  • خواندن/نوشتن داده (CSV، Excel، …)
  • فیلتر کردن ردیف‌ها
  • انتخاب ستون‌ها
  • گروه‌بندی و محاسبهٔ آمار
  • ترکیب چند جدول داده

نمونهٔ ساده (توضیح کامل در بخش pandas):

import pandas as pd
data = {
    "name": ["Ali", "Sara", "Reza"],
    "age": [25, 30, 22]
}
df = pd.DataFrame(data)
print(df)

matplotlib

  • کتابخانهٔ پایه برای رسم نمودار در پایتون است.
  • می‌توانید نمودارهای زیر را رسم کنید:
    • خطی (line)
    • ستونی (bar)
    • نقطه‌ای (scatter)
    • هیستوگرام (histogram)
    • و انواع دیگر

نمونهٔ ساده (توضیح کامل در بخش matplotlib):

import matplotlib.pyplot as plt
x = [1, 2, 3, 4]
y = [10, 20, 15, 25]
plt.plot(x, y)
plt.xlabel("X")
plt.ylabel("Y")
plt.title("یک نمودار خطی ساده")
plt.show()

در علم داده، این سه کتابخانه معمولاً با هم استفاده می‌شوند:

  1. pandas برای مدیریت و تحلیل جدول‌ها
  2. NumPy برای محاسبات عددی در پشت‌صحنه
  3. matplotlib برای نشان دادن نتایج به‌صورت نمودار

یک «جریان کاری» ساده علم داده با پایتون

برای جمع‌بندی تصویری، یک روند کلی را به‌صورت گام‌به‌گام مرور کنیم.
فرض کنید یک فایل students.csv داریم با ستون‌های:

  • name (نام)
  • age (سن)
  • score (نمره)

می‌خواهیم:

  • میانگین نمره‌ها را حساب کنیم.
  • بفهمیم چند نفر سن بالای ۱۸ سال دارند.
  • یک نمودار ساده از نمره‌ها رسم کنیم.

گام ۱: وارد کردن کتابخانه‌ها

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

گام ۲: خواندن داده

df = pd.read_csv("students.csv")

گام ۳: بررسی کوتاه داده

print(df.head())    # چند ردیف اول
print(df.describe())  # آمار عددی: میانگین، حداقل، حداکثر و ...

گام ۴: محاسبهٔ آماری ساده

میانگین نمره‌ها:

average_score = df["score"].mean()
print("میانگین نمره‌ها:", average_score)

تعداد افراد بالای ۱۸ سال:

over_18 = df[df["age"] > 18]
print("تعداد افراد بالای ۱۸ سال:", len(over_18))

(در فصل pandas این نوع فیلتر کردن را دقیق‌تر یاد می‌گیرید.)

گام ۵: رسم نمودار نمره‌ها

مثلا یک هیستوگرام ساده:

plt.hist(df["score"], bins=5)  # 5 بازه برای نمره‌ها
plt.xlabel("نمره")
plt.ylabel("تعداد دانش‌آموزان")
plt.title("توزیع نمره‌ها")
plt.show()

این چند خط کد، یک «تحلیل داده» بسیار ساده را نشان می‌دهد.
در ادامهٔ فصل، در هر زیربخش:

  • جزئیات NumPy،
  • ابزارهای اصلی pandas،
  • و روش‌های پایهٔ رسم نمودار با matplotlib

را با مثال‌های بیشتری می‌بینید تا بتوانید خودتان چنین تحلیل‌های ساده‌ای را از صفر انجام دهید.

چه انتظاری از خودتان در پایان این فصل داشته باشید؟

بعد از اتمام تمام زیربخش‌های فصل ۱۶، باید:

  • بتوانید با pandas یک فایل CSV را بخوانید و:
    • چند ستون را انتخاب کنید
    • ردیف‌ها را فیلتر کنید
    • میانگین و مجموع برخی ستون‌ها را حساب کنید
  • مفهوم کلی NumPy array را درک کنید و:
    • بدانید چرا برای محاسبات عددی سریع مفید است
    • چند عملیات ساده روی آرایه‌ها انجام دهید
  • با matplotlib توانایی رسم:
    • نمودار خطی
    • نمودار ستونی
    • یک هیستوگرام ساده

را داشته باشید.

و مهم‌تر از همه:
یک تصویر واقعی و عملی از این‌که «علم داده با پایتون در عمل یعنی چه؟» در ذهن شما شکل می‌گیرد تا اگر دوست داشتید، در مراحل بعدی به‌سمت مباحث پیشرفته‌تر مثل یادگیری ماشین حرکت کنید.

Views: 0

Comments

Please login to add a comment.

Don't have an account? Register now!

Where to Move

Move chapter:

  • ☰ 1. فصل ۱: برنامه‌نویسی چیست؟
    • ☰ 1.1. برنامهٔ کامپیوتری چیست؟
      • ☰ 1.2. پایتون چیست؟
        • ☰ 1.3. پایتون کجا استفاده می‌شود؟
          • ☰ 1.4. چگونه برنامه‌نویسی به حل مسائل کمک می‌کند
            • ☰ 1.5. اولین برنامهٔ پایتون شما
            • ☰ 2. فصل ۲: راه‌اندازی پایتون
              • ☰ 2.1. نصب پایتون (ویندوز / macOS / لینوکس)
                • ☰ 2.2. استفاده از پایتون در ترمینال
                  • ☰ 2.3. استفاده از یک IDE (IDLE / VS Code)
                    • ☰ 2.4. اجرای اسکریپت‌های پایتون
                      • ☰ 2.5. حالت تعاملی پایتون
                      • ☰ 3. فصل ۳: متغیرها و انواع داده
                        • ☰ 3.1. متغیر چیست؟
                          • ☰ 3.2. ایجاد متغیرها
                            • ☰ 3.3. اعداد (`int`، `float`)
                              • ☰ 3.4. متن (`str`)
                                • ☰ 3.5. مقادیر بولی (`True`، `False`)
                                  • ☰ 3.6. بررسی نوع داده با `type()`
                                  • ☰ 4. فصل ۴: عملیات پایه
                                    • ☰ 4.1. عملیات حسابی
                                      • ☰ 4.2. کار با اعداد
                                        • ☰ 4.3. عملیات روی رشته‌ها
                                          • ☰ 4.4. ترکیب متن و متغیرها
                                            • ☰ 4.5. کامنت‌ها در پایتون
                                            • ☰ 5. فصل ۵: ورودی و خروجی کاربر
                                              • ☰ 5.1. دریافت ورودی از کاربر
                                                • ☰ 5.2. تبدیل ورودی به عدد
                                                  • ☰ 5.3. قالب‌بندی خروجی
                                                    • ☰ 5.4. نوشتن برنامه‌های تعاملی
                                                    • ☰ 6. فصل ۶: شرط‌ها (if / else)
                                                      • ☰ 6.1. عملگرهای مقایسه‌ای
                                                        • ☰ 6.2. عملگرهای منطقی
                                                          • ☰ 6.3. if، elif، else
                                                            • ☰ 6.4. شرط‌های تو در تو
                                                              • ☰ 6.5. اشتباهات رایج مبتدیان
                                                              • ☰ 7. فصل ۷: حلقه‌ها
                                                                • ☰ 7.1. چرا حلقه‌ها مفید هستند؟
                                                                  • ☰ 7.2. حلقه‌های while
                                                                    • ☰ 7.3. حلقه‌های for
                                                                      • ☰ 7.4. شمارنده‌های حلقه
                                                                        • ☰ 7.5. break و continue
                                                                          • ☰ 7.6. تمرین‌های حلقه
                                                                          • ☰ 8. فصل ۸: مجموعه‌های داده
                                                                            • ☰ 8.1. لیست‌ها (Lists)
                                                                              • ☰ 8.2. تاپل‌ها (Tuples)
                                                                                • ☰ 8.3. دیکشنری‌ها (Dictionaries)
                                                                                  • ☰ 8.4. مجموعه‌ها (Sets – مقدماتی)
                                                                                    • ☰ 8.5. انتخاب ساختار دادهٔ مناسب
                                                                                    • ☰ 9. فصل ۹: توابع
                                                                                      • ☰ 9.1. چرا توابع مهم هستند؟
                                                                                        • ☰ 9.2. تعریف توابع
                                                                                          • ☰ 9.3. پارامترها و آرگومان‌ها
                                                                                            • ☰ 9.4. مقادیر بازگشتی
                                                                                              • ☰ 9.5. محدودهٔ متغیرها (محلی در برابر سراسری)
                                                                                                • ☰ 9.6. استفادهٔ مجدد از کد
                                                                                                • ☰ 10. فصل ۱۰: کار با فایل‌ها
                                                                                                  • ☰ 10.1. فایل چیست؟
                                                                                                    • ☰ 10.2. خواندن فایل‌های متنی
                                                                                                      • ☰ 10.3. نوشتن و افزودن به فایل‌ها
                                                                                                        • ☰ 10.4. مسیر فایل‌ها
                                                                                                          • ☰ 10.5. برنامه‌های ساده مبتنی بر فایل
                                                                                                          • ☰ 11. فصل ۱۱: خطاها و اشکال‌زدایی
                                                                                                            • ☰ 11.1. انواع خطاها
                                                                                                              • ☰ 11.2. خواندن پیام‌های خطا
                                                                                                                • ☰ 11.3. خطاهای رایج مبتدیان
                                                                                                                  • ☰ 11.4. try و except
                                                                                                                    • ☰ 11.5. راهبردهای اشکال‌زدایی
                                                                                                                    • ☰ 12. فصل ۱۲: استفاده از کتابخانه‌های پایتون
                                                                                                                      • ☰ 12.1. کتابخانه چیست؟
                                                                                                                        • ☰ 12.2. وارد کردن ماژول‌ها
                                                                                                                          • ☰ 12.3. کتابخانه‌های استاندارد
                                                                                                                            • ☰ 12.3.1. math
                                                                                                                              • ☰ 12.3.2. random
                                                                                                                                • ☰ 12.3.3. datetime
                                                                                                                                • ☰ 12.4. نصب کتابخانه‌های خارجی با pip
                                                                                                                                • ☰ 13. فصل ۱۳: برنامه‌نویسی شی‌گرا (OOP)
                                                                                                                                  • ☰ 13.1. برنامه‌نویسی شی‌گرا چیست؟
                                                                                                                                    • ☰ 13.2. کلاس‌ها و اشیاء
                                                                                                                                      • ☰ 13.3. ویژگی‌ها و متدها
                                                                                                                                        • ☰ 13.4. متد `__init__`
                                                                                                                                          • ☰ 13.5. کپسوله‌سازی
                                                                                                                                            • ☰ 13.6. وراثت (مقدماتی)
                                                                                                                                              • ☰ 13.7. مثال‌های سادهٔ شی‌گرا
                                                                                                                                              • ☰ 14. فصل ۱۴: خودکارسازی با پایتون
                                                                                                                                                • ☰ 14.1. خودکارسازی چیست؟
                                                                                                                                                  • ☰ 14.2. خودکار کردن وظایف ساده
                                                                                                                                                    • ☰ 14.3. کار با فایل‌ها و پوشه‌ها
                                                                                                                                                      • ☰ 14.4. خودکارسازی پردازش متن
                                                                                                                                                        • ☰ 14.5. زمان‌بندی اجرای اسکریپت‌ها
                                                                                                                                                          • ☰ 14.6. مثال‌های کاربردی خودکارسازی
                                                                                                                                                          • ☰ 15. فصل ۱۵: توسعهٔ وب با پایتون
                                                                                                                                                            • ☰ 15.1. وب چگونه کار می‌کند؟ (نمای کلی)
                                                                                                                                                              • ☰ 15.2. آشنایی با Flask
                                                                                                                                                                • ☰ 15.3. ساخت یک وب‌سرور ساده
                                                                                                                                                                  • ☰ 15.4. مسیرها و قالب‌ها (Templates)
                                                                                                                                                                    • ☰ 15.5. پردازش ورودی کاربر (فرم‌ها)
                                                                                                                                                                      • ☰ 15.6. API های بسیار ساده
                                                                                                                                                                      • ☰ 16. فصل ۱۶: علم داده با پایتون
                                                                                                                                                                        • ☰ 16.1. علم داده چیست؟
                                                                                                                                                                          • ☰ 16.2. کار با داده‌ها
                                                                                                                                                                            • ☰ 16.3. آشنایی با NumPy
                                                                                                                                                                              • ☰ 16.4. آشنایی با pandas
                                                                                                                                                                                • ☰ 16.5. مصورسازی داده با matplotlib
                                                                                                                                                                                  • ☰ 16.6. مثال‌های سادهٔ تحلیل داده
                                                                                                                                                                                  • ☰ 17. فصل ۱۷: پروژه‌های کوچک
                                                                                                                                                                                    • ☰ 17.1. بازی حدس عدد
                                                                                                                                                                                      • ☰ 17.2. ماشین‌حساب ساده
                                                                                                                                                                                        • ☰ 17.3. فهرست کارها (To-Do List)
                                                                                                                                                                                          • ☰ 17.4. تولیدکنندهٔ رمز عبور
                                                                                                                                                                                            • ☰ 17.5. برنامهٔ آزمون (Quiz)
                                                                                                                                                                                              • ☰ 17.6. پروژهٔ کوچک وب یا داده
                                                                                                                                                                                              • ☰ 18. فصل ۱۸: گام‌های بعدی
                                                                                                                                                                                                • ☰ 18.1. چگونه پایتون را تمرین کنیم
                                                                                                                                                                                                  • ☰ 18.2. نوشتن کد تمیز و خوانا
                                                                                                                                                                                                    • ☰ 18.3. انتخاب یک حوزهٔ تخصصی
                                                                                                                                                                                                      • ☰ 18.3.1. توسعهٔ وب
                                                                                                                                                                                                        • ☰ 18.3.2. علم داده
                                                                                                                                                                                                          • ☰ 18.3.3. خودکارسازی
                                                                                                                                                                                                            • ☰ 18.3.4. توسعهٔ نرم‌افزار
                                                                                                                                                                                                            • ☰ 18.4. منابع یادگیری و انجمن‌ها
                                                                                                                                                                                                            • ☰ 19. پیوست
                                                                                                                                                                                                              • ☰ 19.1. برگهٔ تقلب دستور زبان پایتون
                                                                                                                                                                                                                • ☰ 19.2. خطاهای رایج و راه‌حل‌ها
                                                                                                                                                                                                                  • ☰ 19.3. واژه‌نامهٔ اصطلاحات