Hub documentation
Atlas التضمين
Atlas التضمين
Embedding Atlas هو أداة تفاعلية للتمثيل البصري لاستكشاف فضاءات التضمين الكبيرة. تتيح لك هذه الأداة عرض التضمينات وتمثيلها بصريًا، وتصفيتها عبرًا، والبحث فيها جنبًا إلى جنب مع البيانات الوصفية المرتبطة بها، مما يساعدك على فهم الأنماط والعلاقات في البيانات عالية الأبعاد. يتم تنفيذ جميع العمليات الحسابية على جهازك، مما يضمن بقاء بياناتك خاصة وآمنة.
إليك مثالًا على أطلس لمجموعة بيانات MegaScience المستضافة كفضاء ثابت:
الميزات الرئيسية
- استكشاف تفاعلي: تنقّل عبر ملايين التضمينات (embeddings) عبر تصور بصري سلس ومتجاوب
- الحساب القائم على المتصفح: احسب التضمينات والإسقاطات محليًا دون إرسال البيانات إلى خوادم خارجية
- التصفية المتقاطعة: ربط البيانات وتصفيتها عبر أعمدة بيانات وصفية متعددة
- إمكانيات البحث: العثور على نقاط بيانات مشابهة لاستعلام معيّن أو عنصر موجود
- خيارات تكامل متعددة: استخدمه عبر سطر الأوامر، أو أدوات Jupyter، أو الواجهة الويب
المتطلبات
أولاً، قم بتثبيت Embedding Atlas:
pip install embedding-atlas
إذا كنت تخطط لتحميل مجموعات بيانات خاصة من Hugging Face Hub، فستحتاج أيضًا إلى تسجيل الدخول بحساب Hugging Face الخاص بك:
hf auth login
تحميل مجموعات البيانات من المستودع
Embedding Atlas provides seamless integration with the Hugging Face Hub, allowing you to visualize embeddings from any dataset directly.
استخدام سطر الأوامر
أبسط طريقة لعرض مجموعة بيانات من Hugging Face هي من خلال واجهة سطر الأوامر. جرّب ذلك مع مجموعة بيانات IMDB:
# Load the IMDB dataset from the Hub
embedding-atlas stanfordnlp/imdb
# Specify the text column for embedding computation
embedding-atlas stanfordnlp/imdb --text "text"
# Load only a sample for faster exploration
embedding-atlas stanfordnlp/imdb --text "text" --sample 5000للمجموعات البيانات الخاصة بك، استخدم النمط نفسه:
# Load your dataset from the Hub
embedding-atlas username/dataset-name
# Load multiple splits
embedding-atlas username/dataset-name --split train --split test
# Specify custom text column
embedding-atlas username/dataset-name --text "content"باستخدام Python و Jupyter
يمكنك أيضًا استخدام Embedding Atlas في كتيبات Jupyter للاستكشاف التفاعلي:
from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd
# Load the IMDB dataset from Hugging Face Hub
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
# Convert to pandas DataFrame
df = dataset.to_pandas()
# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widgetلمجموعات البيانات الخاصة بك:
from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd
# Load your dataset from the Hub
dataset = load_dataset("username/dataset-name", split="train")
df = dataset.to_pandas()
# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widgetالعمل مع التضمينات المحسوبة مسبقًا
إذا كانت لديك مجموعات بيانات تضم تمثيلات محسوبة مسبقًا، يمكنك تحميلها مباشرة:
# Load dataset with pre-computed coordinates
embedding-atlas username/dataset-name \
--x "embedding_x" \
--y "embedding_y"
# Load with pre-computed nearest neighbors
embedding-atlas username/dataset-name \
--neighbors "neighbors_column"تخصيص التضمينات
يستخدم Atlas للتضمين SentenceTransformers افتراضياً، لكنه يدعم نماذج تضمين مخصصة:
# Use a specific embedding model
embedding-atlas stanfordnlp/imdb \
--text "text" \
--model "sentence-transformers/all-MiniLM-L6-v2"
# For models requiring remote code execution
embedding-atlas username/dataset-name \
--model "custom/model" \
--trust-remote-codeمعلمات إسقاط UMAP
قم بضبط تقليل الأبعاد (dimensionality reduction) ليناسب حالتك الخاصة:
embedding-atlas stanfordnlp/imdb \
--text "text" \
--umap-n-neighbors 30 \
--umap-min-dist 0.1 \
--umap-metric "cosine"حالات الاستخدام
استكشاف مجموعات بيانات النصوص
تصوّر واستكشف مجموعات النصوص لتحديد التجمّعات والقيم الشاذة والأنماط:
from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd
# Load a text classification dataset
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
df = dataset.to_pandas()
# Visualize with metadata
widget = EmbeddingAtlasWidget(df)
widget