מאגר ידע מבוסס AI מאפשר לשאול שאלות על נהלים, חוזים, מדיניות ודוחות ולקבל תשובה שמבוססת על מסמכי המחלקה. אבל המילה “פרטי” אינה תכונה של מוצר אחד. היא תוצאה של ארכיטקטורה: היכן נשמרים הקבצים, מי יוצר embeddings, היכן נמצא המסד הווקטורי, איזה מודל מנסח את התשובה ואילו חיבורים יוצאים לרשת.
אפשר להתקין AnythingLLM על מחשב או שרת פרטי, אך אם מחברים אליו מודל ענן או ספק embeddings חיצוני, חלקים מהמידע עשויים להישלח לאותו ספק. לכן חייבים לבחון את כל שרשרת העיבוד ולא רק את מקום התקנת הממשק.
למי זה מתאים?
מאגר ידע כזה יכול להתאים למחלקות כספים שרוצות:
- לאגד נהלי סגירת חודש ובקרות.
- לאתר סעיפי תשלום, חידוש והצמדה בחוזים.
- לסייע ב־onboarding של עובדים.
- לתשאל מדיניות נסיעות, רכש והחזרי הוצאות.
- לעבוד עם אוסף דוחות ומסמכי הנהלה.
- לצמצם תלות בזיכרון של עובד מסוים.
הוא אינו מתאים כתחליף ל־ERP או כמקור אמת לסכומים מתעדכנים, אלא אם נבנה חיבור מבוקר למערכת המקור.
איך מאגר ידע מבוסס RAG עובד?
במערכת Retrieval-Augmented Generation התהליך כולל כמה שכבות:
- אחסון המסמכים: PDF, Word, Excel או טקסט נשמרים במחשב, בשרת או בענן.
- חילוץ וחלוקה: המערכת קוראת את המסמך ומחלקת אותו למקטעים.
- Embeddings: מודל ממיר כל מקטע לייצוג מספרי שמאפשר חיפוש לפי משמעות.
- מסד וקטורי: הייצוגים נשמרים במסד לצורך שליפה.
- שליפה: בשאלה חדשה המערכת מאתרת את המקטעים הרלוונטיים.
- מודל שפה: השאלה והמקטעים שנשלפו נשלחים למודל שמנסח תשובה.
כל שכבה יכולה להיות מקומית או חיצונית. מסמכים מקומיים עם embeddings בענן אינם תצורה מקומית מלאה. גם כאשר המסד הווקטורי מקומי, מקטעים שנשלפו עלולים להישלח למודל שפה בענן.
שלוש תצורות נפוצות
תצורה מקומית מלאה
- קבצים על מחשב או שרת ארגוני.
- מודל embeddings מקומי.
- מסד וקטורי מקומי.
- מודל שפה מקומי.
- telemetry כבוי וחיבורי רשת מוגבלים.
זו התצורה בעלת השליטה הגבוהה ביותר, אך היא דורשת חומרה, תחזוקה, עדכוני אבטחה וניהול משתמשים. מודל מקומי קטן עשוי גם להפיק תוצאות חלשות יותר בתרחישים מורכבים.
תצורה היברידית
הקבצים והמסד נשארים בארגון, אבל המקטעים הרלוונטיים נשלחים למודל ענן. תצורה זו יכולה לשפר ביצועים ולהפחית דרישות חומרה, אך היא מחייבת חוזה מתאים, בחינת שמירת נתונים, הרשאות ומדיניות לגבי התוכן שנשלח.
תצורת ענן
האחסון, השליפה והמודל מנוהלים כשירות. היא פשוטה יותר לתפעול, אך דורשת בדיקה מעמיקה של ספקים, אזורי עיבוד, הרשאות, מחיקה, לוגים ו־sub-processors.
דוגמה מלאה: מאגר נהלי סגירת חודש
שלב 1: הגדירו גבולות
התחילו רק בנהלים מאושרים ולא בקבצים המכילים תנועות, שכר או פרטי לקוחות. הגדירו שהמאגר מיועד להסביר תהליך ולא לבצע רישומים.
שלב 2: נקו וארגנו את המקורות
לכל מסמך הוסיפו:
- בעלים מקצועי.
- תאריך עדכון.
- חברה וישות רלוונטית.
- סוג תהליך.
- סטטוס: טיוטה או מאושר.
הסירו גרסאות כפולות. אם המערכת רואה גם נוהל ישן וגם נוהל חדש, היא עלולה לשלוף את שניהם.
שלב 3: הגדירו שאלות בדיקה
לדוגמה:
- מי מאשר פקודת יומן חריגה?
- מה מועד השלמת התאמת הבנקים?
- אילו מסמכים נדרשים לסגירת ספקים?
- מהו מסלול ההסלמה כאשר חסר אישור?
צרו תשובות מאושרות וקישורים לעמודים הרלוונטיים. זו ערכת ההערכה של המאגר.
שלב 4: הגדירו תשובה בטוחה
הנחו את המערכת:
- לענות רק מתוך מקורות מאושרים.
- לציין מקור ועמוד.
- לומר “לא נמצא במקורות” כאשר המידע חסר.
- לא להמציא כלל או תאריך.
- להציג סתירה כאשר קיימות שתי גרסאות.
שלב 5: פיילוט והרשאות
פתחו את המאגר לקבוצה קטנה. בדקו דיוק, איכות הציטוטים, זמן תגובה ושאלות שלא נענו. רק לאחר מכן הגדירו קבוצות גישה לפי תפקיד.
שימוש ב־AnythingLLM
AnythingLLM הוא פרויקט open-source ו־local-first שניתן להריץ ב־Desktop, Docker או שרת עצמאי. לפי מסמכי הפרויקט, Mintplex אינה מארחת את הקבצים והצ׳אטים של התקנה עצמאית. קיימת telemetry אופציונלית שניתן לכבות.
עם זאת, הפרויקט מדגיש שחיבורים חיצוניים ל־LLM, embeddings, כלים או מסד וקטורי יוצרים תעבורה אל הספקים שנבחרו. מערכת air-gapped אפשרית רק כאשר כל הספקים המקומיים והנכסים הנדרשים זמינים בתוך הסביבה.
סיכונים ובקרות
- הרשאות רחבות מדי: מאגר אחד לכל המחלקה עלול לחשוף מסמכים שלא כל עובד רשאי לראות.
- Prompt injection במסמכים: מסמך שהועלה עלול לכלול הוראות זדוניות או מטעות.
- גרסאות סותרות: יש להציג רק מסמכים מאושרים או לסמן בבירור תוקף.
- ציטוט שאינו תומך בתשובה: משתמש צריך לפתוח ולבדוק את המקור.
- הדלפה דרך ספק חיצוני: יש למפות כל קריאת API.
- אבטחת השרת: התקנה עצמית אינה מאובטחת אוטומטית; נדרשים TLS, גיבוי, patching ובקרת גישה.
- מחיקה: צריך להבין כיצד מוחקים מסמך, embeddings, cache ולוגים.
חלופות
- NotebookLM לעבודה מוגבלת עם אוסף מקורות וציטוטים.
- יכולות חיפוש ארגוניות בתוך Microsoft 365 או Google Workspace.
- מאגר RAG מותאם אישית בענן הארגוני.
- מערכת ניהול מסמכים עם חיפוש סמנטי מובנה.
לבחירת כלי ראו ChatGPT, Claude או Gemini לאנשי כספים. לפני בדיקה עם מסמכים רגישים מומלץ להתחיל בנתונים סינתטיים.
שאלות נפוצות
האם AnythingLLM מבטיח שהמידע לא יוצא מהמחשב?
לא בכל תצורה. התקנה עצמית שומרת את נתוני המערכת אצל המשתמש, אך חיבור למודל, embeddings או מסד חיצוני שולח מידע לספק שהוגדר.
האם מאגר כזה יכול לענות על נתוני תזרים עדכניים?
לא מקבצים סטטיים בלבד. לשם כך נדרש חיבור למקור מידע עדכני, הרשאות, בקרות ודרך לוודא את מועד הרענון.
האם מודל מקומי תמיד בטוח יותר?
הוא עשוי לצמצם העברת מידע החוצה, אך עדיין צריך לאבטח את המחשב, המשתמשים, הגיבויים והרשת. “מקומי” אינו תחליף לתוכנית אבטחה.
מקורות ותאריך אימות
המידע נבדק ב־4 באוגוסט 2026:
- AnythingLLM — GitHub repository and telemetry notes
- AnythingLLM — Self-hosted privacy and terms
- Google — Learn about NotebookLM
רוצים למפות מאגר ידע בצורה אחראית?
בסדנאות AI Finance אנחנו ממפים מקורות, הרשאות ושאלות בדיקה לפני שבונים פיילוט על מסמכי המחלקה. לפרטים על סדנאות AI למחלקות כספים.