כאשר ברח דוד משאול אל שמואל הנביא לנָיוֹת ברמה, הוא עסק שם עם שמואל בלימוד תורה. ניות ברמה: ברמה - היא ירושלים, ניות - בנוֹיוֹ של עולם שהוא בית המקדש, ונגלה לדוד מקום המקדש ע''י שמואל.

לפי הרד''ק: קבלה היתה בידם כי ציון ראש מממלכת ישראל, ולא ילכוד אותה אלא מי שיהיה מלך על כל ישראל, דבר שלא קרה בימי שאול אך קרה בימי דוד אשר נמשח למלך על כל ישראל. כעת לאחר שהתאחדו כל ישראל תחת שלטון דוד, היה זה צעדו הראשון של דוד כמלך ישראל: לכבוש את עיר הבירה ירושלים מידי היבוסי. ירושלים היתה שייכת ליהודה ובנימין, והיה צורך לכבוש את חלק בנימין שהיה עדיין בידי היבוסי, מה גם שדוד יכל היה לעשות זאת שהרי היה חתן המלך שאול, ושאול היה צאצא של בנימין. דוד הולך עם כל אנשיו וכל ישראל אל ירושלים ללכוד את מצודת ציון.

ירושלים נשארת למעשה עיר נוכריה עד ימי דוד, ודוד המלך בגבורתו כובש את מצודת ציון (היא יבוס) את המבצר החזק, ולכבודו נקרא המבצר "עיר דוד". לאחר מכן השתדל דוד המלך ללכוד גם את העיר שהיתה חזקה מאוד. "וַיִּלְכֹּד דָּוִד אֵת מְצֻדַת צִיּוֹן הִיא עִיר דָּוִד... וַיֵּשֶׁב דָּוִד בַּמְּצֻדָה וַיִּקְרָא לָהּ עִיר דָּוִד, וַיִּבֶן דָּוִד סָבִיב מִן הַמִּלּוֹא וָבָיְתָה". יש המפרשים שדוד עשה חפירה גדולה סביב עיר ציון ומילא אותה במים, כדי שלא יוכלו לגשת לעיר בקלות, ומן המילוא כלפי פנים בנה חומה נשגבה ומבוצרת, כדרך שעושים כדי לבצר את הערים מפני האוייבים. ועל ידי בניין זה סביב המילוא, בנה דוד את יסודות בית המקדש שעליהם בנה שלמה מאוחר יותר את בית המקדש, ולכן לא נחרבו יסודות בית המקדש.

כיבוש ירושלים היה מאוד קשה. דוד אמר שכל מי שיעלה ראשונה ויכה את העיר יהיה לראש הצבא, ויואב אשר רצה להחזיר את כבודו בעיני דוד, התאמץ בכל העוז לכבוש את המצודה ולהסיר ממנה את העיוורים והפיסחים והוא התמנה לראש. ואמרו במדרש: שיואב הביא ברוש אחד רענן וקבע אותו בצד החומה, ונתלה בברוש ודילג על החומה. ומה עשה הקב''ה? קיצר את החומה ועלה אחריו דוד. ויש המפרשים: שהיו צינורות מים המובילים מים לעיר, וכוונת דוד היתה שכל מי שיתקרב לעיר ויפסיק את זרם המים, בזה תתגלה גבורתו והוא יהיה לראש ושר, וזה מה שעשה יואב.

מובא במדרש: שאברהם כרת ברית לאבימלך כדי שלא ירשו בניו את עיר היבוסי, ונתן לו שבע כבשות והניחן על פתח ירושלים. שאמרו היבוסים לאברהם: כרות עמנו ברית שאין זרעך יורש את עיר היבוסי, ואנו מוכרים לך את מערת המכפלה, ועשה כן. וכאשר מתו הכבשות, העמידו היבוסים על פתח ירושלים שבע כבשות של ברזל בצורת צלמים, לאות הברית שכרת אברהם עם אבימלך, והעמידום ברחוב העיר וכתבו עליהם את ברית השבועה, וכשבאו ישראל לארץ ישראל לא יכלו להיכנס לשם מפני השבועה. שנאמר ביהושע ט''ו, ס''ג: "וְאֶת הַיְבוּסִי יוֹשְׁבֵי יְרוּשָׁלַם לֹא יָכְלוּ בְנֵי יְהוּדָה לְהוֹרִישָׁם". הפגם שבעצם כריתת הברית בין אברהם ואבימלך איים על דוד. מובא בתנא דבי אליהו רבה ז': כשכרת אברהם אבינו ברית עם אבימלך, נתקבצו מלאכי השרת לפני הקב''ה ואמרו: למה יכרות אברהם ברית עם עכו''ם, אדם יחיד שבחרת משבעים אומות ולשונות?

וכאשר מַלָך דוד רצה להיכנס לשם ולא הניחוהו, שנאמר: "וַיֵּלֶךְ הַמֶּלֶךְ וַאֲנָשָׁיו יְרוּשָׁלַם אֶל הַיְבֻסִי יוֹשֵׁב הָאָרֶץ, וַיֹּאמֶר לְדָוִד לֵאמֹר: לֹא תָבוֹא הֵנָּה, כִּי אִם הֱסִירְךָ הַעִוְרִים וְהַפִּסְחִים" (שמואל ב', ה', ו'). אמרו לו לדוד המלך: אין אתה יכול להיכנס עד שתסיר את הצלמים הללו שכתובה עליהם ברית השבועה. אמר דוד לאנשיו: כל מי שיעלה בראשונה ויסיר את הצלמים יהיה לראש. ועלה יואב שר הצבא גיבור החיל והסירם והיה לראש. ואחר כך קנה דוד המלך את עיר היבוסי לישראל בככר זהב בכתב לאחוזת עולם, בשש מאות שקלי זהב.

ועוד אמרו: כי שני צלמים היו בראש המגדל הנקרא צינור, והיה האחד עיוור על שם יצחק, והאחד פיסח על שם יעקב, ובפיהם השבועה שנשבע אברהם לאבימלך, שנאמר: "וַיֹּאמֶר אֲבִימֶלֶךְ וּפִיכֹל שַׂר צְבָאוֹ אֶל אַבְרָהָם לֵאמֹר: אֱלֹקִים עִמְּךָ בְּכֹל אֲשֶׁר אַתָּה עֹשֶׂה. וְעַתָּה הִשָּׁבְעָה לִּי בֵאלֹקִים הֵנָּה אִם תִּשְׁקֹר לִי וּלְנִינִי וּלְנֶכְדִּי... וַיֹּאמֶר אַבְרָהָם: אָנֹכִי אִשָּׁבֵעַ" (בראשית כ''א, כ''ב-כ''ד). לפיכך לא כבשו ישראל את יבוס כאשר כבשו את ירושלים, כיון שנכדו של אבימלך עדיין היה חי. ובימי דוד המלך כבר מת נכד אבימלך ובטלה השבועה.