מקור הפסוק הוא בתהלים (עח, לט). המזמור עוסק בסיפור יציאת מצרים, הנסים הגדולים שעשה הקב"ה לעם ישראל וכפיות הטובה שלהם. על אף זאת ה' ממשיך ברחמיו לעשות נסים לעמו, שהרי הוא רחום, ומידת הרחמים היא אחת משלוש עשרה מידותיו.
קיימות שתי גרסאות של "והוא רחום": "והוא רחום הארוך" – הסליחה שאומרים בשני וחמישי בחול אחר חזרת שליח הציבור בשחרית; "והוא רחום הקצר" – פסקה קצרה שאומרים לפני תחילת תפילת ערבית.
והוא רחום הארוך
בסידור עבודת ישראלמסידור כתב יד שנכתב בשנת קס"ז על ידי תלמידו של ר' מנחם ש"ץ בטרויש כתוב:
והוא רחום וכו' יסדוהו אנשי שם שהוגלו מירושלם בחורבן בית שני, שהגלה אותם אספסיינוס שחיק עצמות, וצווה לעשות מהם ג' אניות והטיבם בהם בלא רב חובל והגרישם בים, ועמד עליהם הרוח והשליכם ליבשה בכל פלך ופלך. ספינה אחת נתישבה ללפנדא ואחת במדינת ארלאואחת במדינת בורדוואותם שנתישבו בבורדייל קבלם השר בסבר פנים יפות, ונתן להם שדות וכרמים, והיו שם ימים רבים בשלווה עד שמת אותו השר. וקם עליהם מלך חדש, ומה שתקן להם הראשון סתר השני וחידש עליהם גזרות. והיו שם ב' אחים, יוסף ובנימין, ועמהם שמואל בן דודם. והם היו מאנשי ירושלם ויצעקו אל ה' בצר להם וישבו בצומות ובתעניות ולבשו שקים על בשרם ויסדו והוא רחום בין שלשתם. יוסף יסד והוא רחום עד מלך חנון ורחום אתה, ובנימין יסד מאנא עד אין כמוך, ושמואל יסד כל השאר עד ה' אחד. ואח"כ הושיעם האל וגאלן, והמית את הצר במיתה משונה וקשה, ושלחו והודיעו כל המאורע בכל מקומות ישראל, וגם התפילה כתבו והודיעו להם, וקבלו עליהם לאמרה בשני וחמישי, וכן נהגו בכל ישראל כנראה כי שלושה זקנים תקנו והוא רחום, כל אחד חלק, ובכל חלק י"ח אזכרות כנגד שמונה עשרה, ע"כ אומרים אותו בעמידה ובלחש.
זו הסיבה שנמצא ב"והוא רחום" מאמרים רבים כפולים ומשולשים. נוסח התפילה נוסד על פסוקים מהמקרא ועשו בהם שינויים לפי צורך העניין. בנוסח ספרד נשמטו מאמרים הצועקים חמס על הגויים, אולי מפני יראת הצנזור.
והוא רחום הקצר
מדוע תיקנו לומר פסוק זה לפני תפילת ערבית?
טעם אחד מובא בשם ר"א הגדול, הוא הרוקח, והוא: מאחר שבשחרית ובמנחה יש קרבנות תמידין שהן מכפרין, אבל ערבית שאין בה קרבן לכפר, תיקנו לומר "והוא רחום יכפר". האמירה נועדה להשלים את החסר עקב הפגיעה בקדושת המקום, המקדש, ובהיעדר הקורבנות.
עם זאת, לדעת רש"י אמירת "והוא רחום" בערבית היא חלק מהליך התשובה שעובר אדם עם סיומו של היום והם קשורים לקדושת האדם.
מפי ר' אליעזר הגדול דאמר שכן נהגו העם החוטאים ללקות בשעת מעריב ואחר שקיבל הדין ושלקה אומר שליח ציבור והוא רחום, והם המלקים אומרים ג' פעמים והוא רחום והם ארבעים חסר אחת, שהוא סופג את הארבעים. ועוד, שבכל יום אדם חוטא, ולערב צריך לומר והוא רחום יכפר עוון (סידור רש"י סימן תכה).
טעם נוסף (על פי מדרש רות), מדגיש אלמנטים רוחניים, הקשורים לזמן:
שלושה מלאכי חבלה מושלים בגיהינום, והם: משחית אף וחמה, והמשחיתים האלה שולטים כל ימי השבוע מזמן תפילת ערבית, ולכך אומרים: והוא רחום יכפר עון ולא ישחית, כנגד המלאך משחית, והרבה להשיב אפו כנגד המלאך אף, ולא יעיר כל חמתו כנגד המלאך חימה (טור אורח חיים, מנהגי ישרון).
מדוע אין אומרים "והוא רחום" בשבת?
הרב פירון טוען שהמשמעות העמוקה של שלושת הטעמים הללו היא כנגד שלוש הקדושות: האדם, המקום והזמן. שבת היא מעין עולם הבא, ובחינת העולם, המקום, שונה לחלוטין. בשבת אדם קובע את מקומו וכל כללי ההתנהלות נלמדים מהמשכן. נוסף על כך, שבת מהווה ביטוי עילאי לקדושת הזמן ולכן אין צורך להקדים פסוק זה לתפילת ערבית.
עוד אומרים "והוא רחום":
1.בלוויה, בעת כיסוי הקבר אומרים שלוש פעמים את הפסוק: "והוא רחום יכפר עוון...", כי בעצם הקבורה יש משום אמצעי לכפרת עוונות ולמירוק חטאי האדם;
2.בעת הלקאת החוזר בתשובה. מלקות הן עונש שנקבע על פי ההלכה. במקרה של עברה במזיד על מצוות לא תעשה בעל העברה מקבל שלושים ותשע מלקות על כל לאו שעבר. בשעת ההכאה היה גדול הדיינים קורא לפניו פסוקים מפרקי התוכחה שבפרשת כי תבוא. כן קוראים את הפסוק "והוא רחום יכפר עוון..." שלוש פעמים, כלומר 39 מילים כדי להימנע מהמתת הלוקה.