Запрет вывода всплывающего окошка за указанные рамки

Аммм... Ну в самом плагине, в JS файле, есть указание позиции, в какую сторону будет всплывать окошко с контентом.
"openOnLeft", "openOnTop"

Поменяйте позицию в JS файле на "openOnLeft", и контент будет всплывать влево.

По поводу вылезания за контент, есть свойство CSS "overflow: hidden;"

Пробуйте.

Про css я к тому что вы просили чтобы окно не вылазило за границы контента. Но хотя скорее всего на него не подействует это свойство.

Позицию меняли в js файле? Помогло?

Логика такова: расчитываем ширину окна браузера, расчитываем ширину выводимого блока, далее смотрим координаты элемента на который навели курсор, прописываем условие: если помещается то выводим слева, если нет, то справа.
Код писать не буду, изучайте синтаксис js.

Вот демо, написал за пять минут.

graver, добрый день.

Для начала попробуйте прикрутить этот плагин, возможно он из коробки поодерживает подобный функционал, в документации там упоминается свойство autoAdjust, которое по умолчанию true - возможно оно и отвечает за решение подобной задачи, не тестил - точно сказать не могу.
Решение от ScreN - имеет место быть, но оно не универсально, если вам подобный функционал понадобится на паре страниц - то покатит, если используется везде на страницах сайта, то лучше реализовать средствами плагина, чтобы инициализация плагина везде была идентична.

Спсибо.