6-4
Chapter 6: RAID configuration
3. The utility main window appears. Use the arrow keys to select an option from
the Management Menu and then press <Enter>. Refer to the Management
Menu descriptions on the next page.
At the bottom of the screen is the legend box. The keys on the legend box
allow you to navigate through the setup menu options or execute commands.
The keys on the legend box vary according to the menu level.
6.2
LSI Software RAID Configuration Utility
The LSI MegaRAID software RAID configuration utility allows you to create RAID 0,
RAID 1, or RAID 10 set(s) from SATA hard disk drives connected to the SATA
connectors supported by the motherboard southbridge chip.
To enter the LSI MegaRAID software RAID configuration utility:
1. Turn on the system after installing all the SATA hard disk drives.
2. During POST, the LSI MegaRAID software RAID configuration utility
automatically detects the installed SATA hard disk drives and displays any
existing RAID set(s). Press <Ctrl> + <M> to enter the utility.
• The LSI MegaRAID software RAID configuration utility automatically
configures to RAID 1 when the SATA to RAID Mode is enabled.
• The RAID setup screens shown in this section are for reference only and
may not exactly match the items on your screen due to the controller
version difference.
• When you create RAID sets with the LSI MegaRAID software RAID
configuration utility, the boot priority of the SATA optical drive has to be
manually adjusted. Otherwise, the system will not boot from the connected
SATA ODD.
LSI Software RAID Configuration Utility Ver C.05 Sep 17, 2010
BIOS Version A.10.09231523R
Use Cursor Keys to Navigate Between Items And Press Enter To Select An Option
Management Menu
Configure
Initialize
Objects
Rebuild
Check Consistency
Configure VD(s)
LSI MegaRAID Software RAID BIOS Version A.10 09231523R
LSI SATA RAID Found at PCI Bus No:00 Dev No:1F
Device present at Port 0 ST3160812AS 152114MB
Device present at Port 1 ST3160812AS 152114MB
Device present at Port 2 ST3160812AS 152114MB
Device present at Port 3 ST3160812AS 152114MB
Press Ctrl-M or Enter to run LSI Software RAID Setup Utility.
8
LSI Software RAID Configuration Utility
3.
Select all the drives required for the RAID set then press <F10> to configure the array
setting.
4.
Press <Space> to select the configurable array.
2.
The ARRAY SELECTION MENU displays the available drives connected to the SATA
ports. Use the up/down arrow keys to select the drives you want to include in the RAID
set then press <Space>. When selected, the drive indicator changes from READY
to
ONLIN A[X]-[Y], where X is the array number, and Y is the drive number.
•
The information of the selected hard disk drive displays at the bottom of the screen.
•
You need at least two identical hard disk drives when creating a RAID 1 set.
•
You need at least four identical hard disk drives when creating a RAID 10 set.
SPACE-Sel,ENTER-EndArray,F10-Configure,F2-Drive Info,F3-Virtual Drives,F4-HSP
LSI Software RAID Configuration Utility Ver C.05 Oct 26,2011
BIOS Version A.11.02090932R
Port # 2 DISK 74.74GB HDS728080PLA380
05.01C05
Configure
Initialize
Objects
Rebuild
Check Consistency
Management Menu
Easy Configuration — ARRAY SELECTION MENU
ONLIN A00-00
ONLIN A00-01
READY
READY
0
1
2
3
PORT #
Cursor Keys, SPACE-(De)Select F2-Chidinfo F3-SlotInfo F10-Configure Esc-Quit
LSI Software RAID Configuration Utility Ver C.05 Oct 26,2011
BIOS Version A.11.02090932R
Configure
Initialize
Objects
Rebuild
Check Consistency
Management Menu
Easy Configuration — ARRAY SELECTION MENU
ONLIN A00-00
ONLIN A00-01
READY
READY
0
1
2
3
PORT #
Select Configurable Array(s)
A-0
SPAN-1
Эта статья объясняет, как использовать программу администрирования контроллера RAID LSI.
Чтение состояния аппаратно-основанного RAID
Для чтения состояния контроллера RAID LSI необходимо установить командную строку утилиты LSI megacli.
Вы можете получить статус RAID с помощью следующей команды (показать все логические устройства на всех контроллерах):
megacli -LDInfo -Lall -AallПример RAID 1:
Адаптер 0 -- Информация о виртуальном диске:
Виртуальный диск: 0 (ID Цели: 0)
Имя:
Уровень RAID: Основной-1, Вторичный-0, Квалификатор Уровня RAID-0
Размер: 697.560 ГБ
Состояние: Оптимальный
Размер полосы: 64 КБ
Количество дисков: 2
Глубина Span: 1
Стандартная политика кэша: WriteBack, ReadAhead, Direct, Кэш записи OK при плохой BBU
Текущая политика кэша: WriteBack, ReadAhead, Direct, Кэш записи OK при плохой BBU
Политика доступа: Чтение/Запись
Политика кэша диска: Включено
Тип шифрования: НетВы можете получить статус дисков с помощью следующей команды:
Поскольку эта команда также генерирует много бесполезной информации, рекомендуется фильтровать вывод, например, используя:
megacli -PDList -aAll | egrep "Enclosure Device ID:|Slot Number:|Inquiry Data:|Error Count:|state"Настройка аппаратного RAID
Прежде чем начать настройку массива, вам может потребоваться удалить предыдущую конфигурацию. Чтобы просто удалить логический диск, вы можете использовать CfgLdDel:
megacli -CfgLdDel -Lall -aAllЧтобы удалить все (включая, например, поведение кэша), используйте Configuration Clear:
Используемые диски должны находиться в состоянии Unconfigured (good) (см. выше). Если они находятся в состоянии Unconfigured (bad), вы можете настроить их, используя:
megacli -PDMakeGood -PhysDrv[<ID Устройства#>:<Слот#>] -a0Синтаксис:
megacli -CfgLdAdd -r<RAID#> [E0:S0,E1:S1,...] [WT|WB] [NORA|RA] [Direct|Cached] -sz<Размер> [-sz<Размер>]RAID 0, 1 или 5
Для “r1” введите соответственно “r0” или “r5” (Жесткие диски на Устройстве 252, Порт 0 и 1, WriteBack включен, ReadCache на адаптивном режиме, Кэш также включен без BBU):
megacli -CfgLdAdd -r1 [252:0,252:1] WB RA Direct CachedBadBBU -a0Настройте RAID 0, 1 или 5, как указано выше, с размером 20 ГБ:
megacli -CfgLdAdd -r1 [252:0,252:1] WB RA Direct CachedBadBBU -sz10GB -a0RAID 10
megacli -CfgSpanAdd -r10 -Array0[252:0,252:1] -Array1[252:2,252:3] WB RA Direct CachedBadBBU -a0Вот перевод:
Расширение существующего массива
После установки дополнительного диска желаемый объем переконфигурируется соответственно. Вот пример добавления диска к RAID 5:
megacli -LDRecon -Start -r5 -Add -PhysDrv[252:3] -L0 -a0Использование дисков как JBOD
Контроллер LSI MegaRAID 9260 не поддерживает режим JBOD, который обеспечивает прямой пропуск дисков. Однако можно настроить каждый диск как RAID 0:
megacli -CfgEachDskRaid0 WB RA Direct CachedBadBBU -a0Настройка диска как горячего резерва
Выберите диск в состоянии unconfigured good из меню “Диски” и нажмите Свойства. Здесь можно настроить диск либо как dedicated hot spare для массива, либо как global hot spare для всех массивов. Это также можно сделать с помощью инструмента megacli.
- Как глобальный горячий резерв:
megacli -PDHSP -Set -PhysDrv[252:2] -a0 - Как dedicated hot spare для Array0:
megacli -PDHSP -Set -Dedicated -Array0 -PhysDrv[252:2] -a0 - Удалить статус горячего резерва:
megacli -PDHSP -Rmv -PhysDrv[252:2] -a0
Создание загрузочного массива
Если массив не загружается, вы можете запросить и создать его на логическом устройстве:
megacli -AdpBootDrive -get -a0
Адаптер 0: Ни виртуальный диск, ни физический диск не настроены как загрузочный диск.megacli -AdpBootDrive -set -L0 -a0
Загрузочный виртуальный диск установлен на #0 (ID цели #0) на адаптере 0Резервное копирование и восстановление конфигурации контроллера
Для сохранения конфигурации контроллера и всех массивов:
megacli -CfgSave -f raidcfg.txt -a0Для восстановления конфигурации контроллера:
megacli -CfgRestore -f raidcfg.txt -a0Замена диска в массиве, если восстановление не начнется автоматически
Статус нового диска должен быть Unconfigured (good). Вы можете проверить это с помощью PDList. Если статус диска Unconfigured (bad), сначала вам нужно сделать его доступным, как показано ниже:
megacli -PDList -a0 | grep Firmware
Состояние прошивки: Online, Spun Up
Уровень прошивки устройства: CC45
Состояние прошивки: Online, Spun Up
Уровень прошивки устройства: CC45
Состояние прошивки: Unconfigured(bad), Spun Up
Уровень прошивки устройства: CC45
Состояние прошивки: Online, Spun Up
Уровень прошивки
устройства: CC45megacli -CfgForeign -Scan -a0
Есть 1 внешняя конфигурация на контроллере 0.megacli -CfgForeign -Clear -a0
Внешняя конфигурация 0 очищена на контроллере 0.megacli -PDMakeGood -PhysDrv [245:3] -a0Если диск good, его можно использовать для замены отсутствующего диска. Для этого вам нужно указать массив и позицию, которые будут заменены. Вы можете получить эти номера, например, из megacli -CfgDsply -a0. Если диск отсутствует в массиве, запись Physical Disk: появится, но дальнейшая информация не будет отображаться. В примере четвертый диск первого массива Array0 теперь заменен диском в Enclosure 245 Slot 3 ("PhysDrv[245:3]"):
megacli -PdReplaceMissing -PhysDrv[245:3] -array0 -row4 -a0
Адаптер: 0: Пропущен PD в массиве 0, строка 4 заменена.megacli -PDRbld -Start -PhysDrv[245:3] -a0
Запущен процесс восстановления на устройстве(Encl-245 Slot-3)megacli -PDRbld -ShowProg -PhysDrv [245:3] -aAll
Прогресс восстановления на устройстве в корпусе 245, слот 3 завершен на 1% за 0 минут.Чтение значений SMART диска в RAID
Использование smartmontools позволяет получить прямой доступ к физическому диску через контроллер, например, для первого диска. Сначала вам нужно определить идентификатор устройства с помощью инструмента megacli:
megacli -pdlist -a0| grep 'Device Id'
Идентификатор устройства: 4
Идентификатор устройства: 5Теперь вы можете указать это в качестве опции megaraid, например:
smartctl -d sat+megaraid,4 -a /dev/sdaВ зависимости от операционной системы вам может потребоваться обновить smartmontools или ядро.
Конечно, вот перевод:
Пустая конфигурация RAID после перезагрузки
В редких случаях после перезагрузки сервера конфигурация RAID может быть потеряна, и при создании RAID-массива впервые система может не обнаружить конфигурацию.
Чтобы решить эту проблему, конфигурацию нужно создать дважды.
Пример RAID 1:
- Создать
megacli -CfgLdAdd -r1 [252:0,252:1] WB RA Direct CachedBadBBU -a0 - Удалить (в данном случае все)
megacli -CfgLdDel -Lall -aAll - Создать снова
megacli -CfgLdAdd -r1 [252:0,252:1] WB RA Direct CachedBadBBU -a0
Обновление прошивки
Обновления прошивки от производителя помогают поддерживать актуальность прошивки вашего контроллера, исправляют известные ошибки и добавляют новые функции.
Перед обновлением прошивки всегда рекомендуется создать резервную копию данных и конфигурации RAID, чтобы избежать потенциальной потери данных.
Руководство по созданию резервной копии и восстановлению конфигурации контроллера можно найти выше.
Чтение модели RAID-контроллера / версии прошивки
Чтобы узнать статус контроллера RAID LSI, необходимо установить инструмент командной строки megacli. Он уже предустановлен в Rescue System.
Команда – синтаксис:
megacli -AdpAllInfo -aAllПример вывода:
Versions
================
Product Name : LSI MegaRAID SAS 9260-4i
Serial No: SV52117135
FW Package Build: 12.15.0-0205Выполнение обновления прошивки RAID-контроллера
В зависимости от текущей установленной версии прошивки на контроллере может потребоваться промежуточное обновление (только при версиях прошивки старше чем 12.12.0-0090).
Если версия прошивки старше, чем 12.12.0-0090, пожалуйста, выполните промежуточное обновление до версии прошивки 12.12.0-0090.
Сохраните файл прошивки на вашем сервере и выполните следующую команду для обновления версии прошивки на, в данном примере, 12.12.0-0090. Вам нужно изменить путь к предварительно сохраненному файлу прошивки (.rom файлу) mr12.12.0-0090.rom.
Пожалуйста, обратитесь к файлу readme обновления прошивки для соответствующей команды. В данном примере она выглядит следующим образом:
megacli -adpfwflash -f mr12.12.0-0090.rom -a0Если промежуточное обновление не требуется, вы можете использовать следующую ссылку для поиска на странице поддержки производителя последней доступной версии прошивки для RAID-контроллера.
Документы поддержки производ
ителя и загрузки.
Как и ранее, сохраните файл прошивки на сервере и выполните следующую команду для обновления версии прошивки на, в данном примере, 2108fw. Вам нужно изменить путь к предварительно сохраненному файлу прошивки (.rom файлу) mr2108fw.rom .
Пожалуйста, обратитесь к файлу readme обновления прошивки для соответствующей команды. В данном примере она выглядит следующим образом:
Команда – синтаксис:
megacli -adpfwflash -f mr2108fw.rom -a0Проверка обновления прошивки RAID-контроллера
Наконец, вы можете проверить установленную версию прошивки.
Команда – синтаксис:
megacli -AdpAllInfo -aAllПример вывода:
Versions
================
Product Name : LSI MegaRAID SAS 9260-4i
Serial No: SV52117135
FW Package Build: 12.15.0-0205Заключение
Эта статья демонстрирует различные варианты настройки RAID на вашем сервере с аппаратным контроллером RAID LSI. Сейчас, надеюсь, вы настроили его по своему усмотрению.
The LSI MegaRAID SAS 9341-4i is a high performance 4-port internal RAID controller. The controller supports up to 128 devices and features 8Gb/s SATA and 6Gb/s SAS ports. The controller card has a low profile form factor and requires only a single PCIe slot.
- Start the server and boot into the BIOS
- Enter the BIOS Configuration Utility
- Select Configure Advanced Settings from the System Options menu
- Select Storage Controller Options from the Advanced Settings menu
- Select LSISAS1078 from the Storage Controller list
- Press Enter to continue and then press F10 to save changes and exit BIOS Setup
- The system will reboot automatically and enter SAS Configuration Utility
Sas3008 Raid Configuration
The SAS 3008 is a 8-port PCI Express 3.0 12Gb/s SAS+SATA controller card that features eight internal ports and delivers two 800MHz PowerPC processor cores and a 72-bit DDR3 interface. The card provides high performance for 24×7 operation in demanding enterprise applications. It is backward compatible with 6Gb/s SATA drives and supports RAID 0, 1, 5, 6, 10 & 50.
Lsi Software Raid Configuration Utility
LSI Software RAID Configuration Utility is a software utility used to configure RAID on LSI-based controllers. The utility provides a graphical user interface (GUI) for configuring and managing RAID arrays. It also allows you to create and manage logical drives, view Array Details, and monitor controller activities.
Avago Megaraid Sas 9361-8I Bios Configuration Utility
The Avago Megaraid Sas 9361-8I Bios Configuration Utility is a great tool for managing your RAID array. This utility can be used to configure your RAID array, create new arrays, and delete existing arrays. It also allows you to view information about your RAID array, including the status of each disk and the capacity of each array.
Avago Raid Controller Configuration
An Avago Technologies 3108 MegaRAID SAS is a 8-port 12Gb/s Serial Attached SCSI (SAS) and Serial ATA (SATA) RAID controller card. It is ideal for businesses that require high performance and reliable data storage. The 3108 supports both 2.5-inch and 3.5-inch hard drives and solid state drives (SSDs), making it a versatile solution for a variety of storage needs.
The 3108 offers eight ports in a low-profile form factor, making it an ideal choice for 1U and 2U server applications. It supports data transfer rates of up to 12 Gb/s per port, making it one of the fastest RAID controllers on the market. The 3108 also supports multiple RAID levels, including 0, 1, 5, 6, 10, 50, and 60.
This gives you the flexibility to choose the level of protection that best suits your needs.
The 3108 comes with Avago’s exclusive CacheVault flash cache protection technology. CacheVault protects your data in the event of a power loss or other unforeseen event by storing cached data in non-volatile flash memory.
This ensures that your data is safe and can be quickly restored in the event of an issue.
The 3108 also features advanced software options such as SSD caching and global hot spare support. SSD caching accelerates performance by using solid state drives as a cache for frequently accessed data.
Global hot spare support allows you to designate a drive as a hot spare that can be used to automatically rebuild any failed drive in the array.
Lsi Megaraid Configuration Utility
LSI MegaRAID Configuration Utility is a software program that allows you to configure the LSI MegaRAID controller. This utility provides a graphical user interface (GUI) for configuring the controller and its drives. You can use this utility to configure RAID levels, drive groups, and hot spare pools.
The MegaRAID Configuration Utility is installed on the server that contains the LSI MegaRAID controller.
Credit: www.storagereview.com
What is Lsi Raid Controller?
An LSI RAID controller is a hardware component that manages and controls the data storage devices in a computer system. The controller provides an interface between the operating system and the physical devices, and it also handles the data I/O operations. It performs these tasks by using a dedicated processor and memory, which offloads these activities from the CPU.
The LSI RAID controller can be used to create various types of storage configurations, such as mirroring, striping, or spanned volumes. In addition, it can also provide security features such as drive encryption and password protection.
How Do I Set Up a Raid Controller Card?
A RAID controller is a hardware device that manages and controls the data storage of a computer system. It allows for multiple physical hard drives to be combined into a single logical drive, which can improve performance or provide redundancy in case of a drive failure.
There are two main types of RAID controller cards: host-based and hardware-based.
Host-based controllers are software programs that run on the server’s host operating system, while hardware-based controllers are dedicated devices that connect to the server via a PCI or PCIe slot.
To set up a RAID controller card, you will first need to determine what type of card you need for your system. If you are using a host-based controller, you will need to install the software onto your server.
Once the software is installed, you will need to configure it according to your desired settings. For hardware-based controllers, you will need to insert the card into an available slot on your server and then connect any necessary cables. Finally, you will need to configure the BIOS or UEFI firmware of your system to recognize the new RAID array.
How Do I Get to Lsi Megaraid?
LSI MegaRAID is a data storage controller that can be used to manage and store large amounts of data. It is typically used by enterprises and businesses that need to store large amounts of data. The LSI MegaRAID can be accessed via the web interface or through the command line interface.
How Do I Boot from Lsi Raid?
When you power on your computer, the BIOS starts up and controls the basic input/output (I/O) operations of your computer. One of the BIOS settings is the boot order, which determines which devices are checked for boot information first. To boot from an LSI RAID array, you must configure the BIOS to check the LSI RAID controller first.
There are two ways to do this: through the BIOS Setup utility or by using a bootable CD or USB drive that contains the LSI RAID firmware. The process is different for each method, so we’ll cover both here.
BIOS Setup Utility
To change the boot order in the BIOS Setup utility:
1. Press F2 during POST to enter BIOS Setup. This key may be different on your computer; consult your manual for more information.
2. Use the arrow keys to navigate to theBoot Ordermenu. This menu may be named differently on your computer; consult your manual for more information.
3 .
Use the arrow keys to select LSIRaid Controllerand press Enterto move it to the top of the list . If there is already an entry atthe top of th e list , use t he arrow keys t o select it and press F5to move it down one position .
4 .
Press F10to save changes and exit BIOSSetup . Your computer will nowboot fromtheLSIRAIDcontroller .
Conclusion
If you have an LSI RAID controller in your system, you may need to configure it in order to use it. This can be done by accessing the BIOS and making some changes. First, you will need to enable the RAID controller.
Next, you will need to create a bootable RAID array. Finally, you will need to install the drivers for the controller.
null
Это руководство призвано помочь в создании аппаратного RAID с использованием контроллера LSI 9271-4i. Утилита LSI Web BIOS присутствует на аппаратных 6Гбит/с контроллерах LSI большинства брендов. HBA-контроллеры не рассматриваются в этом руководстве.
1. В процессе проверки аппаратного обеспечения компьютера (POST, от англ. Power-On Self-Test — «самотестирование при включении»), когда на экране отобразится информация о LSI MegaRAID, нажмите сочетание клавиш Ctrl+H или Ctrl+C в зависимости от версии контроллера. Например, для модели 9271-4i используйте Ctrl+H.
2. На главном экране отображается тип контроллера, а также его текущая прошивка. Кнопка «Start» должна быть выделена, если нет, нажмите Alt-S, чтобы выделить её, и нажмите «Space» или «Enter», чтобы перейти на следующую страницу.
3. Находясь в окне «Physcial View» нажмите Alt-O, чтобы выделить «Configuration Wizard (Мастер Настройки)», затем нажмите «Space» или «Enter» на клавиатуре.
4. На экране «Configuration Wizard (Мастер Настройки)» нажмите сочетание клавиш Alt-E, чтобы выделить переключатель
»New Configuration (Новая конфигурация)», затем нажмите «Space», чтобы выбрать его. Затем нажмите Alt-N, «Space», чтобы перейти к следующему экрану.
5. Затем Alt-Y, чтобы выделить кнопку «Yes» и начать настройку.
6. Оставьте по умолчанию «Manual Configuration (Ручная Настройка)», Alt-N, чтобы выделить «Next», и клавишу «Space», чтобы перейти к следующему экрану.
7. Чтобы выбрать диски нажмите Alt-D и стрелку вниз, чтобы выделить первый диск. Затем удерживайте «Shift» + стрелку вниз для выбора всех дисков в списке.
* Убедитесь, что «Backplane (Объединительная плата)» отсутствует в списке выбранных вами дисков для «Add to Array (Добавить в массив)», иначе вы получите сообщение об ошибке.
8. Нажмите Alt-A, а затем «Space», чтобы добавить выбранные диски в массив. Далее Alt-P, чтобы «Accept DG (Принять DG)», и нажмите «Space». Теперь Alt-N, чтобы выбрать «Next», и ещё раз «Space», чтобы перейти на следующую страницу.
9. На экране определения диапазона (Span Definition) нажмите Alt-A, чтобы добавить в диапазон («Add to SPAN»), затем клавишу «Space».
10. Alt-N + «Space» —> перейти на страницу создания RAID.
11. На странице Virtual Drive Definition (Определение виртуального диска) можно выбрать уровень RAID, размер Strip, настроить политику доступа/чтения/записи/ввода-вывода и другое. Обычно при создании RAID достаточно значений по умолчанию.
12. На некоторых контроллерах можно автоматически обновить размер массива, для этого нажмите сочетание клавиш Alt-U. После этого поле напротив «Select Size (Выберите Размер)» покажет объём, в зависимости от выбраного уровня RAID.
Либо можно посмотреть на подсказку: зелёный текст, и ввести размер вручную.
После нажмите Alt-A и Alt-N, чтобы принять изменения и перейти к следующему окну мастера настройки.
13. Если BBU включён (Battery Backup Unit, блок резервного питания; LSI raid BBU позволяет рейд-контроллеру кэшировать данные перед записью на рейдовые диски), то должно появиться сообщение о том, что контроллер находится в режиме обратной записи с включённым BBU. Выберите «Yes» и продолжайте.
14. Далее вас перебросит к окну с выбором RAID, и на первый взгляд может показаться, что выбран RAID 0. Не волнуйтесь, так и должно быть. Нажмите Alt-N и «Space» для перехода к следующему экрану.
15. Далее вы попадёте на страницу предварительного просмотра Мастера настройки. Нажмите Alt-A, чтобы принять.
16. Alt-Y —> сохранить конфигурацию.
17. Alt-Y —> инициализировать новый массив.
18. Дождитесь, пока быстрая инициализация (Fast Initialize) будет завершена. После вы должны увидеть RAID и его размер. Также рядом с ним должна быть пометка Optimal.
Если вы хотите сделать его загрузочным нажмите Alt-t, чтобы выделить опцию «Set Boot Drive (Назначить как загрузочный диск)», и нажмите «Space», чтобы выбрать, затем Alt-G, чтобы установить его.
19. На этом этапе можно нажать Alt-H, чтобы перейти на начальный экран и выйти из BIOS контроллера, если вы закончили.
_______________________________________________________________________________________________________________________________
Перевод статьи.
Источник — support.siliconmechanics.com/portal/en/kb/articles/creating-a-raid-0-1-5-or-6-through-the-lsi-web-bios
_______________________________________________________________________________________________________________________________