eBay – это онлайновый аукцион, один из наиболее популярных сайтов в Интернете. Там выставлены миллионы товаров, и миллионы пользователей торгуются и совместно устанавливают цены. Поэтому этот сайт – отличный пример коллективного разума. eBay, ко всему прочему, предоставляет бесплатный API на основе XML, с помощью которого можно производить поиск, получать подробную информацию о товаре и даже […]

Beautiful Soup – это великолепная библиотека для разбора и построения структурированного представления веб-страницы. Она позволяет найти элемент страницы по типу, идентификатору или любому свойству и получить строковое представление его содержимого. Beautiful Soup очень терпимо относится к страницам с некорректной HTML- разметкой, что весьма полезно при генерации наборов данных с вебсайтов.

Для подобных задач необходимо определиться со способом представления потенциальных решений. Функции оптимизации, с которыми вы вскоре ознакомитесь, достаточно общие и применимы к различным задачам, поэтому так важно выбрать простое представление, которое не было бы привязано к конкретной задаче о групповом путешествии. Очень часто для этой цели выбирают список чисел. Каждое число обозначает рейс, которым решил […]

Мы рассмотрели несколько классификаторов, большая часть которых хорошо приспособлена для прогнозирования того, к какой категории принадлежит новый образец. Однако байесовские классификаторы, деревья решений и машины опорных векторов   не оптимальны для выработки прогнозов о числовых данных на основе многих различных атрибутов, например цен. В этой статье мы рассмотрим алгоритмы, которые можно не только обучить делать числовые […]

– это разновидность среднего значения, при котором каждому усредняемому наблюдению приписывается определенный Формула B.3. Ниже приведена простая реализация этой формулы в виде функции, принимающей списки значений и весов:

Чтобы воспользоваться уже разработанными функциями оптимизации, нам необходимо представить решение в виде списка чисел. К счастью, для этой задачи найти такое представление совсем просто. У каждого узла есть координаты x и y, поэтому достаточно поместить координаты всех узлов в один длинный список:

Рассмотренные в предыдущих статьях методы оптимизации несколько отличаются от всех прочих; они не столько работают с набором данных, сколько пытаются найти значения, минимизирующие целевую функцию. Ранее были приведены примеры нескольких задач оптимизации: планирование группового путешествия (целевой функцией была комбинация цены билета и времени ожидания в аэропорту), распределение студентов по комнатам в общежитии и рисование графа […]

Описанные в этой книге методы не новы, и, хотя примеры в основном касаются задач коллективного разума, возникающих в Интернете, владение алгоритмами машинного обучения будет полезно и разработчикам программного обеспечения во многих других областях. Особенно это относится к тем отраслям знания, где требуется отыскивать интересные закономерности в больших наборах данных, например: Биотехнология

Теорема Байеса описывает соотношение между условными вероятностями. Обычно она записывается в виде Pr(A | B) = Pr(B | A) x Pr(A) / Pr(B) В применении к нашему примеру эта формула принимает следующий вид: Pr(Категория | Документ) = Pr(Документ | Категория) x x Pr(Категория) / Pr(Документ) В предыдущем разделе мы показали, как вычислить Pr(Документ | Категория), […]

Библиотека – это написанный на Python анализатор документов в форматах HTML и XML. Он спроектирован так, что способен работать с плохо написанными веб-страницами. В книге мы неоднократно применяли эту библиотеку для создания наборов данных с сайтов, не имеющих API, а также для выделения из страниц текста для индексирования. Домашняя страница библиотеки – http://www.crummy. com/software/BeautifulSoup.